Phi արհեստական ինտելեկտի մոդելը կողմից Microsoft - փոքր, էժան և չի տառապում «հալյուցինացիաներից»: Ահա թե ինչ են ասում լեզվի նոր մոդելի մասին, որը մեծ ապագա է կանխատեսում։
GPT-ն բացարձակապես հիանալի է, բայց միևնույն ժամանակ, այն ահավոր թանկ է, և այն չի կարող կատարյալ լինել բոլորի համար: Այս և շատ այլ պատճառներով Microsoft փորձարկում է շատ ավելի փոքր AI մոդելների հետ: Ասում են, որ Phi-3-mini-ն նույնիսկ ամաչեցնում է OpenAI-ի ինժեներների աշխատանքը:
Հետաքրքիր է նաև. Ապագայի տրանզիստորներ. մեզ չիպսերի նոր դարաշրջան է սպասում
ChatGPT-ը համադարման միջոց չէ
ChatGPT-ն գյուտ է, որը ֆինանսավորվում, համադրվում և բարելավվում է Microsoft. Իրականում դա չի պատկանում Microsoft, և OpenAI ընկերությունը, որը Microsoft չունի (նա առաջատար, թեև ոչ ամենամեծ ներդրողն է): GPT լեզվի մոդելը տվել է Microsoft հսկայական առավելություն մնացած խոշոր տեխնոլոգիական կորպորացիաների նկատմամբ, որոնք այժմ շտապում են հասնել: Այնուամենայնիվ, GPT-ի հետ կապված հսկայական թվով խնդիրներ կան, որոնցից շատերը դեռ հնարավոր չէ լուծել:
Նախ, սա շատ ռեսուրսներ պահանջող լեզվական մոդել է: Վեբ կողմնորոշված Microsoft OpenAI-ի Copilot-ը կամ ChatGPT-ն առաջացնում են շատ բարձր գործառնական ծախսեր Microsoft. Սա ոչ միայն GPT-ի, այլև բոլոր հիմնական լեզուների մոդելների առանձնահատկությունն է: Բացի այդ, GPT-ն, ինչպես իր մրցակիցները, հակված է «հալյուցինացիաների», այսինքն՝ այն կարող է պատասխաններ առաջացնել այն հարցումներին, որոնք պարունակում են կեղծ կամ ապակողմնորոշող տեղեկատվություն: Որքան շատ տվյալներ է կլանում նման մոդելը, այնքան ավելի շատ է հակված նմանատիպ բովանդակություն առաջացնելու: Հետևաբար, հալյուցինացիաներն ու կեղծ հայտարարությունները թվային մատից ծծված առասպել չեն: Օգտատերերը հաճախ նշում են, որ մեծ լեզվական մոդելները հաճախ սխալվում են, տալիս են ոչ ճշգրիտ տվյալներ և գործում են գոյություն չունեցող փաստերի հիման վրա:
Երկու խնդիրներն էլ շատ լուրջ են, այդ իսկ պատճառով OpenAI, Microsoft, Meta-ն, Google-ը և այլք աշխատում են ոչ միայն Large Language Model տեխնոլոգիայի, այլև Small Language Model-ի մշակման վրա, որը գործնականում կարող է շատ ավելի լավ արդյունքներ տալ:
Թվային հաշվապահի օգնականը քվանտային ֆիզիկայի մասին շատ բան իմանալու կարիք չունի: Այն կարող է լինել շատ ավելի փոքր և ավելի քիչ բարդ (և հետևաբար ավելի էժան), և միայն իր նպատակի համար անհրաժեշտ տվյալների վրա մարզվելով, տեսականորեն պետք է ավելի քիչ հալյուցինացիաներ ունենա: Չնայած, սա ավելի հեշտ է ասել, քան անել: GenAI տեխնոլոգիան դեռևս վայրի ՏՏ ձեռնարկություն է: Ու թեև աշխատանքն աննախադեպ տեմպերով է ընթանում, սակայն հիմնարար հարցերի շուրջ գործնականում բեկումնային տեղաշարժեր անելը դեռևս դժվար է։ Բայց ընկերությունը Microsoft վերջերս նման բեկման մասին հայտարարեց. Խոսքը փոքր լեզվական մոդելի մասին է Microsoft Ֆի.
Հետաքրքիր է նաև. Ինչպես են Թայվանը, Չինաստանը և ԱՄՆ-ը պայքարում տեխնոլոգիական գերակայության համար. չիպերի մեծ պատերազմ
Ինչի մասին է հայտնի Microsoft Ֆի
Նախ պետք է նշել, որ փորձն անցկացվել է առանց OpenAI ընկերության մասնակցության։ Այսինքն՝ դա ինժեներների զարգացումն է Microsoft.
Մոդելներ Microsoft Phi-ն փոքր լեզվական մոդելների (SLM) շարք է, որոնք տարբեր թեստերում բացառիկ արդյունքների են հասնում: Առաջին մոդելը՝ Phi-1-ը, ուներ 1,3 միլիարդ պարամետր և ձեռք բերեց Python կոդավորման լավագույն արդյունքները գոյություն ունեցող SLM-ների միջև:
Այնուհետև մշակողները կենտրոնացան լեզվի ըմբռնման և մտածելու վրա՝ ստեղծելով Phi-1.5 մոդելը, որն ուներ նաև 1,3 միլիարդ պարամետր և ցույց տվեց կատարողականություն, որը համեմատելի է մոդելների հետ՝ հինգ անգամ գերազանցող պարամետրերով:
Phi-2-ը 2,7 միլիարդ պարամետրանոց մոդել է, որը ցուցադրում է բանականության և լեզվի ըմբռնման ակնառու կարողություններ՝ կատարելով 13 միլիարդ պարամետրով լավագույն բազային մոդելների մակարդակով: Phi-2-ն այլ մոդելներից առանձնանում է մոդելների մասշտաբավորման և տվյալների մշակման ուսուցման նորամուծությունների շնորհիվ:
Այն հասանելի է Azure AI Studio մոդելների կատալոգում, որը հեշտացնում է լեզվական մոդելների ոլորտում հետազոտությունն ու մշակումը: Phi-2-ը գործարկվել է 2023 թվականի դեկտեմբերին։ Մշակողները վստահեցնում են, որ այն աշխատում է նույնքան լավ, որքան Meta-ից Mistral-ը կամ Lama 2-ը։ Իսկ Phi-3-ն ավելի լավ է աշխատում, քան նախորդ տարբերակը:
Այնուամենայնիվ, նոր հայտարարված Phi-3 մոդելը որակով բոլորովին նոր է։ Առնվազն այդպես կարող եք դատել ներկայացված տեղեկություններից Microsoft. Ընկերության տվյալներով՝ բոլոր հայտնի հենանիշերի ցուցիչների համաձայն՝ Phi-3-ն ավելի լավ է գործում, քան նմանատիպ չափսի ցանկացած այլ մոդել՝ ներառյալ լեզվի վերլուծությունը, ծրագրավորման աշխատանքը կամ մաթեմատիկական աշխատանքը:
Phi-3-mini-ը՝ այս մոդելի ամենափոքր տարբերակը, նոր է հասանելի դարձել բոլոր շահագրգիռ կողմերի համար: Այսինքն՝ այն հասանելի է ապրիլի 23-ից։ Phi-3-mini-ն ունի 3,8 միլիարդ պարամետր և, ըստ չափումների Microsoft, երկու անգամ ավելի արդյունավետ, քան նույն չափի ցանկացած այլ մոդել: Այն կարելի է գտնել ամպային ծառայության AI մոդելների կատալոգում Microsoft Azure-ը, Hugging Face-ի մեքենայական ուսուցման մոդելային հարթակը և Ollama-ը՝ տեղական մեքենայի վրա մոդելներ գործարկելու շրջանակ:
Ինչպես ինքն է պնդում Microsoft, Phi-3-mini-ն հզոր չիպեր չի պահանջում Nvidia. Մոդելը կարող է աշխատել սովորական համակարգչային չիպերի վրա։ Կամ տեղավորվում է նույնիսկ հեռախոսի վրա, որը միացված չէ ինտերնետին:
Ավելի քիչ հզորություն նշանակում է նաև, որ մոդելները այնքան էլ ճշգրիտ չեն լինի: Phi-3-ը հարմար չի լինի բժիշկների կամ հարկային հաշվապահների համար, բայց կօգնի ավելի պարզ առաջադրանքներ կատարել: Օրինակ՝ գովազդի թիրախավորման կամ համացանցում ակնարկների ամփոփման համար:
Քանի որ փոքր մոդելները պահանջում են ավելի քիչ մշակում, դրանք ավելի էժան կլինեն մասնավոր ընկերությունների համար: Այսինքն՝ մեջ Microsoft Կլինեն ավելի շատ հաճախորդներ, ովքեր կցանկանային ներգրավել արհեստական ինտելեկտը իրենց աշխատանքում, բայց համարեցին դա չափազանց թանկ: Սակայն դեռ պարզ չէ, թե որքան կարժենան դրանք։
Թե երբ կհայտնվեն փոքր ու միջին մոդելները, դեռ հայտնի չէ։ Բայց վերջինս ավելի հզոր ու թանկ կլինի։ Թեև արդեն հայտնի է, որ Phi-3-small-ը կունենա 7 միլիարդ պարամետր, իսկ Phi-3-medium-ը կունենա մինչև 14 միլիարդ պարամետր:
Կարդացեք նաև.
- Գրաֆենի միկրոչիպերը հեռախոսներն ավելի արագ և հեշտ կդարձնեն
- Քվանտային համակարգիչների մասին պարզ բառերով
Ինչպե՞ս օգտագործել Phi-3-mini:
GPT-4 Turbo-ին անհրաժեշտ են հզոր AI չիպեր, որոնք դեռ շատ թանկ են: Phi-3 փոքր խոսքի մոդելը կարող է աշխատել օֆլայն, առանց ամպի, նույնիսկ բջջային հեռախոսի չիպի միջոցով:
Phi-3-ը վերջնական օգտատերերի արտադրանք չէ, այլ տեխնոլոգիա, որը մշակողները կկարողանան օգտագործել և կիրառել իրենց հավելվածներում՝ և՛ ամպի վրա հիմնված, այսինքն՝ հեռակա, և՛ նրանք, որոնք աշխատում են տեղական և անցանց: Ակնկալվում է, որ այն անխափան կաշխատի սարքերի և դրանց բաղադրիչների հետ, ինչպիսիք են բջջային հեռախոսները, մեքենաները և դրանց տեղեկատվական զվարճանքի համակարգերը կամ նույնիսկ IoT սենսորները: Որոշ սցենարներում այս տեխնոլոգիան կարող է անգնահատելի լինել:
Microsoft նույնիսկ կոնկրետ օրինակ է բերում, որ երեւակայությունը չլարենք. Պատկերացրեք, որ ֆերմերը ստուգում է իր բերքը և հիվանդության նշաններ է տեսնում տերևների, ցողունների և ճյուղերի վրա: Հեռահաղորդակցության կայմերից հեռու լինելով՝ նրան միայն պետք է հանի հեռախոսը, նկարի վնասը, տեղադրի Phi-3 տեխնոլոգիան օգտագործող հավելվածում, և մոդելն արագ և օֆլայն կվերլուծի լուսանկարը և խորհուրդ կտա։ ինչպես ճիշտ պայքարել այս հիվանդության դեմ:
Ինչպես ինքն է բացատրում Microsoft, GPT-ի հաջողության բանալին վերապատրաստման համար հսկայական քանակությամբ տվյալների օգտագործումն էր: Նման մեծ տվյալների հավաքածուների դեպքում տվյալների բարձր որակը բացառվում է: Մինչդեռ Phi մոդելը վարժեցնելիս կիրառվել է ճիշտ հակառակ OpenAI մոտեցումը։ Մոդելը տեղեկատվությամբ լցնելու փոխարեն ուշադրությունը կենտրոնացված էր աստիճանական և մանրակրկիտ ուսուցման վրա:
Համացանցի հում տվյալների օգտագործման փոխարեն հետազոտողները Microsoft ստեղծել է TinyStories տվյալների հավաքածուն՝ ստեղծելով միլիոնավոր մանրանկարչական «մանկական» պատմություններ: Այս պատմությունները օգտագործվել են շատ փոքր լեզվական մոդելներ վարժեցնելու համար: Հետազոտողները այնուհետև առաջ գնացին՝ ստեղծելով CodeTextbook տվյալների հավաքածուն, որն օգտագործում էր խնամքով ընտրված, հանրությանը հասանելի տվյալներ, որոնք զտված էին կրթական արժեքի և բովանդակության որակի համար: Այնուհետև այս տվյալները մի քանի անգամ զտվեցին և վերադարձվեցին մեծ լեզվական մոդելի (LLM) հետագա սինթեզի համար:
Այս ամենը հնարավորություն տվեց ստեղծել տվյալների զանգված, որը բավարար է ավելի ընդունակ SLM վարժեցման համար: Բացի այդ, Phi-3 մոդելի մշակման ժամանակ կիրառվել է ռիսկերի կառավարման և մեղմացման բազմամակարդակ մոտեցում՝ ներառյալ գնահատումը, փորձարկումը և ձեռքով ճշգրտումները: Արդյունքում, ինչպես ինքն է պնդում Microsoft, Phi-3 մոդելների ընտանիքն օգտագործող ծրագրավորողները կարող են օգտվել Azure AI-ում առկա գործիքների հավաքածուից՝ ավելի անվտանգ և հուսալի հավելվածներ ստեղծելու համար:
Կարդացեք նաև. Teleportation-ը գիտական տեսանկյունից և դրա ապագան
Microsoft Phi-ն կփոխարինի ChatGPT տիպի մոդելներին:
Ընդհանրապես. Փոքր լեզվական մոդելները (SLM), նույնիսկ երբ վերապատրաստվում են բարձրորակ տվյալների վրա, ունեն իրենց սահմանափակումները և նախատեսված չեն խորը ուսուցման համար: Լեզուների մեծ մոդելները (LLM) բարդ դատողություններով գերազանցում են SLM-ներին՝ իրենց չափի և հաշվողական հզորության պատճառով: LLM-ները և կշարունակեն լինել հատկապես օգտակար այնպիսի ոլորտներում, ինչպիսիք են դեղերի հայտնաբերումը, որտեղ պետք է փնտրել գիտական աշխատանքների հսկայական հավաքածուներ և վերլուծել բարդ օրինաչափությունները: Մյուս կողմից, SLM-ը կարող է օգտագործվել ավելի պարզ առաջադրանքների համար, ինչպիսիք են երկար տեքստային փաստաթղթի հիմնական կետերի ամփոփումը, բովանդակության ստեղծումը կամ հաճախորդների սպասարկման չաթ-բոտերի հզորացումը:
MicrosoftՆա ասաց, որ արդեն օգտագործում է հիբրիդային մոդելների հավաքածուներ, որտեղ LLM-ն առաջատար դիրք է զբաղեցնում՝ ուղղորդելով որոշակի հարցումներ, որոնք պահանջում են ավելի քիչ հաշվողական հզորություն դեպի SLM, մինչդեռ նա ինքն է լուծում այլ, ավելի բարդ հարցումները: Phi-ն տեղադրված է սարքերի վրա հաշվելու համար՝ առանց ամպի օգտագործման: Այնուամենայնիվ, դեռևս անջրպետ կլինի փոքր լեզվական մոդելների և խելացիության մակարդակի միջև, որը կարելի է ձեռք բերել ամպի մեծ մոդելներով: Այս բացը, շնորհիվ LLM-ի շարունակական զարգացման, դժվար թե շուտով վերանա:
Phi-3-ը դեռ պետք է ստուգվի արտաքին անկախ կողմերի կողմից: Microsoft երբեմն խոսում է ծայրահեղ դեպքերում 25 անգամ ավելի բարձր արդյունավետության կամ էներգաարդյունավետության մասին՝ համեմատած մրցակիցների հետ, ինչը բավականին առասպելական է հնչում: Թեեւ, մյուս կողմից, չի կարելի մոռանալ, որ այս տարիներն անցել են Microsoft մեզ փոքր-ինչ կտրեց այն փաստից, որ այն ՏՏ նորարարությունների բացահայտ առաջատարն է, և գուցե դա է պատճառը, որ մենք իրականում չենք հավատում դրան: AI-ի վրա հիմնված ծրագրեր, որոնք ակնթարթորեն արձագանքում են և գործարկվում են անցանց՝ գեներացնելու փոխարեն: Սա կլիներ ներկայիս հեղափոխության արժանի գագաթնակետը։ Ցավոք, կա մեկ առանցքային խնդիր.
Կարդացեք նաև. Ամեն ինչ Neuralink Telepathy չիպի մասին. ինչ է այն և ինչպես է այն աշխատում
Phi-3-ից Microsoft հասկանում է միայն անգլերեն
Phi-3-ը զանգվածաբար չի կուլ տվել իր վրա նետված փետաբայթերը: Մոդելի զգույշ և մանրակրկիտ ուսուցումը ներառում է մեկ աննշան խնդիր: Phi-3-ը վերապատրաստվել է անգլերեն լեզվով և դեռ որևէ այլ լեզվի մասին պատկերացում չունի: Ոչ միայն ուկրաիներեն, այլեւ գերմաներեն, իսպաներեն, ֆրանսերեն կամ չինարեն: Իհարկե, սա զգալիորեն նվազեցնում է նրա գրավչությունը ամբողջ աշխարհի օգտատերերի մեծ մասի համար:
Բայց ներս Microsoft վստահեցրել է, որ աշխատանքներ են տարվում դրա զարգացման և կատարելագործման ուղղությամբ։ Թեև չպետք է ձեզ խաբեք նրանով, որ ուկրաինական շուկան առաջնահերթություն է խոշոր կորպորացիաներից որևէ մեկի համար։ Ուստի մենք պետք է շատ երկար սպասենք ուկրաիներենի աջակցությանը։ Բայց այս փաստը երբեք չի կանգնեցրել էնտուզիաստներին և նրանց, ովքեր ցանկանում են հետևել առաջընթացին:
Կարդացեք նաև.