Meta Platforms-ը Կալիֆորնիայում անցկացվող Meta Connect ամենամյա միջոցառմանը ներկայացրել AI-ի մի քանի նոր առանձնահատկություններ իր հայտնի հավելվածների համար Facebook, Instagram և WhatsApp-ը, սակայն տեխնոլոգիական հսկայի ամենատպավորիչ նորամուծությունը կարող է աննկատ մնալ շատերի կողմից: Խոսքը Llama 2 Long AI մոդելի մասին է։
Meta ընկերության հետազոտողների թիմը ինչ-որ կերպ հանգիստ հրապարակել է մի հոդված, որտեղ նրանք ներկայացրել են արհեստական ինտելեկտի նոր մոդել՝ Llama 2 Long, որն ի վիճակի է համահունչ և համապատասխան պատասխաններ տալ օգտատերերի երկար հարցումներին: Առավելագույնը, նրանք ասում են, որ այն գերազանցում է ոլորտի լավագույն մրցակիցներից մի քանիսին:
Llama 2 Long-ը ընդլայնում է Լամա 2, բաց կոդով AI մոդել Meta-ն, որը թողարկվել է ամռանը, որը կարող է սովորել տվյալների տարբեր աղբյուրներից և կատարել մի շարք առաջադրանքներ, ինչպիսիք են կոդավորումը, մաթեմատիկան, լեզվի ըմբռնումը և այլն: Այնուամենայնիվ, Llama 2 Long-ը վերապատրաստվել է ավելի երկար տեքստեր պարունակող ավելի շատ տվյալների վրա, և այս ալգորիթմը փոփոխվել է տեղեկատվության ավելի երկար հաջորդականությունների համար: Սա թույլ է տալիս նրան գերազանցել OpenAI-ի GPT-3.5 Turbo-ին և Claude 2-ին, որոնք սահմանափակումներ ունեն համատեքստի քանակի վրա, որոնք նրանք կարող են օգտագործել պատասխաններ ստեղծելու համար:
Հետազոտողներ Meta օգտագործել է Llama 2-ի տարբեր տարբերակները՝ 7 միլիարդից մինչև 70 միլիարդ պարամետր, այսինքն՝ արժեքներ, որոնք AI-ի մոդելը կարող է փոխել՝ սովորելով տվյալներից: Նրանք ավելացրել են ևս 400 միլիարդ նշան (տեքստի միավոր) տվյալներ, որոնք պարունակում են ավելի երկար տեքստեր, քան սկզբնական մոդելի տվյալների հավաքածուն: Նրանք նաև մի փոքր շտկեցին AI-ի մոդելի ճարտարապետությունը՝ օգտագործելով Rotary Position Embedding (RoPE) տեխնիկան, որպեսզի մոդելը կարողանա ճշգրիտ և օգտակար պատասխաններ ստեղծել՝ օգտագործելով ավելի քիչ տեղեկատվություն և հիշողություն, քան մյուս մեթոդները:
Թիմն օգտագործել է ուժեղացված ուսուցում մարդու հետադարձ կապից (RLHF), մի մեթոդ, որտեղ AI-ի մոդելը պարգևատրվում է ճիշտ պատասխանների համար և ուղղվում մարդկանց գնահատողների կողմից, իսկ սինթետիկ տվյալները ստեղծվում են հենց Llama 2 չաթի կողմից: բարելավելու իր աշխատանքը տարբեր առաջադրանքներում: .
Թերթը պնդում է, որ մոդելը կարող է առաջացնել բարձրորակ պատասխաններ օգտատերերի հուշումներին մինչև 200 նիշ երկարությամբ, որը համարժեք է մոտ 40 էջ տեքստի: Հետազոտողները ասում են, որ Llama 2 Long-ը քայլ է դեպի ավելի ընդհանուր և բազմակողմանի AI մոդելներ ստեղծելու համար, որոնք կարող են բավարարել օգտատերերի բարդ և բազմազան կարիքները: Նրանք նաև գիտակցում են նման մոդելների պոտենցիալ էթիկական և սոցիալական հետևանքները և կոչ են անում հետագա հետազոտություններ և երկխոսություն իրականացնել, թե ինչպես օգտագործել դրանք պատասխանատու և շահավետ:
Կարդացեք նաև.