Калифорнид жил бүр болдог Meta Connect арга хэмжээнд Мета платформууд танилцуулсан алдартай програмуудад зориулсан хэд хэдэн шинэ хиймэл оюун ухааны онцлог Facebook, Instagram болон WhatsApp, гэхдээ технологийн аварга компанийн хамгийн гайхалтай шинэчлэл нь олон хүний анзаараагүй байж магадгүй юм. Бид Llama 2 Long AI загварын тухай ярьж байна.
Мета компанийн судлаачдын баг ямар нэгэн байдлаар чимээгүйхэн нийтлүүлсэн нийтлэлдээ тэд хиймэл оюун ухааны шинэ загвар болох Llama 2 Long-ийг танилцуулсан бөгөөд энэ нь хэрэглэгчийн урт хугацааны асуултанд уялдаа холбоотой бөгөөд хамааралтай хариултуудыг бий болгох чадвартай юм. Хамгийн ихдээ энэ нь салбарын шилдэг өрсөлдөгчдөөс илүү гарсан гэж тэд хэлж байна.
Llama 2 Long бол өргөтгөл юм лам 2, төрөл бүрийн мэдээллийн эх сурвалжаас суралцаж, кодчилол, математик, хэл ойлгох гэх мэт төрөл бүрийн даалгавруудыг гүйцэтгэх боломжтой, нээлттэй эхийн хиймэл оюун ухаантай загвар Meta зуны улиралд худалдаанд гарсан. Гэсэн хэдий ч Llama 2 Long-г илүү урт текст агуулсан өгөгдөлд сургасан бөгөөд энэ алгоритмыг илүү урт дарааллаар мэдээлэл боловсруулахын тулд өөрчилсөн. Энэ нь OpenAI-ийн GPT-3.5 Turbo болон Claude 2-ыг давах боломжийг олгодог бөгөөд тэдгээр нь хариулт үүсгэхэд ашиглаж болох контекстийн хэмжээгээр хязгаарлагдмал байдаг.
Судлаачид Мета Llama 2-ын өөр өөр хувилбаруудыг ашигласан - 7 тэрбумаас 70 тэрбум хүртэлх параметрүүд, өөрөөр хэлбэл AI загвар нь өгөгдлөөс суралцах замаар өөрчлөгдөж болох утгууд. Тэд анхны загварын өгөгдлийн багцаас илүү урт текст агуулсан 400 тэрбум жетон (текстийн нэгж) нэмсэн. Тэд мөн Rotary Positional Embedding (Rotary Positional Embedding) техникийг ашиглан AI загварын архитектурыг бага зэрэг өөрчилсөн бөгөөд ингэснээр загвар нь бусад аргуудаас бага мэдээлэл, санах ой ашиглан үнэн зөв, хэрэгцээтэй хариултуудыг гаргаж чадна.
Баг нь хүний санал хүсэлтээс (RLHF) сургах бататгах аргыг ашигласан бөгөөд энэ аргыг AI загварыг зөв хариулсны төлөө шагнаж, хүний үнэлгээчид засаж залруулж, синтетик өгөгдлийг Llama 2 чат өөрөө бий болгодог. Төрөл бүрийн даалгаврын гүйцэтгэлийг сайжруулахын тулд. .
Уг загвар нь 200 орчим хуудас тексттэй тэнцэх 40 тэмдэгт хүртэл хэрэглэгчийн санал хүсэлтэд өндөр чанартай хариулт өгөх боломжтой гэж уг баримт бичигт дурдсан байна. Судлаачдын үзэж байгаагаар Llama 2 Long нь хэрэглэгчдийн нарийн төвөгтэй, олон талт хэрэгцээг хангахуйц хиймэл оюун ухааны илүү ерөнхий, олон талт загваруудыг бий болгох алхам юм. Тэд мөн ийм загваруудын ёс суртахууны болон нийгмийн үр дагаврыг хүлээн зөвшөөрч, тэдгээрийг хэрхэн хариуцлагатай, үр өгөөжтэй ашиглах талаар цаашдын судалгаа, яриа хэлэлцээ хийхийг уриалж байна.
Мөн уншина уу: