Phi хиймэл оюун ухааны загвар Microsoft - жижиг, хямд, "хий үзэгдэл" -ээр өвддөггүй. Их ирээдүйтэй гэж таамаглаж буй шинэ хэлний загварын талаар тэд ингэж ярьж байна.
GPT бол үнэхээр гайхалтай, гэхдээ үүнтэй зэрэгцэн энэ нь маш үнэтэй бөгөөд хүн бүрт төгс байж чадахгүй. Эдгээр болон бусад олон шалтгааны улмаас Microsoft илүү жижиг AI загваруудыг туршиж байна. Phi-3-mini нь OpenAI инженерүүдийн ажлыг хүртэл гутааж чаддаг гэж ярьдаг.
Мөн сонирхолтой: Ирээдүйн транзисторууд: Чипийн шинэ эрин биднийг хүлээж байна
ChatGPT бол эм биш юм
ChatGPT бол санхүүжүүлж, удирдаж, сайжруулсан шинэ бүтээл юм Microsoft. Үнэндээ энэ нь хамааралгүй юм Microsoft, мөн компани OpenAI, аль Microsoft эзэмшдэггүй (тэр хамгийн том хөрөнгө оруулагч биш ч гэсэн тэргүүлэгч юм). GPT хэлний загварыг өгсөн Microsoft Энэ нь одоо гүйцэхээр яарч буй бусад томоохон технологийн корпорацуудаас асар том давуу тал юм. Гэсэн хэдий ч GPT-тэй холбоотой маш олон асуудал байгаа бөгөөд тэдгээрийн ихэнхийг нь шийдэж чадахгүй байна.
Юуны өмнө энэ бол маш их нөөц шаарддаг хэлний загвар юм. Вэб рүү чиглэсэн Microsoft OpenAI-ийн Copilot эсвэл ChatGPT нь маш өндөр үйл ажиллагааны зардал үүсгэдэг Microsoft. Энэ нь зөвхөн GPT-ийн төдийгүй бүх үндсэн хэлний загваруудын онцлог юм. Нэмж дурдахад, GPT нь өрсөлдөгчдийнхөө нэгэн адил "галлюцинация" -д өртөмтгий байдаг, өөрөөр хэлбэл энэ нь худал, төөрөгдүүлсэн мэдээлэл агуулсан асуулгад хариу өгөх боломжтой. Ийм загвар нь илүү их өгөгдөл шингээх тусам ижил төстэй контент үүсгэх хандлагатай байдаг. Тиймээс хий үзэгдэл, худал мэдэгдэл нь дижитал хуруунаас сорогддог үлгэр домог биш юм. Том хэлний загварууд ихэвчлэн алдаа гаргадаг, буруу өгөгдөл өгдөг, байхгүй баримт дээр ажилладаг гэдгийг хэрэглэгчид ихэвчлэн тэмдэглэдэг.
Энэ хоёр асуудал маш ноцтой тул OpenAI, Microsoft, Мета, Google болон бусад хүмүүс зөвхөн Том хэлний загвар технологи төдийгүй практикт хамаагүй илүү үр дүнд хүрэх жижиг хэлний загварыг хөгжүүлэхээр ажиллаж байна.
Дижитал нягтлан бодогчийн туслах нь квант физикийн талаар сайн мэдэх шаардлагагүй. Энэ нь хамаагүй жижиг, нарийн төвөгтэй (тиймээс хямд) байж болох бөгөөд зөвхөн зорилгодоо шаардлагатай өгөгдөлд сургах нь онолын хувьд бага хий үзэгдэлтэй байх ёстой. Гэсэн хэдий ч энэ нь хийхээс хамаагүй хялбар юм. GenAI технологи нь мэдээллийн технологийн зэрлэг бизнес хэвээр байна. Хэдийгээр ажил урьд өмнө байгаагүй хурдацтай явагдаж байгаа ч үндсэн асуудлууд дээр бодитой нээлт хийхэд хэцүү хэвээр байна. Гэхдээ компани Microsoft Саяхан ийм нээлт зарласан. Бид жижиг хэлний загварын тухай ярьж байна Microsoft Фи.
Мөн сонирхолтой: Тайвань, Хятад, АНУ технологийн ноёрхлын төлөө хэрхэн тэмцэж байна вэ: агуу чипний дайн
Юу мэддэг юм Microsoft Phi
Юуны өмнө туршилтыг OpenAI компанийн оролцоогүйгээр хийсэн гэдгийг тэмдэглэх нь зүйтэй. Энэ бол инженерүүдийн хөгжил юм Microsoft.
Загварууд Microsoft Phi бол олон төрлийн тестээр онцгой үр дүнд хүрдэг жижиг хэлний загварууд (SLMs) юм. Эхний загвар болох Phi-1 нь 1,3 тэрбум параметртэй байсан бөгөөд одоо байгаа SLM-ийн дунд Python кодчиллын хамгийн сайн үр дүнд хүрсэн.
Дараа нь хөгжүүлэгчид хэлний ойлголт, сэтгэлгээнд анхаарлаа хандуулж, Phi-1.5 загварыг бүтээсэн бөгөөд энэ нь мөн 1,3 тэрбум параметртэй бөгөөд тав дахин илүү үзүүлэлттэй загваруудтай харьцуулахуйц гүйцэтгэлийг харуулсан.
Phi-2 нь 2,7 тэрбум параметрийн загвар бөгөөд 13 тэрбум параметр бүхий хамгийн сайн суурь загваруудын түвшинд ажилладаг, гайхалтай сэтгэх, хэл ойлгох чадварыг харуулдаг. Phi-2 нь загварыг масштаблах, өгөгдөл боловсруулах сургалтад оруулсан шинэлэг зүйлээрээ бусад загваруудаас ялгардаг.
Энэ нь Azure AI Studio загварын каталогид байдаг бөгөөд хэлний загваруудын чиглэлээр судалгаа, боловсруулалтыг хөнгөвчлөх боломжтой. Phi-2 2023 оны 2-р сард хөөргөсөн. Хөгжүүлэгчид үүнийг Meta-ийн Mistral эсвэл llama 3 шиг сайн ажилладаг гэж баталж байна. Мөн Phi- нь өмнөх хувилбараас ч илүү сайн ажилладаг.
Гэхдээ саяхан зарласан Phi-3 загвар нь чанарын хувьд цоо шинэ юм. Наад зах нь өгсөн мэдээллээс ийм дүгнэлт хийж болно Microsoft. Компанийн мэдээлснээр бүх мэдэгдэж буй жишиг үзүүлэлтүүдийн дагуу Phi-3 нь хэлний шинжилгээ, програмчлалын ажил эсвэл математикийн ажил гэх мэт ижил төстэй хэмжээтэй бусад загвараас илүү сайн ажилладаг.
Энэхүү загварын хамгийн жижиг хувилбар болох Phi-3-mini нь сонирхогч бүх хүмүүст бэлэн боллоо. Өөрөөр хэлбэл, 23-р сарын 3-аас эхлэн ашиглах боломжтой болсон. Phi-3,8-mini нь тэрбум параметртэй бөгөөд хэмжилтийн дагуу Microsoft, ижил хэмжээтэй бусад загвараас хоёр дахин илүү үр ашигтай. Үүнийг үүл үйлчилгээний AI загваруудын каталогоос олж болно Microsoft Azure, Hugging Face машин сургалтын загвар платформ болон Ollama нь орон нутгийн компьютер дээр загвар ажиллуулах хүрээ.
Түүний мэдэгдсэнээр Microsoft, Phi-3-mini нь хүчирхэг чип шаарддаггүй Nvidia. Загвар нь энгийн компьютерийн чип дээр ажиллах боломжтой. Эсвэл интернетэд холбогдоогүй утсанд ч таарна.
Бага хүч нь загварууд тийм ч нарийвчлалтай биш гэсэн үг юм. Phi-3 нь эмч, татварын нягтлан бодогчдод тохиромжгүй, гэхдээ энгийн ажлуудад туслах болно. Жишээлбэл, Интернет дэх зар сурталчилгаа, тоймыг нэгтгэн дүгнэхэд зориулагдсан.
Жижиг загварууд нь бага боловсруулалт шаарддаг тул хувийн компаниуд ашиглахад хямд байх болно. Өөрөөр хэлбэл, онд Microsoft Хиймэл оюун ухааныг ажилдаа татан оролцуулах хүсэлтэй олон үйлчлүүлэгчид байх болно, гэхдээ үүнийг хэтэрхий үнэтэй гэж үзсэн. Гэхдээ тэд ямар үнэтэй байх нь одоогоор тодорхойгүй байна.
Жижиг дунд загварууд хэзээ гарах нь одоогоор тодорхойгүй байна. Гэхдээ сүүлийнх нь илүү хүчирхэг, илүү үнэтэй байх болно. Хэдийгээр Phi-3-small нь 7 тэрбум, Phi-3-medium нь 14 тэрбум параметртэй байх нь аль хэдийн мэдэгдэж байсан.
Мөн уншина уу:
Phi-3-mini хэрхэн ашиглах вэ?
GPT-4 Turbo нь хүчирхэг AI чип шаарддаг бөгөөд энэ нь маш үнэтэй хэвээр байна. Phi-3 жижиг ярианы загвар нь гар утсан дээрх чиптэй ч гэсэн үүлгүй, офлайн ажиллах боломжтой.
Phi-3 нь эцсийн хэрэглэгчдэд зориулсан бүтээгдэхүүн биш, харин хөгжүүлэгчид өөрсдийн хэрэглээнд ашиглах, хэрэгжүүлэх боломжтой технологи юм - үүлд суурилсан, өөрөөр хэлбэл алсаас байрладаг, дотоод болон офлайнаар ажилладаг. Энэ нь гар утас, машин, мэдээллийн зугаа цэнгэлийн систем, тэр ч байтугай IoT мэдрэгч зэрэг төхөөрөмжүүд болон тэдгээрийн эд ангиудтай саадгүй ажиллах төлөвтэй байна. Зарим тохиолдолд энэ технологи нь үнэлж баршгүй байж болно.
Microsoft Тэр ч байтугай бид төсөөлөлдөө ачаалал өгөхгүйн тулд тодорхой жишээ өгдөг. Тариаланч үр тариагаа шалгаж, навч, иш, мөчир дээр өвчний шинж тэмдэг илэрснийг төсөөлөөд үз дээ. Харилцаа холбооны тулгуураас хол байгаа тул тэрээр утсаа гаргаж, гэмтлийн зургийг авч, Phi-3 технологи ашигладаг програмд хэрэглэхэд л хангалттай бөгөөд загвар өмсөгч нь зургийг хурдан бөгөөд офлайнаар шинжилж, зөвлөгөө өгөх болно. энэ өвчинтэй яг яаж тэмцэх вэ.
Түүний тайлбарласнаар Microsoft, GPT-ийн амжилтын түлхүүр нь сургалтанд зориулж асар их хэмжээний өгөгдөл авчрах явдал байв. Ийм том өгөгдлийн багцтай бол өгөгдлийн чанар өндөр байх боломжгүй юм. Үүний зэрэгцээ, Phi загварыг сургахдаа OpenAI-ийн эсрэг тэсрэг аргыг ашигласан. Загварыг мэдээллээр дүүргэхийн оронд шат ахих, сайтар судлахад гол анхаарлаа хандуулсан.
Интернэтийн түүхий өгөгдлийг ашиглахын оронд судлаачид Microsoft TinyStories мэдээллийн багцыг бүтээж, сая сая бяцхан "хүүхдийн" түүхийг бүтээжээ. Эдгээр түүхүүдийг маш жижиг хэлний загваруудыг сургахад ашигласан. Дараа нь судлаачид боловсролын үнэ цэнэ, агуулгын чанарыг харгалзан шүүж, сайтар сонгосон, нийтэд нээлттэй өгөгдлийг ашигласан CodeTextbook өгөгдлийн багцыг бий болгов. Дараа нь энэ өгөгдлийг хэд хэдэн удаа шүүж, цаашдын синтез хийхэд зориулж том хэлний загварт (LLM) буцааж оруулсан.
Энэ бүхэн нь илүү чадварлаг SLM-ийг сургахад хангалттай олон тооны өгөгдлийг бий болгох боломжийг олгосон. Нэмж дурдахад, Phi-3 загварыг боловсруулахдаа үнэлгээ, туршилт, гарын авлагын тохируулга зэрэг эрсдэлийг удирдах, бууруулах олон түвшний арга барилыг ашигласан. Үүний үр дүнд түүний мэдэгдсэнээр Microsoft, Phi-3 загварын гэр бүлийг ашигладаг хөгжүүлэгчид илүү найдвартай, найдвартай програмуудыг бүтээхийн тулд Azure AI-д байгаа багаж хэрэгслийн давуу талыг ашиглах боломжтой.
Мөн уншина уу: Шинжлэх ухааны үүднээс телепортаци ба түүний ирээдүй
Microsoft Phi ChatGPT төрлийн загваруудыг солих уу?
Огт үгүй. Жижиг хэлний загварууд (SLMs) нь өндөр чанартай өгөгдөл дээр бэлтгэгдсэн ч гэсэн өөрийн гэсэн хязгаарлалттай бөгөөд гүнзгий суралцахад зориулагдаагүй болно. Том хэлний загварууд (LLMs) нь хэмжээ, тооцоолох чадвараараа нарийн төвөгтэй үндэслэлээр SLM-ээс илүү сайн байдаг. LLM нь шинжлэх ухааны асар их бүтээлийн цуглуулгыг хайж, нарийн төвөгтэй хэв маягт дүн шинжилгээ хийх шаардлагатай эмийн нээлт гэх мэт салбарт ялангуяа ашигтай хэвээр байх болно. Нөгөөтэйгүүр, SLM нь урт текстийн баримт бичгийн гол санааг нэгтгэн дүгнэх, контент үүсгэх, харилцагчийн үйлчилгээний чатботуудыг идэвхжүүлэх зэрэг хялбар ажлуудад ашиглагдаж болно.
Microsoft, тэр хэлэхдээ, аль хэдийн эрлийз загварын багцуудыг дотооддоо ашигладаг бөгөөд LLM нь тэргүүлэх байр суурийг эзэлдэг бөгөөд энэ нь бусад, илүү төвөгтэй асуултуудыг өөрөө хариуцдаг бол SLM-д бага тооцоолох хүч шаарддаг зарим асуултуудыг чиглүүлдэг. Phi нь клоуд ашиглахгүйгээр төхөөрөмж дээр тооцоолоход зориулагдсан. Гэсэн хэдий ч жижиг хэлний загварууд болон үүлэн доторх том загваруудаас олж авах боломжтой оюун ухааны түвшин хоорондын зөрүү хэвээр байх болно. LLM-ийг үргэлжлүүлэн хөгжүүлсний ачаар энэ зөрүү удахгүй арилах магадлал багатай юм.
Phi-3-ыг гадны бие даасан талууд хараахан баталгаажуулаагүй байна. Microsoft заримдаа өрсөлдөгчидтэй харьцуулахад онцгой тохиолдолд 25 дахин өндөр үр ашиг эсвэл эрчим хүчний хэмнэлтийн талаар ярьдаг нь үнэхээр гайхалтай сонсогдож байна. Нөгөөтэйгүүр, эдгээр он жилүүд өнгөрсөн гэдгийг мартаж болохгүй Microsoft Мэдээллийн технологийн инновацийн салбарт тэргүүлэгч гэдгээс нь бага зэрэг салгасан, магадгүй тийм ч учраас бид үүнд итгэхгүй байгаа байх. Шууд хариу үйлдэл үзүүлж, үүсгэхийн оронд офлайнаар ажилладаг хиймэл оюун ухаанд суурилсан програмууд уу? Энэ нь өнөөгийн хувьсгалын зохистой оргил байх болно. Харамсалтай нь нэг гол асуудал байна.
Мөн уншина уу: Neuralink Telepathy чипийн тухай бүх зүйл: энэ нь юу вэ, хэрхэн ажилладаг вэ
Phi-3-аас Microsoft зөвхөн англи хэлээр ойлгодог
Фи-3 бөөнөөр нь шидсэн петабайтыг залгисангүй. Загвар өмсөгчийг болгоомжтой, нухацтай сургах нь нэг жижиг асуудалтай холбоотой юм. Phi-3 нь англи хэл дээрх мэдээллээр бэлтгэгдсэн бөгөөд өөр хэлний талаар хараахан мэдэхгүй байна. Зөвхөн Украйн төдийгүй Герман, Испани, Франц эсвэл Хятад хэлээр ярьдаг. Мэдээжийн хэрэг, энэ нь дэлхийн ихэнх хэрэглэгчдийн сонирхлыг ихээхэн бууруулдаг.
Гэхдээ дотор Microsoft хөгжүүлэх, сайжруулах ажил хийгдэж байна гэж батлав. Хэдийгээр та Украины зах зээл нь томоохон корпорациудын хувьд нэн тэргүүнд тавигддаг тул өөрийгөө хуурах ёсгүй. Тиймээс бид Украин хэлний дэмжлэгийг маш удаан хүлээх хэрэгтэй болно. Гэхдээ энэ баримт сонирхогчид болон ахиц дэвшлийг дагаж мөрдөхийг хүсдэг хүмүүсийг хэзээ ч зогсоосонгүй.
Мөн уншина уу: