Apple нь хиймэл оюун ухааны зах зээлд тэргүүлэгч тоглогчдын нэг биш боловч зураг засварлахад зориулагдсан технологийн аварга компанийн шинэ нээлттэй эхийн хиймэл оюун ухааны загвар нь тус компани энэ салбарт ямар хувь нэмэр оруулж болохыг харуулж байна.
MLLM-Guided Image Editing (MGIE) гэж нэрлэгддэг загвар нь зураг боловсруулахад текст командыг тайлбарлахын тулд олон төрлийн том хэлний загваруудыг (MLLM) ашигладаг. Өөрөөр хэлбэл, энэ хэрэгслээр хэрэглэгч оруулсан текст дээрээ үндэслэн зураг засварлах боломжтой болно. Хэдийгээр энэ нь үүнийг хийж чадах анхны хэрэгсэл биш ч "хүний зааварчилгаа заримдаа барьж авах, гүйцэтгэх орчин үеийн аргуудад хэтэрхий богино байдаг" гэж төслийн баримт бичигт дурджээ.
Тус компани MGIE-г Калифорнийн их сургуулийн судлаачидтай хамтран боловсруулсан. MLLM нь энгийн эсвэл хоёрдмол утгатай текстийн сануулгыг зураг засварлагчийн дагаж чадах илүү нарийвчилсан, ойлгомжтой заавар болгон хувиргах чадвартай. Жишээлбэл, хэрэв хэрэглэгч пепперони пиццаны зургийг "илүү эрүүл болгох" гэж засварлахыг хүсвэл MLLM үүнийг "хүнсний ногоо нэмнэ" гэж тайлбарлаж, зургийг нь тохируулж болно.
MGIE нь зургийн үндсэн өөрчлөлтөөс гадна зургийг тайрах, хэмжээг өөрчлөх, эргүүлэхээс гадна гэрэлтэх байдал, тодосгогч, өнгөний тэнцвэрийг сайжруулах боломжтой ба энэ бүхэн нь текстийн сануулга юм. Та мөн уг хэрэгслийг ашиглан зургийн зарим хэсгийг засах, жишээлбэл, тухайн хүний үс, нүд, хувцасыг өөрчлөх, арын дэвсгэр дээрх элементүүдийг арилгах боломжтой.
Apple дамжуулан загварыг гаргасан GitHub, гэхдээ сонирхсон хүмүүс одоо Hugging Face Spa дээр байршуулсан демо хувилбарыг туршиж үзэх боломжтойces. Тус компани төслөөс сурсан зүйлээ ямар нэгэн бүтээгдэхүүндээ тусгаж болох хэрэгсэл, функц болгон ашиглахаар төлөвлөж байгаа эсэхээ хараахан хэлээгүй байна.
Мөн уншина уу: