Mengatasi AILaboratorium penelitian nirlaba AI Starhere Chere, meluncurkan minggu ini sebuah multimodal “terbuka”, AYA Vision, laboratorium yang ditegaskan adalah yang terbaik dari kelasnya.
Aya Vision dapat melakukan tugas -tugas seperti menulis subtitle gambar, menjawab pertanyaan tentang foto, menerjemahkan teks dan menghasilkan ringkasan dalam 23 bahasa utama. Cohere, yang juga membuat visi Aya tersedia secara gratis melalui WhatsApp, menggambarkannya “langkah yang signifikan untuk membuat kemajuan teknis dapat diakses oleh para peneliti di seluruh dunia.”
“Sementara AI telah mencapai kemajuan yang signifikan, masih ada celah yang bagus dalam fungsi model dalam berbagai bahasa, yang menjadi lebih terkenal dalam tugas multimodal yang melibatkan teks dan gambar,” tulis Chere dalam a Blog. “Visi Aya bertujuan untuk secara eksplisit membantu menutup celah itu.”
Aya Vision hadir dalam beberapa rasa: Aya Vision 32b dan Aya Vision 8B. Yang paling canggih dari keduanya, Aya Vision 32b, membentuk “perbatasan baru,” kata Cohere, mengatasi model 2 kali ukurannya, termasuk Visi Meta Call-3.2 90bpada titik referensi pemahaman visual tertentu. Sementara itu, AYA Vision 8b memperoleh lebih baik dalam beberapa evaluasi daripada model 10x dengan ukurannya, menurut Cohere.
Kedua model itu tersedia dari platform pengembangan AI memeluk wajah di bawah lisensi Creative Commons 4.0 Penggunaan Koherensi Tambahan yang Dapat Diterima. Mereka tidak dapat digunakan untuk aplikasi komersial.
Chere mengatakan bahwa AYA Vision dilatih menggunakan “kelompok beragam” set data dalam bahasa Inggris, yang diterjemahkan dan digunakan laboratorium untuk membuat anotasi sintetis. Anotasi, juga dikenal sebagai label atau label, membantu model untuk memahami dan menafsirkan data selama proses pelatihan. Misalnya, anotasi untuk melatih model pengenalan gambar dapat mengambil bentuk merek di sekitar objek atau subtitle yang merujuk pada setiap orang, tempat atau objek yang diwakili dalam suatu gambar.
Penggunaan koherensi anotasi sintetis, yaitu anotasi yang dihasilkan oleh AI, berada dalam tren. Meskipun kemungkinan ketidaknyamananSaingan, termasuk openai, semakin memanfaatkan data sintetis untuk melatih model seperti Data dunia nyata mengering. Tanda Tangan Penelitian Gartner perkiraan 60% data yang digunakan untuk proyek AI dan analitik ini tahun lalu dibuat secara sintetis.
Menurut Cohere, pelatihan AYA Vision tentang anotasi sintetis memungkinkan laboratorium untuk menggunakan lebih sedikit sumber daya sambil mencapai kinerja kompetitif.
“Ini menunjukkan pendekatan kritis kami terhadap efisiensi dan [doing] Lebih banyak menggunakan lebih sedikit perhitungan, ”tulis Chere di blognya. “Ini juga memungkinkan dukungan yang lebih besar untuk komunitas penelitian, yang seringkali memiliki akses yang lebih terbatas untuk menghitung sumber daya.”
Bersama dengan AYA Vision, Chere juga meluncurkan rangkaian referensi baru, AyavisionBench, yang dirancang untuk menyelidiki keterampilan model dalam “bahasa penglihatan”, seperti mengidentifikasi perbedaan antara dua gambar dan konversi tangkapan layar yang akan dikodekan.
Industri AI berada di tengah -tengah apa yang oleh beberapa orang disebut sebagai “krisis evaluasi”, konsekuensi dari mempopulerkan poin referensi bahwa Berikan skor agregat yang berkorelasi buruk dengan persaingan Dalam tugas untuk sebagian besar Pengguna Pengguna AI. Coher menyatakan bahwa AyavisionBench adalah langkah menuju perbaikan ini, memberikan kerangka “luas dan menantang” untuk mengevaluasi pemahaman multibahasa dan multimoda dari suatu model.
Dengan keberuntungan, itulah masalahnya.
“[T]Kumpulan data berfungsi sebagai titik referensi yang solid untuk mengevaluasi model dalam bahasa penglihatan di lingkungan multibahasa dan dunia nyata, “koheres penelitian menulis dalam publikasi Di wajah yang dipeluk. “Kami membuat set evaluasi ini tersedia untuk komunitas penelitian untuk meningkatkan evaluasi multibahasa multibahasa.”
