Mantan insinyur Google dan peneliti AI yang berpengaruh François Chollet adalah salah satu pendiri organisasi nirlaba untuk membantu mengembangkan tolok ukur yang akan menguji kecerdasan buatan untuk kecerdasan “tingkat manusia”.
Organisasi nirlaba, ARC Prize Foundation, akan dipimpin oleh Greg Kamradt, mantan direktur teknik di Salesforce dan pendiri studio produk AI Leverage. Kamradt akan menjadi presiden dan anggota dewan direksi.
Penggalangan dana untuk ARC Prize Foundation akan dimulai pada akhir Januari.
“[W]“Kami berkembang…menjadi yayasan nirlaba yang cocok untuk bertindak sebagai bintang utara yang berguna menuju kecerdasan umum buatan,” Chollet menulis dalam postingan di situs web nirlaba. (Kecerdasan umum buatan adalah istilah yang membingungkan, namun secara umum dipahami sebagai AI yang dapat melakukan sebagian besar tugas yang dapat dilakukan manusia.)[W]Kami mencoba menginspirasi kemajuan dengan melakukan promosi [the gap] dalam kapasitas dasar manusia.
ARC Prize Foundation akan berkembang ARC-AGItes yang dikembangkan oleh Chollet untuk mengevaluasi apakah sistem AI dapat memperoleh keterampilan baru secara efisien di luar data yang dilatihnya. Ini terdiri dari masalah seperti teka-teki di mana AI harus menghasilkan grid “jawaban” yang benar dari kumpulan kotak berwarna berbeda. Masalah tersebut dirancang untuk memaksa AI beradaptasi dengan masalah baru yang belum pernah terlihat sebelumnya.
Chollet memperkenalkan ARC-AGI, kependekan dari “Abstract and Reasoning Corpus for Artificial General Intelligence,” pada tahun 2019. Banyak sistem AI yang dapat lulus ujian Olimpiade Matematika dan menemukan kemungkinan solusi untuk masalah tingkat doktoral. Namun hingga tahun ini, AI dengan kinerja terbaik hanya mampu menyelesaikan kurang dari sepertiga tugas di ARC-AGI.
“Tidak seperti kebanyakan tolok ukur AI mutakhir, kami tidak mencoba mengukur risiko AI dengan soal ujian manusia super,” tulis Chollet dalam postingannya. “Versi masa depan dari benchmark ARC-AGI akan fokus pada pengurangan [the human capability] kesenjangan menuju nol.”
Juni lalu, salah satu pendiri Chollet dan Zapier, Mike Knoop, memulai a kompetensi untuk membangun AI yang mampu melampaui ARC-AGI. OpenAI yang belum dirilis o3 Model ini adalah yang pertama mencapai skor kualifikasi, tetapi hanya dengan kekuatan komputasi yang luar biasa.
Chollet telah memperjelas bahwa ARC-AGI memiliki kelemahan (banyak model yang mampu mencapai skor tinggi melalui kekerasan) dan dia tidak percaya o3 memiliki kecerdasan setingkat manusia.
“[E]Data awal menunjukkan hal berikutnya [successor to the ARC-AGI] “Tolok ukur ini akan terus menimbulkan tantangan yang signifikan bagi o3, berpotensi menurunkan skornya hingga di bawah 30% bahkan dengan komputasi tinggi (sementara manusia cerdas masih bisa mendapatkan skor di atas 95% tanpa pelatihan),” kata Chollet dalam sebuah pernyataan pada bulan Desember lalu. “Anda akan mengetahui bahwa kecerdasan umum buatan ada di sini ketika upaya menciptakan tugas-tugas yang mudah bagi manusia biasa namun sulit bagi AI menjadi mustahil.”
Ketukan mengatakan bahwa rencananya adalah meluncurkan benchmark ARC-AGI generasi kedua “pada kuartal pertama” bersamaan dengan kompetisi baru. Organisasi nirlaba ini juga akan memulai desain ARC-AGI edisi ketiga.
Masih harus dilihat bagaimana ARC Prize Foundation menangani hal ini kritik Chollet menghadapi overselling ARC-AGI sebagai tolok ukur untuk mencapai AGI. Definisi AGI sedang hangat diperdebatkan; seorang anggota staf OpenAI baru-baru ini direklamasi bahwa AGI “telah” tercapai jika AGI didefinisikan sebagai AI “lebih baik daripada kebanyakan manusia dalam sebagian besar tugas”.
Menariknya, CEO OpenAI Sam Altman mengatakan pada bulan Desember bahwa perusahaan bermaksud bermitra dengan tim ARC-AGI untuk membangun tolok ukur di masa depan. Chollet tidak memberikan informasi terkini mengenai potensi kemitraan dalam pengumuman hari ini.
Dalam serangkaian publikasi Namun, di AGI dari industri.
TechCrunch memiliki buletin yang berfokus pada AI! Daftar di sini untuk menerimanya di kotak masuk Anda setiap hari Rabu.
