Ketika sebuah perusahaan merilis generator video AI baru, tidak lama kemudian seseorang menggunakannya untuk membuat video aktor Will Smith sedang makan spageti.
Ini menjadi semacam meme dan juga tolok ukur: untuk melihat apakah generator video baru dapat secara realistis menggambarkan Smith sedang menyeruput semangkuk mie. Smith sendiri diparodikan tren postingan Instagram di bulan Februari.
Google I See 2 telah mencapainya.
Sekarang kami akhirnya makan spageti. pic.twitter.com/AZO81w8JC0
-Jerrod Lew (@jerrod_lew) 17 Desember 2024
Will Smith dan pasta hanyalah salah satu dari beberapa landmark aneh yang “tidak resmi”. untuk menaklukkan komunitas AI pada tahun 2024. Seorang pengembang berusia 16 tahun membuat aplikasi yang memberi AI kendali atas Minecraft dan menguji kemampuannya dalam merancang struktur. Di sisi lain, seorang programmer Inggris menciptakan platform tempat AI memainkan game seperti Pictionary dan Connect 4 satu sama lain.
Bukan berarti tidak ada lagi bukti akademis mengenai kinerja AI. Jadi mengapa yang paling aneh bisa meledak?
Salah satu alasannya adalah karena banyak tolok ukur AI yang berstandar industri tidak memberikan informasi banyak kepada kebanyakan orang. Perusahaan sering kali menyebutkan kemampuan AI mereka untuk menjawab pertanyaan pada ujian Olimpiade Matematika atau menemukan solusi yang masuk akal untuk masalah tingkat PhD. Namun, kebanyakan orang (termasuk server ini) menggunakan chatbots untuk hal-hal seperti Tanggapi email dan pertanyaan dasar..
Langkah-langkah industri yang kolaboratif belum tentu lebih baik atau lebih informatif.
Ambil contoh, Arena Chatbottolok ukur publik yang diikuti secara obsesif oleh banyak pengembang dan penggemar AI. Chatbot Arena memungkinkan siapa saja di web untuk mengevaluasi seberapa baik kinerja AI pada tugas tertentu, seperti membuat aplikasi web atau menghasilkan gambar. Namun para evaluator cenderung tidak representatif (kebanyakan berasal dari kalangan industri teknologi dan AI) dan memberikan suara mereka berdasarkan preferensi pribadi yang sulit ditentukan.
Ethan Mollick, seorang profesor manajemen di Wharton, baru-baru ini mencatat dalam a surat Di X, ada masalah lain dengan banyak tolok ukur industri AI: tolok ukur tersebut tidak membandingkan kinerja suatu sistem dengan kinerja rata-rata orang.
“Fakta bahwa tidak ada 30 tolak ukur yang berbeda dari berbagai organisasi dalam bidang kedokteran, hukum, kualitas nasihat, dan lain-lain, sungguh memalukan, karena orang-orang tetap menggunakan sistem untuk hal-hal ini,” tulis Mollick.
Tolok ukur AI yang aneh seperti Connect 4, Minecraft, dan Will Smith pasti memakan spageti TIDAK empiris, atau bahkan dapat digeneralisasikan. Hanya karena AI lolos uji Will Smith bukan berarti AI akan berhasil menghasilkan, misalnya, hamburger.
Salah satu pakar yang saya ajak bicara tentang tolok ukur AI menyarankan agar komunitas AI fokus pada dampak hilir AI daripada kemampuannya dalam domain yang sempit. Itu masuk akal. Namun saya merasa tanda-tanda aneh ini tidak akan hilang dalam waktu dekat. Tidak hanya menghibur: siapa yang tidak suka menonton AI membangun kastil Minecraft? – tapi mudah dimengerti. Dan seperti yang dikatakan rekan saya Max Zeff menulis tentang baru-baru iniIndustri ini terus berjuang untuk mengubah teknologi serumit AI menjadi pemasaran yang mudah dicerna.
Satu-satunya pertanyaan di benak saya adalah: landmark baru apa yang aneh yang akan menjadi viral pada tahun 2025?
TechCrunch memiliki buletin yang berfokus pada AI! Daftar di sini untuk menerimanya di kotak masuk Anda setiap hari Rabu.
