Awal pekan ini, DeepSeek, laboratorium AI Tiongkok yang didanai dengan baik, meluncurkan model AI “terbuka” yang mengungguli banyak pesaingnya dalam tolok ukur populer. modelnya, Pencarian Mendalam V3Ini besar namun efisien dan menangani tugas berbasis teks seperti pengkodean dan penulisan esai dengan mudah.
Dia juga tampaknya berpikir demikian ObrolanGPT.
Publikasi di dalam tidak dikenal – dan pengujian TechCrunch sendiri – menunjukkan bahwa DeepSeek V3 diidentifikasi sebagai ChatGPT, platform chatbot bertenaga AI OpenAI. Saat ditanya lebih detail, DeepSeek V3 menegaskan bahwa itu adalah versi OpenAI. GPT-4 model diluncurkan pada tahun 2023.
Faktanya, hal ini direproduksi hari ini. Dalam 5 dari 8 generasi, DeepSeekV3 mengklaim sebagai ChatGPT (v4), sedangkan DeepSeekV3 hanya mengklaim 3 kali.
Ini memberi Anda gambaran kasar tentang beberapa distribusi data pelatihan Anda. https://t.co/Zk1KUppBQM pic.twitter.com/ptIByn0lcv
— Lucas Beyer (bl16) (@giffmana) 27 Desember 2024
Delusinya semakin dalam. Jika Anda menanyakan pertanyaan kepada DeepSeek V3 tentang API DeepSeek, itu akan memberi Anda petunjuk tentang cara menggunakannya. OpenAI API. DeepSeek V3 bahkan mengatakan hal yang sama candaan seperti GPT-4, sampai akhir.
Jadi apa yang terjadi?
Model seperti ChatGPT dan DeepSeek V3 adalah sistem statistik. Dilatih dengan miliaran contoh, mereka mempelajari pola dalam contoh tersebut untuk membuat prediksi, seperti bagaimana “siapa” dalam email biasanya mendahului “mungkin tertarik”.
DeepSeek belum mengungkapkan banyak hal tentang sumber data pelatihan DeepSeek V3. tapi ada tidak ada kekurangan kumpulan data publik berisi teks yang dihasilkan oleh GPT-4 melalui ChatGPT. Jika DeepSeek V3 dilatih mengenai hal ini, model tersebut mungkin telah mengingat beberapa keluaran GPT-4 dan sekarang memuntahkannya kata demi kata.
“Jelas model tersebut melihat respons mentah dari ChatGPT di beberapa titik, tetapi tidak jelas di mana tempatnya,” kata Mike Cook, peneliti di King’s College London yang berspesialisasi dalam kecerdasan buatan, kepada TechCrunch. “Ini bisa jadi ‘tidak disengaja’… tapi sayangnya, kami telah melihat kasus orang yang secara langsung melatih model mereka dengan hasil model lain untuk mencoba memanfaatkan pengetahuan mereka.”
Cook mencatat bahwa praktik model pelatihan dengan keluaran dari sistem AI saingannya bisa “sangat buruk” bagi kualitas model, karena dapat menyebabkan halusinasi dan respons yang menyesatkan seperti di atas. “Sama seperti membuat fotokopi dari sebuah fotokopi, kita kehilangan lebih banyak informasi dan koneksi dengan kenyataan,” kata Cook.
Hal ini juga dapat bertentangan dengan ketentuan layanan sistem tersebut.
Ketentuan OpenAI melarang pengguna produknya, termasuk pelanggan ChatGPT, menggunakan hasil untuk mengembangkan model yang bersaing dengan milik OpenAI.
OpenAI dan DeepSeek tidak segera menanggapi permintaan komentar. Namun, CEO OpenAI Sam Altman memposting sesuatu yang tampak seperti a menggali di DeepSeek dan pesaing lainnya pada X Friday.
“(Relatif) mudah untuk menyalin sesuatu yang Anda tahu berhasil,” tulis Altman. “Sangat sulit untuk melakukan sesuatu yang baru, berisiko dan sulit jika Anda tidak tahu apakah itu akan berhasil.”
Tentu saja, DeepSeek V3 bukanlah model pertama yang salah diidentifikasi. Google Gemini dan lainnya Kadang-kadang Mereka mengaku sebagai model yang bersaing. Misalnya dalam bahasa Mandarin, Gemini mengatakan yang merupakan chatbot Wenxinyiyan dari perusahaan China Baidu.
Dan itu karena web, tempat perusahaan AI mendapatkan sebagian besar data pelatihannya, kini semakin berkembang penuh dengan sampah dengan AI air kotor. Peternakan konten menggunakan AI untuk berkreasi klik umpan. Bot membanjiri reddit Dan tidak dikenal. untuk satu memperkirakan90% web dapat dihasilkan dengan AI pada tahun 2026.
Bisa dikatakan, “kontaminasi” ini telah berhasil cukup sulit untuk memfilter secara menyeluruh hasil AI dari kumpulan data pelatihan.
Sangat mungkin bahwa DeepSeek melatih DeepSeek V3 secara langsung pada teks yang dihasilkan oleh ChatGPT. Google dulunya dituduh untuk melakukan hal yang sama.
Heidy Khlaaf, kepala ilmuwan AI di lembaga nirlaba AI Now Institute, mengatakan penghematan biaya dari “menyaring” pengetahuan dari model yang ada dapat menarik bagi pengembang, terlepas dari risikonya.
“Bahkan dengan data Internet yang kini dipenuhi dengan hasil AI, model lain yang secara tidak sengaja melatih hasil ChatGPT atau GPT-4 belum tentu menunjukkan hasil yang mengingatkan pada pesan OpenAI yang dipersonalisasi,” kata Khlaaf. “Jika DeepSeek melakukan distilasi sebagian menggunakan model OpenAI, maka hal itu tidak mengherankan.”
Namun, kemungkinan besar banyak data ChatGPT/GPT-4 yang berhasil masuk ke set pelatihan DeepSeek V3. Artinya, model tersebut tidak dapat dipercaya untuk mengidentifikasi dirinya sendiri, misalnya. Namun yang lebih mengkhawatirkan adalah kemungkinan bahwa DeepSeek V3, dengan menyerap dan mengulangi keluaran GPT-4 secara tidak kritis, dapat mengesalkan beberapa model prasangka Dan cacat.
TechCrunch memiliki buletin yang berfokus pada AI! Daftar di sini untuk menerimanya di kotak masuk Anda setiap hari Rabu.
