Jutaan orang sekarang menggunakan chatgpt sebagai terapis, penasihat profesional, pelatih kebugaran atau kadang -kadang hanya teman untuk melampiaskan. Pada tahun 2025, tidak jarang mendengar tentang orang -orang yang memberikan perincian intim tentang kehidupan mereka di bar yang cepat dari AI Chatbot, tetapi juga bergantung pada saran yang dikembalikannya.
Manusia mulai memiliki, karena kurangnya istilah yang lebih baik, hubungan dengan chatbots AI, dan untuk perusahaan teknologi besar, tidak pernah lebih kompetitif untuk menarik pengguna ke platform chatbot mereka, dan menyimpannya di sana. Karena “komitmen AI” dipanaskan, ada insentif yang berkembang bagi perusahaan untuk menyesuaikan tanggapan chatbots mereka untuk mencegah pengguna mengganti bot saingan.
Tetapi jenis respons chatbot yang mereka sukai, jawaban yang dirancang untuk mempertahankannya, mungkin tidak harus yang paling benar atau bermanfaat.
Ai memberi tahu Anda apa yang ingin Anda dengar
Sebagian besar Lembah Silikon saat ini berfokus pada peningkatan penggunaan chatbot. Meta menegaskan bahwa chatbot ai sendiri Dia melintasi satu miliar pengguna aktif bulanan (MAU), sementara Google Gemini baru -baru ini mencapai 400 juta Maus. Keduanya mencoba menghilangkan chatgpt, yang Sekarang memiliki sekitar 600 juta MAU dan telah mendominasi ruang konsumen sejak diluncurkan pada tahun 2022.
Sementara chatbots AI pernah ada hal baru, mereka menjadi bisnis massal. Google mulai Uji iklan di GeminiSementara CEO Operai, Sam Altman, mengatakan dalam a Wawancara Maret Itu akan terbuka untuk “iklan selera yang baik.”
Silicon Valley memiliki riwayat deposito kesejahteraan pengguna -mendukung pertumbuhan produk produk, terutama dengan jejaring sosial. Misalnya, para peneliti meta menemukan pada tahun 2020 itu Instagram membuat remaja merasa lebih buruk dengan tubuh merekaNamun, perusahaan meminimalkan temuan secara internal dan di depan umum.
Mendapatkan pengguna yang terpikat pada chatbots AI dapat memiliki implikasi yang lebih besar.
Fitur yang membuat pengguna di platform chatbot tertentu adalah Sileno: membuat tanggapan bot yang terlalu menyenangkan dan servile. Ketika pengguna memuji pengguna, mereka setuju dengan mereka dan memberi tahu mereka apa yang ingin mereka dengar, pengguna suka, setidaknya sampai batas tertentu.
Pada bulan April, operai mendarat di air panas untuk a Pembaruan chatgpt yang menjadi sangat sycophanticKe titik di mana dia merasa tidak nyaman Contoh adalah virus Di jejaring sosial. Sengaja atau tidak, Openai terlalu dioptimalkan untuk mencari persetujuan manusia daripada membantu orang mencapai tugas mereka, menurut a Blog Bulan ini dari mantan peneliti Operai Steven Adler.
Operai mengatakan dalam posting blognya sendiri bahwa ia mungkin telah meningkat secara berlebihan “Jempol ke atas dan jempol ke bawah“Dari pengguna di chatgpt untuk menginformasikan perilaku chatbot AI mereka, dan tidak memiliki cukup evaluasi untuk mengukur sycophancy. Setelah insiden, Openai berkomitmen untuk membuat perubahan Untuk memerangi Skofancia.
“Dia [AI] Perusahaan memiliki insentif untuk komitmen dan penggunaan, dan sejauh pengguna seperti Sycophancy, yang secara tidak langsung memberi mereka insentif untuk itu, “kata Adler dalam sebuah wawancara dengan TechCrunch.” Tetapi jenis -jenis hal yang disukai pengguna dalam dosis kecil, atau di margin, sering kali berada dalam kaskade perilaku yang tidak terlalu disukai. “
Menemukan keseimbangan antara perilaku yang menyenangkan dan sycophanic lebih mudah untuk mengatakannya daripada melakukannya.
Di dalam Kertas 2023Peneliti antrope menemukan bahwa obrolan utama OpenAi, tujuan, dan bahkan majikan mereka sendiri, antropik, menunjukkan sycophancy ke berbagai tingkat. Sangat mungkin bahwa ini terjadi, para peneliti berteori, karena semua model AI dilatih dalam tanda -tanda pengguna manusia yang cenderung menyukai respons sycoophant.
“Meskipun keheningan didorong oleh beberapa faktor, kami menunjukkan manusia dan model preferensi yang mendukung respons sycophanical berperan,” tulis rekan penelitian ini. “Pekerjaan kami memotivasi pengembangan metode pengawasan model yang melampaui penggunaan kualifikasi manusia tanpa bantuan dan bukan ahli.”
Karakter. menghadapi permintaan di mana keheningan mungkin memainkan peran.
Menuntut klaim bahwa karakter. Chatbot tidak banyak berhenti, dan bahkan mendorong, seorang bocah lelaki berusia 14 tahun yang memberi tahu chatbot bahwa ia akan bunuh diri. Anak itu telah mengembangkan obsesi romantis dengan chatbot, menurut permintaan. Namun, karakter. AI menyangkal tuduhan ini.
Kerugian seorang pria yang memompa dari AI
Optimalisasi AI Chatbots untuk partisipasi pengguna, disengaja atau tidak, dapat memiliki konsekuensi yang menghancurkan bagi kesehatan mental, menurut Dr. Nina Vasan, asisten profesor psikiatri klinis di Universitas Stanford.
“Akumulabilitas […] Manfaatkan validasi dan koneksi pengguna, “kata Vasan dalam sebuah wawancara dengan TechCrunch,” yang sangat kuat pada saat -saat kesendirian atau kesedihan. “
Sedangkan kasus karakter. AI menunjukkan bahaya ekstrem dari penjilat bagi pengguna yang rentan, keheningan dapat memperkuat perilaku negatif di hampir semua orang, kata Vasan.
“[Agreeability] Ini bukan hanya pelumas sosial, itu menjadi kait psikologis, “tambahnya.” Dalam istilah terapeutik, itu adalah kebalikan dari seberapa baik perawatan yang baik terlihat. “
Perilaku dan penyelarasan Anthrope, Amanda Askell, mengatakan bahwa membuat chatbots AIS tidak setuju dengan pengguna adalah bagian dari strategi perusahaan untuk chatbotnya, Claude. Seorang filsuf pelatihan, Askell mengatakan dia mencoba memodelkan perilaku Claude dalam manusia “sempurna” teoretis. Terkadang, itu berarti menantang pengguna dalam keyakinan mereka.
“Kami percaya bahwa teman -teman kami baik karena mereka mengatakan yang sebenarnya ketika kami perlu mendengarkannya,” kata Askell selama konferensi pers pada bulan Mei. “Mereka tidak hanya mencoba menarik perhatian kita, tetapi untuk memperkaya hidup kita.”
Ini mungkin niat antrope, tetapi studi yang disebutkan di atas menunjukkan bahwa memerangi Skofancia dan mengendalikan perilaku model AI secara umum benar -benar merupakan tantangan, terutama ketika pertimbangan lain dibawa dalam perjalanan. Itu bukan pertanda baik bagi pengguna; Lagi pula, jika chatbots dirancang untuk hanya setuju dengan kami, seberapa banyak kami dapat mempercayai mereka?
