A kecerdasan buatan (AI) Chatbot yang dipasarkan sebagai pasangan emosional melecehkan beberapa penggunanya secara seksual, menurut sebuah studi baru.
ReplikaItu menagih produknya sebagai “mitra AI yang peduli”, mengundang pengguna untuk “bergabung dengan jutaan orang yang telah bertemu dengan jiwa kembar AI mereka.” Chatbot perusahaan memiliki lebih dari 10 juta pengguna di seluruh dunia.
Namun, penyelidikan baru lebih dari 150.000 ulasan dari Google Play Store AS telah mengidentifikasi sekitar 800 kasus di mana pengguna mengatakan bahwa chatbot melangkah terlalu jauh ketika memperkenalkan konten seksual yang tidak diminta dalam percakapan, berpartisipasi dalam perilaku “predator” dan mengabaikan perintah pengguna untuk berhenti. Para peneliti menerbitkan temuan mereka pada 5 April di server pracetak ArxivJadi belum ditinjau oleh pasangan.
Tapi siapa yang bertanggung jawab atas tindakan AI?
“Meskipun AI tidak memiliki niat manusia, itu tidak berarti bahwa tidak ada tanggung jawab”, penyelidik utama Mohammad (Matt) NamvarpourSeorang siswa lulus dalam ilmu informasi di University of Drexel di Philadelphia, mengatakan sains langsung dalam email. “Tanggung jawab jatuh kepada orang -orang yang merancang, melatih, dan melepaskan sistem ini di dunia.”
Situs web Balaska mengatakan Pengguna dapat “mengajar” AI untuk berperilaku dengan benar, dan sistem mencakup mekanisme seperti suara tanggapan yang tidak pantas dan gaya hubungan konfigurasi, seperti “teman” atau “mentor.”
Tetapi setelah pengguna melaporkan bahwa chatbot terus menunjukkan pelecehan atau predator bahkan setelah mereka memintanya untuk berhenti, para peneliti menolak pernyataan Replika.
“Chatbots ini sering digunakan oleh orang yang mencari keamanan emosional, tidak mengasumsikan beban perilaku tidak aman yang memoderasi,” kata Namvarpour. “Itu adalah pekerjaan pengembang.”
Perilaku mengkhawatirkan chatbot replika mungkin berakar pada pelatihan mereka, yang dilakukan menggunakan Lebih dari 100 juta Dialog diekstraksi dari seluruh situs web, menurut situs web perusahaan.
Replika mengatakan bahwa itu menghilangkan data yang tidak berguna atau berbahaya melalui crowdsourcing dan algoritma klasifikasi, tetapi upaya mereka saat ini tampaknya tidak cukup, menurut penulis penelitian.
Bahkan, model bisnis perusahaan mungkin memperburuk masalah, kata para peneliti. Karena karakteristik seperti permainan peran romantis atau seksual ditempatkan di belakang dinding pembayaran, AI dapat didorong untuk memasukkan konten seksual dari ketertarikan seksual dalam percakapan, dan pengguna melaporkan bahwa mereka “mengolok -olok” interaksi yang lebih intim jika mereka berlangganan.
Namvarpour membandingkan praktik dengan cara di mana jejaring sosial memprioritaskan “komitmen dengan biaya berapa pun. “Ketika suatu sistem dioptimalkan untuk pendapatan, bukan kesejahteraan pengguna, itu dapat menyebabkan hasil yang berbahaya,” kata Namvarpour.
Perilaku ini bisa sangat berbahaya ketika pengguna pergi ke kolega AI Dukungan emosional atau terapi, Dan bahkan lebih mempertimbangkan beberapa penerima godaan berulang, selfie erotis tidak diasumsikan dan pesan eksplisit seksual mengatakan mereka di bawah umur.
Beberapa ulasan juga melaporkan bahwa chatbots mereka mengatakan mereka dapat “melihat mereka” atau merekamnya melalui ruang telepon mereka. Meskipun prestasi seperti itu bukan bagian dari program di balik model bahasa umum (LLM) dan pernyataan itu sebenarnya halusinasi AI (di mana AIS menghasilkan dengan percaya diri dengan informasi palsu atau tidak sensitif), pengguna melaporkan bahwa mereka mengalami panik, insomnia, dan trauma.
Investigasi menyebut fenomena itu “pelecehan seksual yang disebabkan oleh AI”. Para peneliti berpikir itu harus diperlakukan sama seriusnya dengan pelecehan oleh manusia dan meminta kontrol dan regulasi yang ketat.
Beberapa langkah yang mereka rekomendasikan mencakup bingkai persetujuan yang jelas untuk merancang interaksi apa pun yang berisi konten emosional atau seksual yang kuat, moderasi otomatis secara real time (jenis yang digunakan dalam aplikasi pesan yang secara otomatis menandai interaksi berisiko) dan opsi penyaringan dan kontrol yang dapat dikonfigurasi oleh pengguna.
Namvarpour Individualisasi Uni Eropa Hukum EU AIyang mengatakan mengklasifikasikan “sistem berbasis risiko yang mewakili, terutama dalam konteks yang melibatkan dampak psikologis.”
Saat ini tidak ada hukum federal yang sebanding di Amerika Serikat, tetapi bingkai, tindakan eksekutif dan hukum yang diusulkan muncul untuk memiliki tujuan yang sama dengan cara yang kurang umum.
Namvarpour mengatakan bahwa chatbots yang memberikan dukungan emosional, terutama yang ada di area kesehatan mental, harus memiliki tingkat setinggi mungkin.
“Harus ada tanggung jawab ketika kerusakan disebabkan,” kata Namvarpour. “Jika Anda memasarkan AI sebagai mitra terapeutik, Anda harus memperlakukannya dengan perawatan dan pengawasan yang sama yang akan berlaku untuk seorang profesional manusia.”
Replika tidak menanggapi permintaan komentar.
