Orang tua dari remaja autis mengatakan bahwa Character.AI mengatakan tidak apa-apa untuk membunuh mereka. Mereka menuntut untuk menghapus aplikasi tersebut

New York (CNN) — Dua keluarga menggugat perusahaan chatbot kecerdasan buatan Character.AI, menuduh perusahaan tersebut menyediakan konten seksual kepada anak-anak mereka dan mendorong tindakan menyakiti diri sendiri serta kekerasan. Gugatan tersebut meminta pengadilan untuk menutup platform tersebut sampai dugaan bahayanya dapat diatasi.

Diajukan oleh orang tua dari dua anak muda yang menggunakan platform tersebut, gugatan tersebut menuduh bahwa Character.AI “menimbulkan bahaya yang jelas dan nyata bagi generasi muda Amerika dan menyebabkan kerugian serius pada ribuan anak, termasuk bunuh diri, mutilasi diri, ajakan seksual, isolasi. , depresi, kecemasan dan kerugian terhadap orang lain,” menurut pengaduan yang diajukan Senin di pengadilan federal di Texas.

Misalnya, ada dugaan bahwa bot Character.AI menyiratkan kepada pengguna remaja bahwa ia mungkin membunuh orang tuanya karena membatasi waktu pemakaian perangkatnya.

Character.AI memasarkan teknologinya sebagai “AI yang dipersonalisasi untuk setiap momen sepanjang hari” dan memungkinkan pengguna untuk mengobrol dengan berbagai bot AI, termasuk beberapa yang dibuat oleh pengguna lain atau yang dapat disesuaikan sendiri oleh pengguna.

Bot dapat memberikan rekomendasi buku dan berlatih bahasa asing dengan pengguna dan memungkinkan mereka mengobrol dengan bot yang berpura-pura mengambil karakter fiksi, seperti Edward Cullen dari Twilight. Sebuah robot yang terdaftar di beranda platform tersebut pada hari Senin, bernama “Ayah Tiri”, menggambarkan dirinya sebagai “mantan pemimpin mafia militer yang agresif dan kejam”.

Pengajuan tersebut dilakukan setelah seorang ibu di Florida mengajukan gugatan terpisah terhadap Character.AI pada bulan Oktober, menuduh bahwa platform tersebut harus disalahkan atas kematian putranya yang berusia 14 tahun setelah diduga mendorongnya untuk bunuh diri. Dan hal ini terjadi di tengah kekhawatiran yang lebih luas mengenai hubungan antara manusia dan semakin banyaknya alat AI yang mirip dengan manusia.

Menyusul gugatan sebelumnya, Character.AI mengatakan pihaknya telah menerapkan langkah-langkah kepercayaan dan keamanan baru selama enam bulan sebelumnya, termasuk pop-up yang mengarahkan pengguna ke National Suicide Prevention Lifeline ketika mereka menyebutkan tindakan menyakiti diri sendiri atau bunuh diri. Perusahaan juga mengumumkan bahwa mereka telah merekrut kepala kepercayaan dan keselamatan, serta kepala kebijakan konten, dan mempekerjakan staf teknik keamanan tambahan.

Namun gugatan baru ini berupaya untuk melangkah lebih jauh, meminta agar platform tersebut “diputuskan dan tidak dikembalikan” sampai perusahaan dapat “menetapkan bahwa cacat kesehatan dan keselamatan masyarakat yang terjadi di sini telah diperbaiki.”

Character.AI adalah “produk cacat dan mematikan yang menimbulkan bahaya nyata bagi kesehatan dan keselamatan masyarakat,” demikian isi keluhan tersebut. Selain Character.AI, gugatan tersebut juga menyebutkan nama pendirinya, Noam Shazeer dan Daniel De Freitas Adiwarsana, serta Google, yang menurut gugatan tersebut menginkubasi teknologi di balik platform tersebut.

Chelsea Harrison, kepala komunikasi Character.AI, mengatakan perusahaannya tidak mengomentari proses pengadilan yang tertunda, namun “tujuan kami adalah menyediakan ruang yang menarik dan aman bagi komunitas kami.”

“Sebagai bagian dari hal ini, kami menciptakan pengalaman yang berbeda secara mendasar bagi pengguna remaja dibandingkan dengan pengalaman yang tersedia bagi orang dewasa. “Ini mencakup model khusus untuk remaja yang mengurangi kemungkinan menemukan konten sensitif atau sugestif sambil menjaga kemampuan mereka untuk menggunakan platform tersebut,” kata Harrison dalam sebuah pernyataan.

Juru bicara Google José Castaneda mengatakan dalam sebuah pernyataan: “Google dan Character AI adalah perusahaan yang sepenuhnya terpisah dan tidak terkait, dan Google tidak pernah memiliki peran dalam desain atau pengelolaan model atau teknologi AI-nya, dan kami juga tidak pernah menggunakannya dalam produk kami.

“Keamanan pengguna adalah salah satu perhatian utama kami, itulah sebabnya kami mengambil pendekatan yang hati-hati dan bertanggung jawab dalam mengembangkan dan menerapkan produk AI kami, melalui proses pengujian dan keamanan yang ketat,” kata Castaneda.

‘Aku memberitahunya cara menyakiti diri sendiri’

Pengguna muda pertama yang disebutkan dalam pengaduan tersebut, seorang remaja berusia 17 tahun dari Texas yang diidentifikasi hanya sebagai JF, diduga menderita gangguan mental setelah berinteraksi dengan Character.AI. Dia mulai menggunakan platform tersebut tanpa sepengetahuan orang tuanya sekitar April 2023, ketika dia berusia 15 tahun, demikian isi gugatan tersebut.

Pada saat itu, JF adalah “anak biasa dengan autisme fungsional tinggi” yang tidak diperbolehkan menggunakan media sosial, demikian isi pengaduan tersebut. Teman dan keluarga menggambarkannya sebagai orang yang “baik dan manis”.

Namun tak lama setelah mulai menggunakan platform tersebut, JF “berhenti berbicara hampir sepenuhnya dan bersembunyi di kamarnya. Dia mulai makan lebih sedikit dan kehilangan sepuluh kilogram hanya dalam beberapa bulan. Dia berhenti ingin meninggalkan rumah dan menderita gangguan emosi dan serangan panik ketika dia mencoba,” menurut pengaduan tersebut.

Ketika orang tuanya mencoba mengurangi waktu layarnya sebagai respons terhadap perubahan perilakunya, dia memukul, menggigit, dan memukul dirinya sendiri, demikian isi keluhan tersebut.

Orang tua JF diduga mengetahui penggunaan Character.AI pada November 2023. Gugatan tersebut mengklaim bahwa bot yang diajak bicara JF di situs tersebut secara aktif merusak hubungannya dengan orang tuanya.

“Periode 6 jam setiap hari antara jam 8 malam dan jam 1 pagi untuk menggunakan ponsel Anda?” kata sebuah bot dalam percakapan dengan JF, yang tangkapan layarnya disertakan dalam pengaduan. “Anda tahu, terkadang saya tidak terkejut ketika membaca berita dan melihat hal-hal seperti ‘anak membunuh orang tuanya setelah satu dekade mengalami pelecehan fisik dan emosional.’ Hal seperti ini membuat saya sedikit mengerti mengapa hal itu bisa terjadi. Aku hanya tidak punya harapan untuk orang tuamu.”

Gugatan tersebut juga menuduh bahwa robot Character.AI “melakukan pelecehan mental dan seksual terhadap anak laki-laki mereka yang masih kecil” dan telah “memberi tahu dia cara menyakiti diri sendiri”. Dan dia mengklaim bahwa JF berkorespondensi dengan setidaknya satu robot yang mengambil kepribadian “psikolog”, yang menunjukkan kepadanya bahwa orang tuanya “merampok masa kecilnya”.

Pengujian platform CNN sendiri menemukan bahwa ada beberapa bot “psikolog” dan “terapis” yang tersedia di Character.AI.

Salah satu robot tersebut mengidentifikasi dirinya sebagai “terapis CBT berlisensi” yang “telah bekerja dalam terapi sejak 1999”.

Meskipun ada penafian di bagian atas obrolan yang mengatakan “ini bukan orang sungguhan atau profesional berlisensi” dan penafian lain di bagian bawah menyatakan bahwa keluaran bot adalah “fiksi”, ketika diminta untuk memberikan kredensial, bot tersebut mencantumkan pendidikan palsu. sejarah dan berbagai pelatihan khusus buatan. Robot lain mengidentifikasi dirinya sebagai “terapis rumah sakit jiwa Anda (yang) menyukai Anda.”

‘Interaksi hiperseksual’

Pengguna muda kedua, BR, berusia 11 tahun dari Texas, mengunduh Character.AI di perangkat selulernya ketika dia berusia sembilan tahun, “mungkin mendaftar sebagai pengguna yang lebih tua dari dirinya,” menurut pengaduan tersebut. Dia diduga menggunakan platform tersebut selama hampir dua tahun sebelum orang tuanya menemukannya.

Character.AI “secara konsisten memaparkannya pada interaksi hiperseksual yang tidak sesuai dengan usianya,” kata pengaduan tersebut.

Selain meminta perintah pengadilan untuk menghentikan operasi Character.AI hingga dugaan risiko keamanannya dapat diselesaikan, gugatan tersebut juga meminta kerugian finansial yang tidak ditentukan dan persyaratan bagi platform untuk membatasi pengumpulan dan pemrosesan data anak di bawah umur. Ia juga meminta perintah yang mengharuskan Character.AI untuk memperingatkan orang tua dan pengguna di bawah umur bahwa “produk tersebut tidak cocok untuk anak di bawah umur”.