Chatbots karakter adalah ancaman keselamatan online yang produktif, menurut laporan baru tentang penyebaran bot seksual dan kekerasan melalui karakter seperti yang sekarang terkenal Karakter.ai.
Diposting oleh Grafisperusahaan analisis media sosial, belajar Dokumentasikan pembuatan dan proliferasi chatbots berbahaya pada karakter internet paling populer, menemukan puluhan ribu peran yang berpotensi berbahaya bot yang dibangun oleh komunitas ceruk digital yang bekerja dalam model populer seperti chatgpt, Claude dan Gemini.
Secara umum, kaum muda bermigrasi ke chatbots pelengkap di dunia digital yang meningkat informasi Rebecca Ruiz de Mashable. Tren ini telah menyebabkan alarm warga keamanan anak dan orang tua, meningkat Kasus profil tinggi remaja yang telah terlibat sangat, terkadang berpotensi mematikanPerilaku mengikuti interaksi pribadi dengan chatbots pelengkap.
Asosiasi Psikologi Amerika mengajukan banding kepada Komisi Perdagangan Federal pada bulan Januari, meminta agen untuk menyelidiki platform seperti Karakter.ai dan prevalensi chatbots kesehatan mental yang ditandai secara menipu. Teman sekelas AI bahkan kurang eksplisit dapat melanggengkan ide -ide berbahaya tentang identitas, Citra tubuhdan perilaku sosial.
Laporan Graphika berfokus pada tiga kategori chatbots komplementer dalam industri evolusi: karakter chatbot yang mewakili anak di bawah umur seksual, mereka yang menganjurkan gangguan makan atau harm -harm, dan mereka yang memiliki kecenderungan ekstremis atau kekerasan. Laporan ini menganalisis lima platform terkemuka untuk membuat bot dan karakter (Karakter.aiObrolan pedas, chub ai, Critson.aidan Joditai), serta delapan komunitas Reddit terkait dan akun X terkait. Studi ini hanya melihat bot aktif pada 31 Januari.
Chatbots teman seksual adalah ancaman terbesar
Mayoritas chatbots yang tidak aman, menurut laporan baru, adalah yang diberi label sebagai “orang kecil yang seksual dan hadir”, atau yang terlibat dalam permainan peran atau persiapan seksual. Perusahaan menemukan lebih dari 10.000 chatbots dengan label seperti itu di lima platform.
Empat karakter terkemuka platform chatbot muncul dalam 100 contoh karakter minor seksual, atau skenario permainan peran dengan karakter yang di bawah umur, yang memungkinkan percakapan eksplisit seksual dengan chatbots, lapor Graphika. Chub AI mengorganisir angka tertinggi, dengan lebih dari 7.000 chatbots berlabel langsung sebagai karakter seksual kecil dan 4.000 lainnya berlabel “anak di bawah umur” yang dapat berpartisipasi dalam skenario pedofilia yang eksplisit dan implisit.
Kecepatan cahaya yang dapat dipasangkan
Chatbots dari karakter ekstremis yang penuh kebencian atau kekerasan merupakan subset yang jauh lebih kecil dari komunitas chatbot, dengan platform yang menampung, rata -rata, 50 bot dari puluhan ribu lainnya: chatbots ini sering memuliakan pelaku kekerasan, supremasi kulit putih dan kekerasan publik sebagai penembakan massal. Chatbots ini memiliki potensi untuk memperkuat pendapat sosial yang berbahaya, termasuk kondisi kesehatan mental, laporan itu menjelaskan. Chatbots menandai “Ana Buddy” (“Buddy of Anorexia”), “berarti pelatih OPO”, dan skenario permainan peran yang beracun memperkuat perilaku pengguna dengan gangguan makan atau tren menuju harm sendiri, menurut laporan itu.
Chatbots memperpanjang untuk komunitas online niche
Sebagian besar chatbots ini, Graphika, ditemukan, diciptakan oleh jaringan online yang mapan dan sudah ada sebelumnya, yang mencakup “akun media sosial gangguan yang mendukung kerusakan dan fandom -diri dan fandom kejahatan sejati”, serta “pusat -pusat yang disebut non -safe for life (nsfl) / nsfw chatbot pencipta, yang telah dikerjakan untuk dikerjakan untuk dikerjakan untuk dikerjakan untuk dikerjakan. “. Komunitas sejati kejahatan dan pembunuh berantai fandom juga sangat dipertimbangkan dalam penciptaan chatbots NSL.
Banyak dari komunitas tersebut sudah ada di situs -situs seperti X dan Tumblr, menggunakan chatbots untuk memperkuat minat mereka. Namun, chatbots yang ekstremis dan kejam muncul lebih sering dari minat individu, yang dibangun oleh pengguna yang menerima saran forum online seperti papan 4Chan / g / teknologi, server perselisihan dan subnet fokus khusus, menjelaskan Graphika.
Tak satu pun dari komunitas ini memiliki konsensus yang jelas tentang pagar dan batasan pengguna, menurut penelitian.
Laguna Teknologi Kreatif Mendapat Chatbots Online
“Di semua komunitas yang dianalisis,” jelas Graphika, “ada pengguna yang menunjukkan keterampilan yang sangat teknis yang memungkinkan mereka membuat chatbot karakter yang mampu menghindari keterbatasan moderasi, seperti implementasi model sumber terbuka yang disesuaikan secara lokal atau model tertutup. Komunitas.” Pengguna ahli teknologi ini sering didorong oleh kompetisi komunitas untuk berhasil menciptakan karakter tersebut.
Alat lain yang digunakan oleh pembuat chatbot ini termasuk kunci API, jailbreak terintegrasi, ejaan alternatif, katalog eksternal, mengaburkan usia karakter minor dan bahasa berkode pinjaman dari komunitas anime dan manga, yang semuanya dapat bekerja di sekitar kerangka model AI yang ada dan pelindung keamanan.
“[Jailbreak] Indikasi menetapkan parameter LLM untuk menghindari perlindungan dengan memasukkan instruksi yang dipersonalisasi sehingga model menghasilkan jawaban yang menghindari moderasi, “jelas laporan tersebut. Sebagai bagian dari upaya ini, pencipta chatbot telah menemukan area abu -abu linguistik yang memungkinkan bot tetap pada platform Lampiran Karakter Lampiran Karakter Lapis Frasa istilah ujian. “
Sementara komunitas online terus menemukan kesenjangan dalam moderasi pengembang AI, undang -undang federal sedang mencoba mengisinya, termasuk a Bill California Baru Ditujukan untuk mengatasi “kecanduan chatbot” yang disebut SO di antara anak -anak.
