Para peneliti meneliti penggunaan AI generatif oleh remaja dan masalah keamanan

Remaja menggunakan AI generatif untuk berbagai tujuan, termasuk dukungan emosional dan interaksi sosial. Sebuah studi yang dilakukan oleh para peneliti di Universitas Illinois di Urbana-Champaign menemukan bahwa orang tua memiliki sedikit pemahaman tentang GAI, bagaimana anak-anak mereka menggunakannya, dan potensi risikonya, dan bahwa platform GAI tidak memberikan perlindungan yang cukup untuk menjamin keselamatan anak.

Makalah penelitian yang ditulis oleh profesor ilmu informasi Yang Wang, salah satu direktur Laboratorium Sistem Komputasi Sosial, dan mahasiswa doktoral Yaman Yu adalah salah satu sumber data pertama yang dipublikasikan mengenai penggunaan dan risiko GAI untuk anak-anak. Wang dan Yu akan mempresentasikan temuan mereka pada Mei 2025 di Simposium IEEE tentang Keamanan dan Privasi. kertas itu diterbitkan di dalamnya arXiv server pracetak.

Wang dan Yu mengatakan bahwa remaja sering menggunakan platform GAI, namun sedikit yang mengetahui bagaimana mereka menggunakannya, dan para peneliti sebelumnya belum mengeksplorasi persepsi mereka mengenai risiko dan cara mereka mengatasinya.

Para peneliti menganalisis konten dari 712 postingan dan 8.533 komentar di Reddit yang relevan dengan penggunaan GAI oleh remaja. Mereka juga mewawancarai tujuh remaja dan 13 remaja orang tua memahami persepsi mereka tentang keselamatan dan bagaimana orang tua berupaya mengurangi risiko.

Mereka menemukan bahwa chatbot GAI sering digunakan oleh remaja sebagai asisten terapi atau orang kepercayaan dukungan emosional tanpa menghakimi mereka dan membantu mereka menghadapi tantangan sosial. Chatbot AI terintegrasi ke dalamnya platform media sosial seperti Snapchat dan Instagram, dan remaja memasukkannya ke dalam obrolan grup, menggunakannya untuk mempelajari keterampilan sosial, dan terkadang memperlakukan mereka sebagai pasangan romantis.

Mereka menggunakan GAI untuk tujuan akademis, seperti menulis esai, merumuskan ulang teks, dan menghasilkan ide. Remaja juga memposting di Reddit tentang permintaan seks atau konten kekerasan dan pelecehan terhadap chatbot AI.

“Ini adalah topik yang sangat hangat, dengan banyak remaja membicarakan tentang karakter AI dan bagaimana mereka menggunakannya,” kata Yu, mengacu pada platform untuk membuat dan berinteraksi dengan chatbot berbasis karakter.

Wang dan Yu melaporkan bahwa orang tua dan anak-anak memiliki kesalahpahaman yang signifikan tentang AI generatif. Orang tua memiliki sedikit atau tidak sama sekali pengetahuan tentang penggunaan GAI oleh anak-anak mereka dan paparan mereka terhadap alat tersebut terbatas. Mereka tidak menyadari penggunaan alat seperti Midjourney dan DALL-E oleh anak-anak mereka untuk menghasilkan gambar dan AI karakter. Mereka memandang AI sebagai alat pekerjaan rumah dan berfungsi sebagai mesin pencari, sementara anak-anak menggunakannya terutama untuk alasan pribadi dan sosial, kata para peneliti.

Remaja melaporkan bahwa kekhawatiran mereka termasuk menjadi terlalu bergantung atau kecanduan chatbots untuk mengisi kekosongan koneksi pribadipenggunaan chatbot untuk membuat konten yang melecehkan, penggunaan informasi pribadi Anda secara tidak sah, dan penyebaran konten berbahaya, seperti komentar rasis. Mereka juga prihatin terhadap AI yang menggantikan tenaga manusia dan pelanggaran hak kekayaan intelektual.

Para orang tua merasa bahwa platform AI mengumpulkan sejumlah besar data, seperti demografi pengguna, riwayat percakapan, dan riwayat browser, dan khawatir jika anak-anak membagikan informasi pribadi atau keluarga.

Namun, para orang tua “tidak sepenuhnya menghargai sejauh mana data sensitif yang dapat dibagikan anak-anak mereka kepada GAI…termasuk rincian trauma pribadi, catatan medis, dan aspek pribadi kehidupan sosial dan seksual mereka,” tulis para peneliti. Para orang tua juga khawatir bahwa anak-anak mereka akan secara tidak sengaja menyebarkan informasi yang salah dan khawatir bahwa ketergantungan yang berlebihan pada AI akan membuat anak-anak mereka menghindari pemikiran kritis.

Orang tua mengatakan mereka menginginkan AI khusus anak yang berlatih hanya dengan konten sesuai usia atau sistem dengan fitur topik dan kontrol usia bawaan. Anak-anak tersebut mengatakan bahwa orang tua mereka tidak menasihati mereka tentang penggunaan GAI secara spesifik dan ingin orang tua membicarakan penggunaan GAI secara etis daripada membatasinya, para peneliti melaporkan.

Platform GAI memberikan perlindungan terbatas kepada anak-anak, fokus pada pembatasan konten eksplisit, dan tidak menawarkan fitur kontrol orang tua yang ramah AI. Wang dan Yu mengatakan risiko terhadap anak-anak dan strategi mitigasinya lebih kompleks dan beragam dibandingkan sekadar memblokir konten yang tidak pantas. Tantangan utama dalam mengidentifikasi dan mencegah konten yang tidak pantas pada platform GAI adalah sifat dinamis platform tersebut dalam menghasilkan konten unik secara real-time, dibandingkan dengan konten online statis, kata mereka.

Para peneliti mengatakan sangat penting bagi platform untuk memberikan penjelasan transparan mengenai risiko keamanan dan privasi yang diidentifikasi oleh para ahli dan merekomendasikan agar mereka menawarkan filter konten yang dapat disesuaikan dengan kebutuhan individu keluarga dan tahap perkembangan anak-anak mereka.

Namun, strategi keselamatan tidak bisa sepenuhnya bersifat teknis dan harus melampaui filter dan pembatasan, mengingat adanya ketegangan antara otonomi anak dan kendali orang tua terhadap manajemen risiko online. Wang dan Yu mengatakan bahwa orang dewasa harus terlebih dahulu memahami motivasi di balik perilaku anak-anak di GAI. Mereka menyarankan chatbot suportif yang dapat menyediakan lingkungan yang aman untuk menjelaskan potensi risiko, meningkatkan ketahanan, dan menawarkan strategi penanggulangan bagi pengguna remaja.

“Teknologi AI berkembang sangat cepat, begitu pula cara orang menggunakannya,” kata Wang. “Ada beberapa hal yang dapat kita pelajari dari masa lalu, seperti kecanduan dan perilaku tidak pantas di media sosial dan game online.

Wang mengatakan penelitiannya merupakan langkah awal dalam mengatasi masalah tersebut. Dia dan Yu sedang membuat taksonomi kategori risiko yang dapat digunakan untuk mendiskusikan risiko dan intervensi untuk membantu memitigasinya.

Hal ini juga akan membantu mengidentifikasi tanda-tanda awal perilaku berisiko termasuk jumlah waktu yang dihabiskan di platform GAI, isi percakapan dan pola penggunaan, seperti jam berapa anak-anak menggunakan platform tersebut, kata Wang.

Dia dan Yu bekerja sama dengan profesor psikologi Illinois, Karen Rudolph, direktur Laboratorium Studi Keluarga yang penelitiannya berfokus pada perkembangan remaja, untuk menetapkan intervensi yang sesuai dengan usia.

“Ini adalah masalah yang sangat interdisipliner dan kami mencoba menyelesaikannya dengan cara interdisipliner yang mencakup pendidikan, psikologi dan pengetahuan kita tentang keamanan dan manajemen risiko. Ini harus menjadi solusi interaksi teknis dan sosial,” kata Yu.