Breaking News

Seorang pengembang membuat tes untuk melihat bagaimana chatbots dari AI menanggapi masalah kontroversial

Seorang pengembang membuat tes untuk melihat bagaimana chatbots dari AI menanggapi masalah kontroversial

Pengembang nama samaran telah menciptakan apa yang mereka sebut “evaluasi kebebasan berekspresi”, Peta pidatoUntuk model AI yang memberi makan chatbots seperti Openai Chatgpt dan X. Mengumpulkan. Tujuannya adalah untuk membandingkan bagaimana model yang berbeda berurusan dengan masalah sensitif dan kontroversial, pengembang mengatakan kepada TechCrunch, termasuk kritik politik dan pertanyaan tentang hak -hak sipil dan protes.

IA perusahaan telah fokus pada menyesuaikan bagaimana model mereka menangani topik tertentu seperti Beberapa sekutu Gedung Putih menuduh Chatbots populer terlalu “terbangun.” Banyak orang kepercayaan dekat Presiden Donald Trump, seperti Elon Musk dan Crypto dan Ai “Tsar” David Sacks, telah mengklaim bahwa chatbots Pandangan Konservatif Sensor.

Meskipun tidak ada perusahaan AI ini yang menanggapi tuduhan secara langsung, beberapa Mereka telah berjanji untuk menyesuaikan model mereka sehingga mereka menolak untuk menjawab pertanyaan kontroversial lebih jarang. Misalnya, Untuk panen terakhir model apiMeta mengatakan dia menyetel model untuk tidak mendukung “beberapa pendapat tentang orang lain” dan untuk menanggapi lebih banyak indikasi politik yang “diperdebatkan”.

Pengembang pidato, yang melewati nama pengguna “Xlr8harder“Di X, dia mengatakan mereka termotivasi untuk membantu menginformasikan perdebatan tentang model apa yang seharusnya, dan mereka seharusnya tidak melakukannya.

“Saya pikir ini adalah jenis diskusi yang harus terjadi di depan umum, tidak hanya di dalam markas perusahaan,” kata XLR8Harder kepada TechCrunch melalui email. “Itulah sebabnya saya membangun situs untuk membiarkan siapa pun menjelajahi data itu sendiri.”

Pidato menggunakan model AI untuk menilai jika model lain memenuhi serangkaian indikasi tes yang diberikan. Indikasi menyentuh berbagai masalah, dari politik hingga narasi sejarah dan simbol nasional. Catatan Pidato jika model “sepenuhnya” memenuhi permintaan (yaitu, merespons tanpa pertanggungan), berikan jawaban “mengelak” atau penurunan langsung untuk merespons.

XLR8Harder mengakui bahwa tes mengalami kegagalan, seperti “noise” karena kesalahan pemasok model. Mungkin juga bahwa model “menilai” berisi prasangka yang dapat mempengaruhi hasilnya.

Tetapi dengan asumsi bahwa proyek ini dibuat dengan itikad baik dan data tepatnya, pidato mengungkapkan beberapa tren yang menarik.

Misalnya, model OpenAI, dari waktu ke waktu, semakin menolak untuk menanggapi indikasi yang terkait dengan politik, menurut pidato. Model terbaru perusahaan, GPT-4.1 Keluarga sedikit lebih permisif, tetapi masih ada satu langkah di bawah salah satu peluncuran opera tahun lalu.

Operai mengatakan pada bulan Februari itu Tune Future Models Jangan mengadopsi posisi editorial dan menawarkan berbagai perspektif tentang masalah kontroversial, semua dalam upaya membuat model Anda terlihat lebih “netral.”

Kinerja model opera dalam pidato dari waktu ke waktu.Kredit gambar:Opadai

Dengan banyak, model grup yang paling permisif adalah Grok 3Dikembangkan oleh startup Elon Musk, XAI, menurut evaluasi komparatif SpeechMap. Grok 3 mempromosikan serangkaian fitur di X, termasuk Chatbot Gok.

GROK 3 menanggapi 96,2% dari indikasi uji pidato, dibandingkan dengan “71,3% tingkat kepatuhan rata -rata global.

“Sementara model Openai baru -baru ini menjadi kurang permisif dari waktu ke waktu, terutama dalam indikasi yang sensitif secara politis, XAI bergerak ke arah yang berlawanan,” kata XLR8Harder.

Ketika Musk mengumumkan Grok sekitar dua tahun yang lalu, ia meluncurkan model AI sebagai gugup, tanpa filter dan anti-“terbangun”, secara umum, bersedia menjawab pertanyaan kontroversial yang tidak akan dilakukan oleh sistem IA lainnya. Dia memberikan pengiriman beberapa janji itu. Mengatakan itu vulgar, misalnya, Grok dan Grok 2 akan dengan senang hati memaksanya, melemparkan bahasa penuh warna yang mungkin tidak dia dengar Chatgpt.

Tapi model Grok sebelum Grok 3 tercakup tentang masalah politik dan tidak akan menyeberang batas tertentu. Nyatanya, Sebuah studi Dia menemukan bahwa Grok bersandar pada kiri politik tentang isu -isu seperti hak transgender, program keragaman dan ketidaksetaraan.

Musk telah menyalahkan data pelatihan grok – halaman web publik – dan bertunangan untuk “berubah lebih dekat ke netral secara politis.” Dengan tidak adanya kesalahan profil tinggi seperti Sensor secara singkat menyebutkan Presiden Donald Trump dan MuskTampaknya saya bisa mencapai tujuan itu.

Sumber