Antropik Para peneliti berbagi dua item baru pada hari Kamis, berbagi metodologi dan temuan tentang bagaimana model kecerdasan buatan (AI) berpikir. Perusahaan AI yang berbasis di San Francisco mengembangkan teknik untuk memantau proses pembuatan keputusan model bahasa besar (LLM) untuk memahami apa yang memotivasi respons dan struktur tertentu pada orang lain. Perusahaan menekankan bahwa area khusus model AI ini tetap menjadi kotak hitam, karena bahkan para ilmuwan yang mengembangkan model tidak sepenuhnya memahami bagaimana AI membuat koneksi konseptual dan logis untuk menghasilkan output.
Penelitian antropik menjelaskan bagaimana sebuah AI berpikir
Di ruang menulis suratPerusahaan menerbitkan rincian studi baru -baru ini tentang “melacak pemikiran model bahasa besar.” Terlepas dari penciptaan model chatbots dan AI, para ilmuwan dan pengembang tidak mengontrol sirkuit listrik yang dibuat oleh suatu sistem untuk menghasilkan output.
Untuk memecahkan “kotak hitam” ini, para peneliti antropik menerbitkan dua artikel. Dia Pertama Selidiki mekanisme internal yang digunakan oleh Claude 3.5 haiku menggunakan metodologi pelacakan sirkuit dan yang kedua kertas Ini adalah teknik yang digunakan untuk mengungkapkan grafik komputasi dalam model bahasa.
Beberapa pertanyaan yang ingin ditemukan jawaban para peneliti termasuk bahasa “pemikiran” MelemparkanMetode menghasilkan teks dan pola penalarannya. Anthrope berkata: “Ketahuilah bagaimana model seperti Claude berpikir bahwa mereka akan memungkinkan kita untuk lebih memahami keterampilan mereka, serta membantu kita untuk memastikan bahwa mereka melakukan apa yang kita maksudkan.”
Menurut ide -ide yang dibagikan dalam dokumen, jawaban atas pertanyaan -pertanyaan tersebut mengejutkan. Para peneliti percaya bahwa Claude akan memiliki preferensi untuk bahasa tertentu yang menurutnya sebelum menanggapi. Namun, mereka menemukan bahwa chatbot AI berpikir tentang “ruang konseptual yang dibagikan antar bahasa.” Ini berarti bahwa pemikiran Anda tidak dipengaruhi oleh bahasa tertentu, dan dapat memahami dan memproses konsep dalam semacam bahasa pemikiran universal.
Sementara Claude dilatih untuk menulis satu kata pada saat yang sama, para peneliti menemukan bahwa model AI merencanakan jawaban mereka banyak kata di depan dan dapat menyesuaikan keluarnya untuk mencapai tujuan itu. Para peneliti menemukan bukti dari pola ini sambil meninggalkannya untuk menulis puisi dan memperhatikan bahwa Claude pertama kali memutuskan kata -kata yang berima dan kemudian membentuk sisa kalimat untuk memahami kata -kata itu.
Investigasi juga mengatakan bahwa, kadang -kadang, Claude juga dapat menginvestasikan argumen logis yang terdengar logis untuk menyetujui pengguna alih -alih mengikuti langkah -langkah logis. “Halusinasi” yang disengaja ini terjadi ketika pertanyaan yang sangat sulit diajukan. Anthrope mengatakan bahwa alatnya dapat berguna untuk menandai mekanisme dalam model AI, karena ia dapat mengidentifikasi kapan chatbot memberikan alasan palsu dalam jawabannya.
Anthrope menekankan bahwa ada keterbatasan dalam metodologi ini. Dalam penelitian ini, hanya puluhan kata yang diberikan, dan tetap saja, butuh beberapa jam upaya manusia untuk mengidentifikasi dan memahami sirkuit. Dibandingkan dengan kemampuan LLMS, upaya penelitian hanya menangkap sebagian kecil dari total perhitungan yang dibuat oleh Claude. Di masa depan, perusahaan AI berencana untuk menggunakan model AI untuk memahami data.
