September lalu, semua mata tertuju pada RUU 1047 dari Senat, karena mencapai meja Gubernur California Gavin Newsom, dan meninggal di sana sementara memveto undang -undang yang ramai.
SB 1047 akan mensyaratkan bahwa produsen dari semua model AI besar, terutama yang berharga $ 100 juta atau lebih dalam pelatihan, untuk membuktikan mereka untuk mencari bahaya tertentu. Para pengadu industri AI tidak senang dengan veto, dan sebagian besar perusahaan teknologi besar. Tapi ceritanya tidak berakhir di sana. Newsom, yang merasa bahwa undang -undang itu terlalu ketat dan berukuran satu, menugaskan sekelompok peneliti Lea -Ai untuk membantu mengusulkan rencana alternatif, yang akan mendukung pengembangan dan tata kelola AI generatif di California, bersama dengan pagar untuk risiko mereka.
Pada hari Selasa, laporan itu diterbitkan.
Penulis dari 52 halaman “Laporan California tentang Kebijakan Perbatasan“Mengatakan bahwa kemampuan AI-termasuk-termasuk rantai-pemikiran” rantai “penalaran” memiliki “dengan cepat membaik” karena keputusan Newsom untuk memveto SB 1047. Menggunakan studi kasus historis, penelitian empiris, pemodelan, dan simulasi, mereka Sugveda akan membutuhkan lebih banyak transparansi dan pengawasan independen dari model AI. Kemungkinan 10 tahun moratorium Di negara bagian yang mengatur AI, didukung oleh Kongres Republik dan perusahaan seperti Openai.
Laporan: Co-lided oleh Fei-Fei Li, co-sutradara Stanford Institute for Human Centered Actellence; Mariano-Florentino Cuéllar, presiden Carnegie Endowment for International Peace; dan Jennifer Tour Chayes, Dekan Fakultas Komputer, Ilmu Data dan Masyarakat UC Berkeley, menyimpulkan bahwa kemajuan perbatasan AI di California dapat sangat mempengaruhi pertanian, bioteknologi, teknologi bersih, pendidikan, keuangan, kedokteran dan transportasi. Penulisnya sepakat bahwa penting untuk tidak mencekik inovasi dan “memastikan bahwa beban peraturan sedemikian rupa sehingga organisasi memiliki sumber daya untuk dipenuhi.”
“Tanpa perlindungan yang memadai … untuk yang kuat ketika itu dapat menyebabkan kerusakan serius dan, dalam beberapa kasus, berpotensi tidak dapat diubah”
Tetapi mengurangi risiko masih penting, mereka menulis: “Tanpa perlindungan yang memadai … untuk yang kuat ketika dapat menyebabkan kerusakan serius dan, dalam beberapa kasus, berpotensi tidak dapat diubah.”
Grup ini menerbitkan draf versi laporannya pada bulan Maret untuk komentar publik. Tetapi bahkan sejak itu, mereka menulis di versi final, bukti bahwa model -model ini berkontribusi pada “risiko senjata kimia, biologis, radiologis dan nuklir (CBRN) … telah tumbuh.” Perusahaan -perusahaan terkemuka, mereka menambahkan, memiliki informasi sendiri sehubungan dengan puncak dalam kemampuan model mereka di daerah tersebut.
Para penulis telah membuat beberapa perubahan dalam konsep laporan. Mereka sekarang menunjukkan bahwa kebijakan AI California yang baru perlu berlayar dengan cepat, mengubah “realitas geopolitik.” Mereka menambahkan lebih banyak konteks tentang risiko yang ditimbulkan oleh model AI yang hebat, dan mengambil garis yang lebih keras untuk mengklasifikasikan perusahaan untuk regulasi, dengan mengatakan bahwa suatu pendekatan secara eksklusif dalam jumlah komputasi yang diperlukan bukanlah pendekatan terbaik.
Kebutuhan pelatihan AI terus berubah, tulis penulis, dan definisi berdasarkan perhitungan mengabaikan bagaimana model -model ini diadopsi dalam kasus penggunaan dunia nyata. Ini dapat digunakan sebagai “filter awal untuk mendeteksi layar harga rendah untuk entitas yang dapat membenarkan pengawasan yang lebih besar”, tetapi faktor -faktor seperti penilaian risiko awal dan penilaian dampak selanjutnya adalah kuncinya.
Itu sangat penting karena industri AI tetap menjadi Wild West ketika datang ke transparansi, dengan sedikit kesepakatan tentang praktik terbaik dan “opacity sistemik di bidang -bidang utama”, seperti cara di mana data, proses keselamatan dan keselamatan, tes pra -launch dan dampak potensial setelah downstan, menulis penulis diperoleh.
Laporan ini mensyaratkan wartawan pengadu, evaluasi pihak ketiga dengan pelabuhan yang aman untuk para peneliti yang melakukan evaluasi ini dan berbagi informasi secara langsung dengan publik, untuk memungkinkan transparansi yang melampaui apa yang saat ini perusahaan saat ini memilih saat ini untuk diungkapkan.
Salah satu penulis utama laporan, Scott Singer, mengatakan Tepi Bahwa percakapan kebijakan AI telah sepenuhnya diubah di tingkat federal “sejak rancangan laporan. Dia berpendapat bahwa California, bagaimanapun, dapat membantu memimpin” upaya harmonisasi “antara negara -negara untuk” kebijakan akal sehat yang didukung banyak orang di seluruh negeri. “Itu kontras dengan kecambah mosaik yang akan dibuat oleh pendukung moratori AI yang menegaskan bahwa hukum negara akan menciptakan.
Di sebuah Artikel Opini Earl bulan ini, CEO Anthrope Dario Amodei meminta a Standar Transparansi FederalItu mensyaratkan bahwa para pemimpin para pemimpin “mengungkapkan secara terbuka di situs web perusahaan mereka … bagaimana mereka berencana untuk membuktikan dan mengurangi keamanan nasional dan risiko bencana lainnya.”
“Pengembang solo hanya tidak pantas untuk sepenuhnya memahami teknologi dan, terutama, risiko dan kerusakan mereka”
Tetapi bahkan langkah -langkah seperti itu tidak cukup, tulis penulis laporan Selasa, karena “untuk teknologi yang baru dan kompleks yang berkembang dan mengadopsi dengan kecepatan yang sangat cepat, pengembang solo hanya tidak pantas untuk sepenuhnya memahami teknologi dan, terutama, risiko dan kerusakannya.”
Itulah sebabnya salah satu prinsip utama dari laporan Selasa adalah kebutuhan untuk penilaian risiko pihak ketiga.
Para penulis menyimpulkan bahwa penilaian risiko akan mendorong perusahaan seperti OpenAi, Anthrope, Google, Microsoft dan lainnya untuk memperluas keamanan model, sambil membantu melukis citra yang lebih jelas tentang risiko model mereka. Saat ini, perusahaan terkemuka AI umumnya melakukan evaluasi mereka sendiri atau menyewa kontraktor kedua untuk melakukannya. Tetapi evaluasi -ketiga sangat penting, kata penulis.
Mereka tidak hanya “ribuan orang … bersedia berpartisipasi dalam penilaian risiko, mengerdilkan skala tim internal atau yang disewa”, tetapi juga kelompok evaluator pihak ketiga, telah “keragaman unik, terutama ketika pengembang terutama mencerminkan demografi dan geografi tertentu yang seringkali sangat berbeda dari mereka yang paling terpengaruh oleh AI.”
Tetapi jika evaluator pihak ketiga memungkinkan risiko dan bintik -bintik buta dari model AI mereka yang kuat, mereka harus memberi mereka akses, untuk evaluasi yang signifikan, a kelompok Mengakses. Dan itu adalah sesuatu yang harus dilakukan oleh perusahaan.
Bahkan tidak mudah bagi evaluator dua bagian untuk mendapatkan tingkat akses itu. Metr, sebuah perusahaan yang Openai dikaitkan dengan tes keselamatan dari modelnya sendiri, menulis dalam a Blog Bahwa perusahaan tidak diberi begitu banyak waktu untuk menguji model OpenAI O3 seperti halnya dengan model masa lalu, dan bahwa Openai tidak memberikan akses yang cukup ke data atau penalaran internal model. Keterbatasan itu, Metr menulis, “Mencegah kami melakukan evaluasi kapasitas yang solid.” Opadai Dia kemudian berkata Saya sedang mengeksplorasi cara untuk berbagi lebih banyak data dengan perusahaan seperti Metr.
Bahkan API atau diseminasi bobot suatu model mungkin tidak mengizinkan evaluator pihak ketiga untuk mencoba risiko secara efektif, kata laporan itu, dan perusahaan dapat menggunakan ketentuan layanan “penekan” untuk melarang atau mengancam tindakan hukum terhadap peneliti independen yang menemukan kegagalan keamanan.
Maret lalu, lebih dari 350 peneliti dari AI dan yang lainnya menandatangani a Surat terbuka Meminta “port aman” untuk tes keselamatan independen, mirip dengan perlindungan yang ada untuk penguji keamanan cybersecurity ketiga di bidang lain. Laporan Selasa mengutip surat itu dan menuntut perubahan besar, serta opsi laporan untuk orang yang dirugikan oleh sistem AI.
“Bahkan kebijakan keamanan yang dirancang dengan sempurna tidak dapat menghindari 100% hasil buruk yang substansial,” tulis para penulis. “Karena model dasar diadopsi secara luas, memahami kerusakan yang muncul dalam praktik semakin penting.”
