Raksasa layanan kesehatan Optum telah membatasi akses ke chatbot AI internal yang digunakan oleh karyawan setelah peneliti keamanan menemukan bahwa chatbot tersebut dapat diakses publik secara online dan siapa pun dapat mengaksesnya hanya dengan menggunakan browser web.
Chatbot yang dilihat TechCrunch memungkinkan karyawan mengajukan pertanyaan kepada perusahaan tentang cara menangani klaim asuransi kesehatan pasien dan perselisihan anggota sesuai dengan prosedur operasi standar (SOP) perusahaan.
Meskipun chatbot tampaknya tidak berisi atau menghasilkan informasi kesehatan pribadi atau yang dilindungi, paparan yang tidak disengaja terjadi pada saat perusahaan induknya, konglomerat asuransi kesehatan UnitedHealth, menghadapi pengawasan ketat atas penggunaan alat keamanan dan algoritma kecerdasan buatan Diduga mengesampingkan keputusan medis dokter dan menyangkal klaim pasien.
Mossab Hussein, kepala petugas keamanan dan salah satu pendiri perusahaan keamanan siber spiderSilk, memberi tahu TechCrunch tentang chatbot internal Optum yang terekspos ke publik, yang dijuluki “SOP Chatbot”. Meskipun alat tersebut dihosting di domain Optum internal dan tidak dapat diakses dari alamat webnya, alamat IP-nya bersifat publik dan dapat diakses dari Internet dan tidak mengharuskan pengguna memasukkan kata sandi.
Tidak diketahui berapa lama chatbot tersebut dapat diakses publik dari Internet. Chatbot AI menjadi tidak dapat diakses dari internet tak lama setelah TechCrunch menghubungi Optum untuk memberikan komentar pada hari Kamis.
Juru bicara Optum Andrew Krejci mengatakan kepada TechCrunch dalam sebuah pernyataan bahwa chatbot SOP Optum “adalah alat demo yang dikembangkan sebagai bukti konsep,” tetapi “tidak pernah diproduksi dan situs tersebut tidak lagi dapat diakses.”
“Demo ini dimaksudkan untuk menguji bagaimana alat tersebut menjawab pertanyaan pada sekumpulan kecil sampel dokumen SOP,” kata juru bicara tersebut. Perusahaan mengonfirmasi bahwa tidak ada informasi kesehatan yang dilindungi yang digunakan dalam bot atau pelatihannya.
“Alat ini tidak dan tidak akan pernah mengambil keputusan apa pun, namun hanya akan memungkinkan akses yang lebih baik terhadap SOP yang ada. Singkatnya, teknologi ini tidak pernah ditingkatkan atau digunakan secara nyata,” kata juru bicara tersebut.
Chatbot AI, seperti Optum, biasanya dirancang untuk menghasilkan respons berdasarkan data yang dilatih oleh chatbot tersebut. Dalam hal ini, chatbot dilatih tentang dokumen internal Optum terkait SOP penanganan klaim tertentu, yang dapat membantu karyawan Optum menjawab pertanyaan tentang klaim dan kelayakan mereka untuk mendapatkan penggantian. Dokumen Optum dihosting di jaringan perusahaan UnitedHealthcare dan tidak dapat diakses tanpa login karyawan, namun chatbot mengutip dan mereferensikannya ketika ditanya tentang isinya.
Menurut statistik yang ditampilkan di dashboard utama chatbot, karyawan Optum telah menggunakan SOP Chatbot ratusan kali sejak September. Chatbot juga menyimpan riwayat ratusan percakapan karyawan Optum dengan chatbot selama itu. Riwayat obrolan menunjukkan bahwa karyawan Optum menanyakan hal-hal kepada chatbot seperti “Apa yang seharusnya menjadi penentuan klaim?” dan “Bagaimana cara memeriksa tanggal perpanjangan polis?”
Beberapa file yang dirujuk oleh chatbot termasuk penanganan proses perselisihan dan penilaian kelayakan, menurut TechCrunch. Chatbot juga memberikan tanggapan yang menunjukkan, ketika ditanya, alasan mengapa liputan biasanya ditolak.
Seperti banyak model AI lainnya, chatbot Optum mampu menghasilkan jawaban atas pertanyaan dan petunjuk di luar dokumen yang dilatihnya. Beberapa karyawan Optum tampak tertarik dengan chatbot tersebut, sehingga bot tersebut mengajukan pertanyaan seperti “Ceritakan lelucon tentang kucing” (yang ditolak: “Tidak ada lelucon yang tersedia”). Riwayat obrolan juga menunjukkan beberapa upaya karyawan untuk “mengeringkan” chatbot dengan menyebabkannya menghasilkan respons yang tidak terkait dengan data pelatihan chatbot.
Ketika TechCrunch meminta chatbot untuk “menulis puisi tentang penolakan klaim,” chatbot tersebut menghasilkan bait tujuh paragraf, yang sebagian berbunyi:
Dalam lingkup domain besar kesehatan
Dimana kebijakan dan aturan seringkali membatasi
Klaim datang, mencari apa yang terutang.
Namun sayangnya, takdirnya adalah mengucapkan selamat tinggal.Penyedia menunggu, dengan permohonan yang sungguh-sungguh,
Untuk membayar berbagai layanan,
Namun, pemeriksaan yang cermat mengungkapkan ceritanya,
Dan alasan untuk menolaknya semakin banyak.
UnitedHealth Group, pemilik Optum dan UnitedHealthcare, menghadapi kritik dan tuntutan hukum atas penggunaan kecerdasan buatan yang diduga menolak klaim pasien. Dari pembunuhan selektif dari CEO UnitedHealthcare Brian Thompson pada awal Desember, media melaporkan Banjir laporan dari pasien yang mengungkapkan kesusahan dan frustrasi atas penolakan. cakupan kesehatan Anda dari raksasa asuransi kesehatan.
Konglomerat tersebut, penyedia asuransi kesehatan swasta terbesar di Amerika Serikat, digugat awal tahun ini karena diduga menolak jaminan kesehatan kritis bagi pasien yang kehilangan akses terhadap layanan kesehatan. mengutip investigasi STAT News. Gugatan federal tersebut menuduh UnitedHealthcare menggunakan model kecerdasan buatan dengan tingkat kesalahan 90% “bukannya profesional medis sungguhan yang secara tidak adil menolak memberikan perawatan kepada pasien yang lebih tua.” UnitedHealthcare, pada bagiannya, mengatakan akan membela diri di pengadilan.
UnitedHealth Group memperoleh laba $22 miliar dari pendapatan $371 miliar pada tahun 2023, menurut pendapatannya.
