ChatGPT OpenAI mulai bekerja dengan aplikasi lain di komputer Anda.
Pada hari Kamis, startup tersebut mengumumkan bahwa aplikasi desktop ChatGPT untuk macOS kini dapat membaca kode di beberapa aplikasi pengkodean yang berfokus pada pengembang, seperti VS Code, Xcode, TextEdit, Terminal, dan iTerm2.
Artinya, pengembang tidak perlu lagi menyalin dan menempelkan kode mereka ke ChatGPT, yang sudah menjadi cara umum untuk menggunakan chatbot. Sekarang, ketika fitur ini diaktifkan, OpenAI akan secara otomatis mengirimkan bagian kode yang sedang Anda kerjakan melalui chatbot-nya sebagai konteks, bersama dengan pesan Anda.
Namun, tidak seperti alat pengkodean AI populer seperti Cursor atau GitHub Copilot, ChatGPT saat ini tidak dapat menulis kode langsung ke aplikasi pengembang atas nama Anda.
Fitur tersebut, yang disebut Bekerja dengan Aplikasi, jauh dari agen AI, tetapi OpenAI mengatakan membuat ChatGPT memahami aplikasi lain adalah “elemen kunci” dalam membangun sistem agen. Salah satu tantangan terbesar yang dihadapi agen AI saat ini adalah membuat mereka memahami keseluruhan layar komputer Anda, bukan perintah atau respons mereka sendiri.
OpenAI mengatakan pihaknya memfokuskan fitur ini pada pengkodean aplikasi untuk memulai; Hal ini mungkin terjadi karena asisten pengkodean AI telah menjadi salah satu kasus penggunaan paling populer untuk LLM. Fitur ini tersedia untuk pengguna Plus dan Teams saat ini dan akan diluncurkan ke Enterprise dan Edu dalam beberapa minggu mendatang. OpenAI mengatakan ChatGPT akan dapat bekerja dengan jenis aplikasi lain di masa depan, khususnya aplikasi berbasis teks yang dapat digunakan untuk tugas menulis.
Dalam demo dengan TechCrunch, seorang karyawan OpenAI membuka aplikasi ChatGPT dan lingkungan Xcode yang berisi proyek sederhana yang memodelkan tata surya, meskipun Bumi tidak ada. Karyawan tersebut memilih tab Xcode dalam ChatGPT, yang memberi tahu chatbot AI untuk melihat aplikasi dan memintanya untuk “menambahkan planet yang hilang.” Chatbot mampu menyelesaikan tugasnya, menulis sebaris kode untuk mewakili Bumi yang cocok dengan format proyek lainnya. Namun, mereka masih harus menempelkan respons ChatGPT ke lingkungannya.
Untuk membaca aplikasi yang berbeda, OpenAI terutama mengandalkan API Aksesibilitas macOS untuk membaca teks dan menerjemahkannya ke ChatGPT, menurut pemimpin produk desktop OpenAI Alexander Embiricos. Pembaca layar di macOS, yang membantu Fitur VoiceOver Apple pekerjaan, telah ada selama hampir dua dekade. Secara umum dianggap cukup dapat diandalkan untuk sebagian besar aplikasi umum, namun tidak semua.
Untuk beberapa aplikasi, seperti Microsoft VS Code, Bekerja dengan Aplikasi mengharuskan pengguna memasang ekstensi khusus untuk melihat kontennya. Dan seperti namanya, pembaca layar Apple hanya bisa membaca teks, sehingga tidak bisa membantu ChatGPT memahami elemen visual, seperti foto, orientasi objek, atau video.
Bekerja dengan Aplikasi akan mengirimkan 200 baris kode terakhir Anda melalui ChatGPT bersama dengan setiap pesan untuk aplikasi tertentu. Bagi yang lain, semua kode di jendela utama akan digunakan sebagai masukan ke chatbot. Anda dapat menyorot bagian kode atau teks untuk membantu ChatGPT fokus pada bagian kanan proyek, namun ChatGPT juga akan menyertakan teks di sekitarnya. Sepertinya semua ini akan menggunakan banyak token masukan.
Tidak jelas bagaimana OpenAI berencana memperluas fitur ini ke aplikasi lain yang tidak mendukung pembaca layar Apple. Anthropic, salah satu pesaing OpenAI, meluncurkan a Sistem AI yang menganalisis tangkapan layar desktop pengguna untuk memahami dan menggunakan aplikasi lain. Sejujurnya, pendekatan Anthropic masih menyisakan banyak hal yang diinginkan dalam kondisi saat ini. Dia lambat dan membuat banyak kesalahan. Namun, ini adalah versi agen AI yang lebih umum dan tidak bergantung pada API dan dapat melakukan lebih dari sekadar membaca teks di jendela lain.
“Ini tidak dimaksudkan untuk menjadi agen; Ini adalah cara untuk berkolaborasi dengan alat pengkodean, dan akan ada lebih banyak alat yang akan segera hadir,” kata Embiricos dalam penjelasannya dengan TechCrunch. “Di sisi agen, menurut saya ini adalah elemen kuncinya. Idenya adalah ChatGPT memahami atau dapat bekerja dengan semua konten yang Anda miliki untuk membantu Anda.”
Pergerakan menuju agen ini sangat penting mengingat laporan baru-baru ini bahwa OpenAI semakin dekat untuk meluncurkan agen AI tujuan umum, dengan nama sandi “Operator”, menurut Bloomberg. Alat ini diperkirakan akan hadir pada awal tahun 2025 dan akan menyaingi upaya awal agen AI tujuan umum lainnya, seperti menggunakan komputer dari Anthropic atau Agen “Jarvis” melapor ke Google.
OpenAI meluncurkan fitur-fitur ini untuk pertama kalinya di macOS, sesaat sebelum Apple merilis a integrasi dengan ChatGPT pada bulan Desember. Tidak jelas kapan Work with Apps akan hadir di Windows, sistem operasi yang dibuat oleh pendukung terbesar OpenAI, Microsoft.
