Pelajari kebijakan dunia nyata dari gambar yang dihasilkan. Kiri: Kami menghasilkan data visual yang beragam dan sesuai kebijakan dengan menggabungkan isyarat gambar terstruktur dengan kontrol geometris dan semantik dari simulator fisika yang mendasarinya. Kanan: Kebijakan ini cukup kuat untuk diterapkan pada berbagai medan yang menantang di dunia nyata, meskipun belum pernah melihat data nyata selama pelatihan. Kredit: arXiv (2024). DOI: 10.48550/arxiv.2411.00083
Sebuah tim ahli robot dan insinyur di MIT CSAIL, Institute for AI and Fundamental Interactions, telah mengembangkan pendekatan AI generatif untuk mengajari robot cara melintasi medan dan bergerak di sekitar objek di dunia nyata.
Kelompok ini telah menerbitkan a kertas menjelaskan karyanya dan kemungkinan penggunaannya dalam arXiv server pracetak. Mereka juga mempresentasikan idenya pada Konferensi Pembelajaran Robot baru-baru ini (KOLOM 2024), diadakan di Munich dari tanggal 6 hingga 9 November.
Membuat robot dapat bernavigasi di dunia nyata pada akhirnya melibatkan mengajari mereka belajar sambil berjalan atau melatih mereka dengan video robot serupa di lingkungan dunia nyata. Meskipun pelatihan semacam itu terbukti efektif dalam lingkungan terbatas, pelatihan ini cenderung gagal ketika robot menghadapi sesuatu yang baru. Dalam upaya baru ini, tim MIT mengembangkan pelatihan virtual yang dapat diterjemahkan dengan lebih baik ke dunia nyata.
Pekerjaan tersebut melibatkan penggunaan AI generatif dan simulator fisika yang memungkinkan robot menavigasi dunia virtual sebagai sarana belajar beroperasi di dunia nyata. Mereka menyebut sistem LucidSim dan saya menggunakannya untuk melatih robot anjing di parkour, sebuah olahraga di mana pemainnya mencoba melewati rintangan di wilayah yang tidak diketahui secepat mungkin.
Pendekatan ini melibatkan pertama-tama menanyakan ribuan kueri kepada ChatGPT yang dirancang untuk LLM guna membuat deskripsi berbagai lingkungan, termasuk cuaca luar. Deskripsi yang diberikan oleh ChatGPT kemudian dikirim ke sistem pemetaan 3D yang menggunakannya (bersama dengan gambar yang dihasilkan AI dan simulator fisika) untuk menghasilkan video yang juga memberikan lintasan untuk diikuti robot.
Robot tersebut kemudian dilatih untuk melewati medan di dalam dunia maya dan pelajari keterampilan yang dapat Anda gunakan dalam lingkungan nyata. Robot yang dilatih dengan sistem belajar memanjat kotak, menaiki tangga, dan menghadapi apa pun yang mereka temui. Setelah pelatihan virtual, robot tersebut diuji di dunia nyata.
Para peneliti menguji sistem mereka menggunakan robot kecil berkaki empat. robot dilengkapi dengan kamera web. Mereka menemukan bahwa sistem ini bekerja lebih baik dibandingkan sistem serupa yang dilatih dengan cara tradisional. Tim menyarankan bahwa perbaikan pada sistem mereka dapat mengarah pada pendekatan baru pelatihan robot pada umumnya.
Informasi lebih lanjut:
Alan Yu dkk, Pembelajaran parkour visual dari gambar yang dihasilkan, arXiv (2024). DOI: 10.48550/arxiv.2411.00083
LucidSim: lucidsim.github.io/
© 2024 Merah Ciencia X
Kutipan: Pelatihan virtual menggunakan AI generatif untuk mengajari robot cara melintasi medan dunia nyata (2024, 12 Nov) diambil 13 Nov 2024 dari https://techxplore.com/news/2024-11-virtual-generative -ai-robots- melintasi. HTML
Dokumen ini memiliki hak cipta. Terlepas dari transaksi wajar untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.
