Bergabunglah dengan buletin harian dan mingguan kami untuk mendapatkan pembaruan terbaru dan konten eksklusif tentang liputan pemimpin industri. Dapatkan informasi lebih lanjut
Produsen model AI yang didanai Prancis Mistral Dia terus -menerus mencapai berat badannya sejak debutnya Model basis open source yang kuat di musim gugur 2023 – tetapi baru -baru ini ia menerima beberapa kritik di antara pengembang di X untuk versi terbarunya dari model bahasa besar yang dipatenkan (LLM) yang disebut Setengah 3bahwa beberapa orang dianggap mengkhianati akar dan komitmen open source mereka.
(Ingatlah bahwa model open source dapat diambil dan diadaptasi secara bebas oleh siapa pun, sementara model berpemilik harus dibayar dan opsi kustomisasi mereka lebih terbatas dan dikendalikan oleh produsen model).
Tetapi hari ini, Mistral kembali dan kembali berkomitmen pada komunitas open source, dan pengembangan perangkat lunak dengan AI khususnya, besar. Perusahaan telah terkait dengan startup open source Semua tangan AIBuka Devin Creators untuk diluncurkan DevstralModel bahasa open source baru dengan 24 juta parameter, jauh lebih kecil dari banyak saingan yang modelnya dalam multibillion dan, oleh karena itu, membutuhkan daya komputer yang jauh lebih sedikit sedemikian rupa sehingga dapat dieksekusi pada laptop, terutama yang dirancang untuk pengembangan agen.
Tidak seperti LLM tradisional yang dirancang untuk menyelesaikan kode pendek atau pembuatan fungsi yang terisolasi, Devstral dioptimalkan untuk bertindak sebagai agen rekayasa perangkat lunak yang lengkap, yang dapat memahami konteks dalam file, menavigasi dalam basis kode besar dan menyelesaikan masalah dunia nyata.
Model ini sekarang tersedia secara gratis di bawah Lisensi Apache 2.0 yang permisifmemungkinkan pengembang dan organisasi untuk menampilkan, memodifikasi, dan memasarkannya tanpa batasan.
“Kami ingin meluncurkan sesuatu yang terbuka untuk komunitas pengembang dan penggemar, sesuatu yang dapat mereka jalankan secara lokal, secara pribadi dan memodifikasi seperti yang mereka inginkan,” kata Baptiste Rozière, seorang ilmuwan riset di Mistral AI. “Itu dilemparkan ke bawah Apache 2.0, sehingga orang pada dasarnya dapat melakukan apa yang mereka inginkan dengannya.”
Membangun di atas kode
Devstral mewakili langkah selanjutnya dalam portofolio model yang berkembang yang berfokus pada kode Mistral, setelah keberhasilan sebelumnya dengan seri kodestral.
Pertama kali dirilis Mei 2024, Codestral Itu adalah serangan awal Mistral di LLM dari pengkodean khusus. Itu adalah model 22 miliar parameter yang dilatih untuk menangani lebih dari 80 bahasa pemrograman dan menjadi dipertimbangkan dengan baik untuk kinerja dalam tugas -tugas menghasilkan dan menyelesaikan kode.
Popularitas dan kekuatan teknis model menyebabkan iterasi yang cepat, termasuk peluncuran kodestral-mamba, versi yang lebih baik berdasarkan arsitektur Mamba, dan baru-baru ini, Codestral 25.01, yang telah menemukan adopsi antara pengembang aksesori IDE dan pengguna bisnis yang mencari model frekuensi tinggi dan frekuensi rendah.
Dorongan di sekitar Codestral membantu membangun Mistral sebagai pemain kunci dalam ekosistem model pengkodean dan meletakkan dasar untuk pengembangan Devstral, yang meluas dari kompleks cepat ke pelaksanaan tugas agen lengkap.
Superform model terbesar di titik referensi SWE yang lebih tinggi
Devstral mencapai skor 46,8% di titik referensi terverifikasi SWE-Bench, seperangkat data dari 500 masalah gitub di dunia nyata divalidasi untuk koreksi.
Ini menempatkannya di depan semua model open source yang sebelumnya diluncurkan dan sebelum beberapa model tertutup, termasuk GPT-4.1-Mini, yang melebihi lebih dari 20 poin persentase.
“Pada saat ini, model terbuka terbaik untuk SWE Bench diverifikasi dan agen kode cukup jauh,” kata Rozière. “Dan itu juga model yang sangat kecil, hanya 24 miliar parameter, yang dapat Anda jalankan secara lokal, bahkan di MacBook.”
“Bandingkan Devastral dengan model tertutup dan terbuka yang dievaluasi di bawah perancah apa pun; kami menemukan bahwa Devstral mencapai kinerja yang jauh lebih baik daripada serangkaian alternatif kode tertutup,” tulis Sophia Yang, Ph.D. Jejaring sosial x. “Misalnya, Devstral melebihi GPT-4.1-Mini baru-baru ini di lebih dari 20%.”
Model ini baik -baik saja dari mistral kecil 3.1 menggunakan penguatan keselamatan dan teknik pembelajaran penyelarasan.
“Kami mulai dari model dasar yang sangat baik dengan kendali kecil pohon -pohon mistral, yang sudah bekerja dengan baik,” kata Rozière. “Lalu kami mengkhususkannya menggunakan teknik pembelajaran keamanan dan penguatan untuk meningkatkan kinerja Anda di SWE.”
Dibangun untuk era agen
Devstral bukan hanya model pembuatan kode: ini dioptimalkan untuk integrasi dalam bingkai agen seperti OpenHands, SWE-Ant dan Opendevin.
Perancah ini memungkinkan Devstral untuk berinteraksi dengan kasus uji, menavigasi dari file asal dan menjalankan beberapa langkah tugas di semua proyek.
“Kami merilisnya dengan Opendevin, yang merupakan perancah untuk agen kode,” kata Rozière. “Kami membangun model dan membangun perancah, satu set indikasi dan alat yang dapat digunakan model, sebagai backend untuk model pengembang.”
Untuk menjamin ketahanan, model ini diuji di berbagai repositori dan aliran kerja internal.
“Kami sangat berhati -hati untuk tidak mengatasi di Swere Bank,” Rozière menjelaskan. “Kami hanya berlatih dalam data repositori yang tidak dikloning dari bank SWE dan memvalidasi model dalam frame yang berbeda.”
Dia menambahkan bahwa devstrral anjing mistral makanan secara internal untuk memastikan bahwa tugas -tugas baru yang tidak terlihat umumnya umumnya.
Implementasi yang efisien dengan lisensi terbuka permisif, bahkan untuk proyek bisnis dan komersial
Arsitektur kompak Devstral menjadikannya praktis bagi pengembang untuk berjalan secara lokal, baik dalam satu GPU RTX 4090 atau Mac dengan 32 GB RAM. Ini membuatnya menarik bagi kasus penggunaan yang sensitif terhadap privasi dan implementasi tepi.
“Model ini ditujukan untuk para penggemar dan orang -orang yang ingin melaksanakan sesuatu yang lokal dan pribadi, sesuatu yang bahkan dapat mereka gunakan di pesawat tanpa internet,” kata Rozière.
Di luar kinerja dan portabilitas, lisensi Apache 2.0 -nya menawarkan proposal yang meyakinkan untuk aplikasi komersial. Lisensi memungkinkan penggunaan, adaptasi, dan distribusi tanpa batasan, bahkan untuk produk berpemilik, menjadikan Devstral opsi gesekan rendah untuk adopsi bisnis.
Spesifikasi terperinci dan instruksi penggunaan tersedia di Kartu model devstral-small-25505 di wajah pelukan.
Model ini menyajikan jendela konteks 128.000 token dan menggunakan Tekken Tokenizer dengan 131.000 kosa kata.
Ia mengakui implementasi melalui semua platform open source utama, termasuk pelukan wajah, Ollama, Kaggy, LM Studio dan Unera, dan bekerja dengan baik dengan perpustakaan seperti VLLM, Transformers dan Mistral Inference.
Tersedia melalui API atau lokal
Dapat diakses oleh devastral API Platlee de Mistral (Antarmuka pemrograman aplikasi) dengan nama model Devstral-Small-2505, dengan harga ditetapkan pada $ 0,10 per juta token input dan token output $ 0,30 per juta.
Bagi mereka yang mengimplementasikan secara lokal, dukungan untuk bingkai seperti OpenHands memungkinkan integrasi dengan kode dan agen kerja mengalir di luar kotak.
Rozière membagikan bagaimana ia memasukkan Devastral ke dalam aliran pengembangannya sendiri: “Saya menggunakannya. Anda dapat meminta Anda untuk melakukan tugas -tugas kecil, seperti memperbarui versi paket atau memodifikasi skrip tokenisasi. Temukan tempat yang tepat dalam kode Anda dan buat perubahan. Sangat menyenangkan untuk digunakan.”
Lebih banyak yang akan datang
Sementara Devstral saat ini diluncurkan sebagai pandangan penelitian sebelumnya, Mistral dan semua tangan AI sudah mengerjakan model pemantauan yang lebih besar dengan kemampuan yang diperluas. “Akan selalu ada kesenjangan antara model yang lebih kecil dan lebih besar,” kata Rozière, “tetapi kami telah banyak bepergian untuk bergabung dengan itu. Model -model ini sudah bekerja sangat kuat, bahkan dibandingkan dengan beberapa pesaing yang lebih besar.”
Dengan poin kinerjanya, lisensi permisif dan desain agen, Devstral diposisikan tidak hanya sebagai alat pembuatan kode, tetapi sebagai model mendasar untuk membangun sistem rekayasa perangkat lunak yang otonom.
Sumber
