Alibaba meluncurkan model kecerdasan buatan (AI) baru pada hari Kamis, yang dikatakan menyaingi model seri GPT-o1 OpenAI dalam kemampuan penalaran. Dirilis dalam pratinjau, Model Bahasa Besar (LLM) QwQ-32B dikatakan mengungguli pratinjau GPT-o1 pada beberapa tolok ukur terkait penalaran matematis dan logis. Model AI baru tersedia untuk diunduh di Hugging Face, namun tidak sepenuhnya open source. Baru-baru ini, perusahaan AI China lainnya dilepaskan model kecerdasan buatan DeepSeek-R1 open source, yang konon menyaingi model dasar yang berfokus pada penalaran dari pabrikan ChatGPT.
Model AI Alibaba QwQ-32B
di sebuah postingan blogAlibaba merinci LLM barunya yang berfokus pada penalaran dan menyoroti kemampuan dan keterbatasannya. QwQ-32B saat ini tersedia sebagai versi pratinjau. Seperti namanya, ini didasarkan pada 32 miliar parameter dan memiliki jendela konteks 32,000 token. Model telah menyelesaikan tahap sebelum dan sesudah pelatihan.
Soal arsitekturnya, raksasa teknologi asal Tiongkok itu mengungkapkan bahwa model AI didasarkan pada teknologi transformator. Untuk pengkodean posisi, QwQ-32B menggunakan spinning position embeddings (RoPE), bersama dengan fungsi switch gated linear unit (SwiGLU) dan root mean square normalization (RMSNorm), serta bias perhatian nilai kunci kueri (Attention QKV).
Sama seperti dia Buka AI GPT-o1, model AI menampilkan monolog internalnya dengan mengevaluasi permintaan pengguna dan mencoba menemukan jawaban yang benar. Proses pemikiran internal ini memungkinkan QwQ-32B menguji berbagai teori dan memverifikasi fakta sebelum menyajikan jawaban akhir. Alibaba mengklaim LLM mencetak 90,6 persen pada benchmark MATH-500 dan 50 persen pada benchmark AI Mathematical Evaluation (AIME) selama pengujian internal dan mengungguli model terfokus dalam penalaran OpenAI.
Secara khusus, model AI dengan penalaran yang lebih baik bukanlah bukti bahwa model tersebut menjadi lebih cerdas atau mampu. Ini hanyalah sebuah pendekatan baru, yang juga dikenal sebagai komputasi waktu pengujian, yang memungkinkan model menggunakan waktu pemrosesan tambahan untuk menyelesaikan suatu tugas. Hasilnya, AI dapat memberikan jawaban yang lebih akurat dan menyelesaikan pertanyaan yang lebih kompleks. Beberapa veteran industri telah mencatat bahwa LLM baru tidak meningkat pada tingkat yang sama dengan versi lama, menunjukkan bahwa arsitektur yang ada sedang mencapai titik jenuh.
Karena QwQ-32B menghabiskan waktu pemrosesan tambahan pada kueri, QwQ-32B juga memiliki beberapa keterbatasan. Alibaba menyatakan bahwa model AI terkadang dapat mencampurkan atau beralih bahasa, sehingga menyebabkan masalah seperti pencampuran bahasa dan peralihan kode. Anda juga cenderung terjebak dalam lingkaran penalaran, dan selain keterampilan matematika dan penalaran, bidang lain masih memerlukan peningkatan.
Khususnya, Alibaba telah menyediakan model AI melalui Hugging Face. daftar dan baik individu maupun perusahaan dapat mengunduhnya untuk keperluan pribadi, akademik dan komersial di bawah lisensi Apache 2.0. Namun, perusahaan belum menyediakan bobot model dan data, yang berarti pengguna tidak dapat mereplikasi model atau memahami cara kerja arsitektur.
