Komputeks Ketika datang ke akselerator AI, Intel tidak terlalu kompetitif, dan kartu workstation Battlemage yang baru -baru ini diumumkan tidak banyak mengubahnya. Tapi setidaknya mereka murah. Sangat murah.
Untuk keperluan AI, kita terutama dapat mengabaikan Intel Arc B50 dari $ 299, yang diposisikan sebagai GPU workstation yang lebih tradisional untuk beban kerja intensif dalam grafik.
Tetapi raksasa X86 menekan B60 (dan power hungry) yang paling aktif untuk aplikasi inferensi grafis dan AI. Dia belum menetapkan harga resmi, tetapi Vivian Lien, wakil presiden dan manajer umum grafik klien di Intel, mengharapkan kartu untuk mewakili sekitar $ 500 dari total biaya PC. Di pasar terbuka, kami menduga bahwa harga dunia nyata akan sedikit lebih tinggi dari itu.
Di atas kertas, B60 jatuh di suatu tempat antara RTX 4000 ADA dan 4500 ADA dari NVIDIA dan GPU generasi ADA 4500, yang saat ini harganya antara $ 1.250 dan $ 2.400.
Tetapi jika kesimpulan AI adalah pendekatan utamanya, itu mungkin melihat sesuatu seperti kartu workstation RTX Pro 6000 di nvidia diumumkan Pada bulan Maret, di GTC, yang memiliki sekitar 4,5-5x lebih tinggi dari INT8, dan 4X kapasitas memori dan bandwidth Intel B60. Kartu -kartu ini saat ini dikecilkan di lingkungan masing -masing $ 8.565. Itu berarti bahwa B60 akan mencapai sekitar 1/17 harga GPU NVIDIA khas yang berpusat pada inferensi.
Berikut adalah ringkasan singkat tentang bagaimana keduanya dibandingkan. Kami telah memasukkan B50 di sana hanya sebagai referensi.
| Arc Pro B50 | Arc Pro B60 | RTX Pro 6000 | |
|---|---|---|---|
| Kapasitas memori | 16 GB | 24 GB | 96 GB |
| Bandwidth mem | 224 GB/s | 456 GB/s | 1.792 GB/s |
| Int8 perf | 170 atasan | 197 TOPS | 877-1.007 TOPS |
| FP4 per | N / a | N / a | 1.755-2.015 tflops |
| TDP | 70w | 120W-200W | 300W-600W |
| Harga | $ 299 | ~ $ 500 | ~ $ 8500 |
Catatan: Semua angka hasil yang diberikan adalah untuk hasil dari seluruh / titik intens tanpa kelangkaan yang diaktifkan.
Persaingan melalui paralelisme
Seperti yang Anda lihat, dengan sendirinya, B60 tidak dapat memegang lilin untuk kartu kerja NVIDIA terbaru. Tetapi, jika Anda pergi ke empat dari mereka di sasis stasiun kerja, setidaknya Anda berada di stadion yang sama. Dan itulah yang diharapkan Intel untuk dilakukan oleh pelanggan. Bahkan, ia meramalkan sistem dengan hingga delapan chip ini. Intel menyebut proyek konseptual Battlematrix ini.
Proyek Intel Battlematrix menjanjikan
Untuk sistem delapan GPU, ini melihat sekitar 1,5 petaps dari kinerja int8 padat, 192GB VRM dan 3,6TB/s bandwidth memori agregat. Lebih penting lagi, dengan asumsi bahwa estimasi $ 500 per baris garis terjadi, Anda mencari sekitar $ 4.000 dalam GPU. Bahkan jika kartu tersebut masing -masing lebih dari $ 750, itu masih jauh lebih murah daripada membeli beberapa RTX Pro 6000s.
Faktanya, itu mungkin dapat mengakumulasi dua intel dari delapan sistem GPU dengan harga kurang dari harga workstation GPU NVIDIA ganda.
Kami mengatakan Rack karena jika Anda berencana untuk mengimplementasikan lebih dari satu ini, setidaknya di AS, satu sistem sudah akan melebihi batas sirkuit 15 amp (1.800 W). Dalam konfigurasi ini, kami harap Anda harus menyesuaikan B60 TDP dengan sesuatu yang lebih dekat ke 120 W untuk menghindari tersandung dengan beban di bawah beban.
Setiap individu B60 mengkonsumsi lebih sedikit daya (120W-200W) daripada kartu workstation RTX Pro 6000 (300W-600W), tetapi juga kurang efisien dalam negeri. Ini terutama benar ketika memperhitungkan bahwa chip NVIDIA terbaru menawarkan dukungan asli untuk tipe data 4 -bit, yang b60 no.
Sementara RTX Pro 6000 dapat 4,5x-5x lebih cepat di INT8, lebih dekat ke 9-10x lebih cepat pada FP4 dan 18x-20x lebih cepat jika Anda dapat memanfaatkan kelangkaan.
Tetapi untuk workstation inferensi, itu mungkin tidak sepenting yang Anda pikirkan. Ini karena, sama mengesankannya dengan 4 fp4 petaflops yang langka, mereka mungkin terdengar, beban kerja inferensi cenderung menjadi lebar memori memori, kapal latar, bukan kinerja terbatas. Inferensi juga tidak mendapat manfaat dari kekurangan.
Lebih banyak komputasi dapat berguna selama tahap preferensi inferensi, ketika model memproses pemberitahuannya. Namun, ini lebih terlihat untuk beban kerja seperti merangkum laporan atau sistem yang perlu memenuhi sejumlah besar aplikasi bersamaan.
Selain itu, B60 mungkin tidak mengakui secara asli tipe data 4 -bit, tetapi masih dapat menjalankan banyak model 4 -bit yang dikuantisasi. Misalnya, Call.cpp, yang mempopulerkan kuantisasi GGUF, telah mendukung Intel GPU melalui SYCL selama setidaknya satu tahun. Fakta bahwa bobot disimpan untuk presisi yang lebih rendah tidak berarti bahwa aktivasi, bor komputasi, harus.
Sementara Intel terutama memasarkan B60 sebagai kartu inferensi, mereka masih GPU dan dapat dengan mudah digunakan untuk menyesuaikan model, topik yang telah kami jelajahi secara rinci sebelumnya.
Beberapa lingkungan pengguna
Memiliki banyak GPU dalam sebuah kotak juga menyajikan beberapa peluang unik untuk implementasi, terutama di lingkungan laboratorium, di mana Anda dapat memiliki banyak pengguna untuk berbagi sumber daya.
Meskipun ada banyak cara untuk berbagi sumber daya GPU, seperti pemotongan sementara dan partisi sumber daya, masing -masing hadir dengan ketidaknyamanannya sendiri. Ketika Anda memiliki delapan GPU dalam sebuah kotak, Anda dapat memiliki delapan pengguna yang berbeda, yang masing -masing menjalankan beban kerja Anda sendiri dalam GPU khusus.
Kami diberitahu bahwa Intel saat ini sedang bekerja untuk menambahkan dukungan SR-IVO. Teknologi memungkinkan perangkat PCIe muncul sebagai beberapa perangkat virtual dan harus sangat menyederhanakan proses divisi sumber daya GPU atau hanya meneruskannya ke mesin virtual.
Secara teknis, ini juga dimungkinkan dalam kartu grafis NVIDIA RTX Pro, setidaknya dalam model 6000 Series. Setiap chip mengakui teknologi partisi GPU multi -instansi NVIDIA, yang memungkinkannya membagi chip menjadi dua partisi 48 GB atau empat partisi 24 GB.
Namun, membuka kunci teknologi itu mungkin memerlukan lisensi NVIDIA VGPU selain harga chip yang sudah tinggi.
Mengintensifkan game perangkat lunak Anda
Beberapa sistem GPU menyiratkan beberapa komitmen. Kecepatan dan feed tidak selalu diterjemahkan ke dalam kinerja dunia nyata jika perangkat lunak tidak sesuai dengan itu.
Tetapi situasi perangkat lunak di sekitar arsitektur grafis XE Intel terus meningkat selama setahun terakhir. Dan saat mendapatkan beban kerja yang dapat ditemukan melalui beberapa GPU dapat memperkenalkan kompleksitas, itu adalah masalah yang cukup dipahami saat ini.
Dengan peluncuran platform B60 -nya, Intel telah melakukan perbaikan tambahan untuk ekosistem perangkat lunak, termasuk pengenalan gambar Preconsa Containers, yang akan dikirim dengan semua yang Anda butuhkan untuk mendapatkan kerangka operasi tertentu. Seperti yang kita pahami, VLLM akan menjadi salah satu lingkungan wadah pertama yang ditawarkan, tetapi kita juga dapat melihat kontainer untuk Ollama dan llama.cpp dalam waktu singkat.
Seperti yang kita miliki sebelumnya dieksplorasiJenis -jenis lingkungan kontainer ini dapat menyebabkan implementasi beban kerja AI dan lingkungan pengembangan menjadi jauh lebih mudah, daripada harus membantah beberapa unit, administrator paket dan kemudian menyelesaikan kesalahan dalam dukungan versi, pekerjaan ini dapat diotomatisasi dan diimplementasikan dalam lingkungan Sandbox.
Lingkungan wadah ini diharapkan mulai bergulir bersama dengan kartu pada kuartal ketiga, dengan SR-IOV, infrastruktur desktop virtual dan fungsionalitas manajemen lainnya pada kuartal keempat. ®
