Akselerasi Tensorrt AI NVIDIA sekarang tersedia di GPU Geforce RTX, menawarkan 2x peningkatan hasil DirectMl.
NVIDIA menawarkan impuls akselerasi AI 2X melalui DirectMl dengan Tensorrt, tersedia di semua GPU RTX
Hari ini, Nvidia mengumumkan bahwa ia membawa Tensorrt ke platform RTX -nya. Dengan Tensorrt, konsumen umum yang menjalankan GPU RTX akan dapat memperoleh hasil yang lebih cepat melalui backend inferensi yang dioptimalkan.
Dengan Tensorrt, pengguna dapat melihat ketinggian hingga 2x dalam aplikasi AI versus DirectML. Tensorrt juga kompatibel asli oleh Windows ML, Dan harus diperhitungkan bahwa Tensorrt-llm sudah tersedia di Windows.
Perangkat lunak AI PC saat ini mengharuskan pengembang untuk memilih antara bingkai yang memiliki dukungan perangkat keras yang luas tetapi kinerja yang lebih rendah atau rute yang dioptimalkan yang hanya mencakup jenis perangkat keras atau model tertentu dan mengharuskan pengembang mempertahankan beberapa rute. Bingkai inferensi Windows ML baru dibuat untuk menyelesaikan tantangan ini.
Windows ML dibangun pada waktu eksekusi ONNX dan terhubung dengan sempurna ke lapisan eksekusi IA yang dioptimalkan yang disediakan dan dikelola oleh setiap produsen perangkat keras. Untuk GEFORCE RTX GPU, Windows ML secara otomatis menggunakan TensorRT untuk RTX, perpustakaan inferensi yang dioptimalkan untuk kinerja tinggi dan implementasi yang cepat. Dibandingkan dengan DirectML, TensorRT menawarkan lebih dari 50% hasil lebih cepat untuk beban kerja AI pada PC.
Windows ML juga menawarkan manfaat kualitas hidup bagi pengembang. Anda dapat secara otomatis memilih perangkat keras yang benar untuk menjalankan setiap fungsi AI dan mengunduh penyedia eksekusi untuk perangkat keras itu, menghilangkan kebutuhan untuk mengemas file -file tersebut dalam aplikasinya. Ini memungkinkan NVIDIA untuk memberikan optimisasi kinerja Tensorrt kepada pengguna segera setelah siap. Dan karena dibangun di runtime Onnx, Windows ML bekerja dengan model Onnx apa pun.
Tetapi tidak hanya kinerja adalah aspek utama Tensorrt untuk RTX. Backend baru memungkinkan ukuran file pustaka 8x yang lebih kecil dan juga dilengkapi dengan optimasi tepat waktu oleh GPU. TensorRT untuk RTX akan tersedia pada bulan Juni di semua GPU Nvidia GeForce RTX di pengembang.nvidia.com.
Dalam salah satu slide kinerja, NVIDIA menunjukkan peningkatan kinerja AI dengan versus Tensor DirectML. Di COMFYUI, pengguna dapat memperoleh peningkatan kinerja 2X, sementara DaVinci Resolve dan Vegas Pro menawarkan peningkatan 60%. Hal ini mengarah pada waktu eksekusi dan alur kerja lebih cepat, yang memungkinkan RTX GPU dan PC RTX sepenuhnya melepaskan potensi mereka.
Inovasi perangkat lunak NVIDIA tidak berakhir di sana, karena perusahaan mempromosikan lebih dari 150 SDK AI dengan 5 integrasi ISV baru bulan ini. Ini termasuk:
- LM Studio (+30% kinerja dengan CUDA terakhir)
- Topaz Video AI (CUDA ACCELERATED GENAI VIDEO)
- Bilibili (efek transmisi NVIDIA)
- Autodesk Vred (DLSS 4)
- Chaos East (DLSS 4)
NVIDIA juga memperkenalkan pesawat NIM dan AI baru, yang bahkan termasuk aksesori baru untuk proyek G-assist, seperti Discord, Gemini, IFTTT, Twitch, Spotify dan Integrasi SignalRGB. Tentu saja, pengguna juga memiliki opsi untuk membangun aksesori mereka untuk proyek G-assist yang akan pergi ke github.com/nvidia/g-sist.
