Tencent meluncurkan HUNYUANPORTRAIT, model AI open source untuk mendorong potret

Tencent meluncurkan model kecerdasan buatan baru (AI) pada hari Selasa yang belum dapat mendorong gambar potret. Dijuluki Hunyuanportrait, Model Bahasa Besar (LLM) didasarkan pada arsitektur diseminasi dan dapat menghasilkan video dengan animasi realistis berdasarkan gambar referensi dan video panduan. Para peneliti di balik proyek ini menekankan bahwa model dapat menangkap data wajah dan gerakan spasial untuk menyinkronkannya dengan presisi dalam gambar referensi. Tencent sekarang memiliki asal terbuka model AI hUNYUANANTRAIT, dan dapat diunduh dan dieksekusi secara lokal dari repositori populer.

HUNYUANBORTRIT DE TENCENT MABUNG

Di dalam surat Di X (sebelumnya dikenal sebagai Twitter), mangga resmi Tencent Hunyuan mengumumkan bahwa model Hunyuantrait sekarang tersedia untuk komunitas terbuka. Model AI dapat diunduh dari Tencent GitHub Dan Wajah yang dipeluk Daftar. Selain itu, predimpresi kertas Merinci model juga tinggal di Arxiv. Secara khusus, model AI tersedia untuk kasus -kasus berbasis akademik dan penelitian, tetapi tidak untuk penggunaan komersial.

Hunyuanportrait dapat menghasilkan video animasi yang realistis menggunakan gambar referensi dan video mengemudi. Tangkap data wajah dan posisi video dan interpola dalam gambar potret. Perusahaan menyatakan bahwa sinkronisasi gerakan itu tepat, dan bahkan perubahan halus ekspresi wajah direplikasi.

Arsitektur HUNYUANTRAI
Kredit Foto: Tencent

Dalam model Anda halamanPeneliti Tencent merinci arsitektur Hunyuanbortrait. Ini didasarkan pada arsitektur model difusi stabil bersama dengan encoder kontrol kondisi. Coders pra-penjara ini mengecewakan informasi dan identitas pergerakan dalam video. Data ditangkap sebagai tanda kontrol, yang kemudian disuntikkan ke dalam potret bahkan melalui non -unit. Perusahaan menyatakan bahwa ini memberikan presisi spasial dan konsistensi sementara dalam hasilnya.

Tencent menyatakan bahwa model AI melebihi alternatif open source yang ada dalam parameter konsistensi dan kemampuan kontrol sementara, tetapi metrik ini belum diverifikasi secara independen.

Model semacam itu dapat berguna dalam industri film dan animasi. Secara tradisional, animator ekspresi wajah dari kerangka kunci atau menggunakan sistem penangkapan gerakan yang mahal untuk mendorong karakter secara realistis. Model seperti HUNYUANTRAIT akan memungkinkan mereka untuk memberi makan desain karakter dan gerakan objektif dan ekspresi wajah, dan dapat menghasilkan output. LLM ini juga memiliki potensi untuk membuat animasi berkualitas tinggi dapat diakses oleh studi yang lebih kecil dan pencipta independen.