Щойно я побачив цікаву новину про розвиток штучного інтелекту у сфері відтворення персонажів, яку представила компанія Anuttacon — AI-компанія, заснована Цай Хаою, засновником miHoYo.

Вони щойно випустили LPM 1.0 — модель для відтворення відео персонажів, яка досить дивує. Ця система дозволяє персонажам одночасно говорити, співати, слухати та реагувати у реальному часі. Більше того, рухи рота, міміка, а також рухи тіла виглядають дуже реалістично, а не штучно.

З технічної точки зору, вони використовували базову модель з 17 мільярдами параметрів і налаштували її для потокової роботи з низькою затримкою. Хороша новина — вона підтримує різноманітні стилі персонажів, від реалістичних і анімації 2D до 3D-ігор і навіть істот, що не є людьми, без додаткової налаштування.

Що я помітив, так це те, що Anuttacon запустила стандарт оцінювання LPM-Bench, що дає найкращі результати за кількома показниками у порівнянні з іншими моделями на ринку. Важливо, що LPM 1.0 може генерувати контент без обмежень за часом, на відміну від інших варіантів, обмежених лише 30 секундами.

Їхній цікавий застосунок досить очевидний — NPC для діалогів у іграх та віртуальні трансляції. Це потенційно дуже перспективні сфери, особливо для miHoYo та інших ігрових компаній.

Однак слід зазначити, що Anuttacon чітко заявила, що це лише академічний реліз. Наразі не планується відкриття коду або надання API для публіки. Більшість спільноти вважає, що головна мета — залучити талановитих фахівців у галузі AI.

Поглядаючи назад, LPM 1.0 — це наступний крок у розвитку AI від Anuttacon у сфері ігрових рушіїв та розумних NPC. Це також ще один результат роботи над AI від miHoYo, починаючи з інструменту чатів AnuNeko і до можливостей базової моделі. Здається, Цай Хаою та його команда створюють щось значуще у галузі AI для персонажів.