Как работает нейроаватар: от записи видео и голоса до готового ролика

Всё начинается не с фото, а с двух минут видео

Выражение «нейроаватар из фото» прижилось, и оно наполовину правда. Из одной фотографии сеть действительно сделает говорящую голову: загружаете снимок и текст, через несколько минут получаете ролик. Для теста годится. Для канала, где вы будете выходить каждую неделю, нет: у сети слишком мало информации о том, как вы живёте в кадре.

Поэтому, если разбирать, как работает нейроаватар всерьёз, начинать надо с исходника. Рабочий аватар мы строим по видео. Человек садится перед камерой (телефон с 1080p подойдёт) и две-пять минут говорит на нейтральную тему при ровном свете. Важно не то, что он говорит, а как: паузы, наклоны головы, привычка поднимать бровь. В паузах нужно продолжать смотреть в камеру и оставаться живым: из этих кусков сеть потом соберёт «состояние покоя», когда аватар молчит и слушает.

Отдельно записывается короткое видео согласия: человек в кадре произносит, что разрешает создать свою копию. Платформа без этого аватар по видео не обучит. Это не формальность, а единственная преграда между вами и дипфейком, о котором речь дальше.

Что нейросеть делает с лицом

Сеть не рисует вас кадр за кадром, как аниматор. Она строит модель: как устроено именно ваше лицо, как оно меняется на звуке «о» и на звуке «м», куда уходят глаза, когда вы задумываетесь. Это статистика вашей мимики, снятая с тех самых двух-пяти минут.

Дальше главная часть: движение по звуку. Когда готова аудиодорожка, модель читает её и на каждый звук речи выставляет положение губ, челюсти и щёк. Это и есть липсинк, синхронизация губ с речью. Современные движки идут дальше: по интонации и ритму фразы они добавляют кивки, микродвижения бровей, паузы с дыханием. HeyGen так и описывает свой движок Avatar IV: лицом управляет не текст, а звук голоса.

Тело и руки остаются слабым местом. Платформы обещают жесты по смыслу сказанного, но на практике аватар повторяет что-то похожее на ваши жесты из обучающего видео, и попадают они в такт не всегда. Поэтому у аватара обычно средний план, а руки в покое или за столом.

Что происходит с голосом

Голос клонируется отдельно, и здесь работает другая сеть, у нас это ElevenLabs. Режимов два. Быстрый клон учится на одной-двух минутах чистой записи и звучит узнаваемо, но плоско: интонации усредняются. Профессиональный клон требует от получаса чистой речи, тренируется несколько часов и уже держит ваш темп, ваши «э-э» и характерный спад в конце фразы. Запись должна быть без эха, без кондиционера за спиной и с одним говорящим: сеть учится на всём, что слышит, включая шум.

Дальше это обычный синтез речи из текста, только вашим тембром. Вы пишете сценарий, модель озвучивает, звук уходит в видеомодель, та двигает губы. По закону запись голоса относится к персональным данным, а если по ней можно опознать человека, то и к биометрическим, поэтому согласие оформляется отдельным письменным документом. Как проходит клонирование голоса и что именно нужно записать, я собрал на отдельной странице.

Почему первая сборка долгая, а следующие быстрые

Первый ролик занимает неделю-две, и людей это удивляет: нейросеть же. Но время уходит не на генерацию. Оно уходит на запись обучающего видео, на чистую запись голоса, на само обучение (модель лица на платформе считается от 10 до 20 минут, профессиональный голос несколько часов) и на самый долгий этап: посмотреть первые пробы и понять, что не так. Здесь свет оказался жёлтым, там аватар слишком часто кивает, тут голос проглатывает окончания. Правится это перезаписью или переобучением, и каждый такой круг откладывает результат.

Зато потом производство видео превращается в производство текста. Новый выпуск начинается с нового сценария: написали, согласовали, отправили в рендер. Платформа отдаёт минуту готового видео примерно за десять минут расчёта, иногда быстрее. У основателя WMT Игоря Никитина (кейс) выпуск для Reels от текста до файла занимает меньше часа, и его самого в этом процессе нет. Из этого складывается экономика нейроаватара для компании: дорогой вход и дешёвый каждый следующий ролик.

Где не отличить, а где видно

Правило простое. Чем короче фраза и дальше камера, тем труднее найти подмену. Ролик на полминуты, средний план, спокойный тон: здесь подмену заметить труднее всего.

Видно становится в трёх случаях. Крупный план: кожа у живого человека живёт, блики, поры, мелкое движение, а у модели она чуть ровнее, чем надо. Эмоции: смех, крик, резкий поворот головы, всего этого в двух минутах обучающего видео почти не было, и сеть начинает додумывать. Длинный монолог: через несколько минут глаз ловит повтор одного и того же кивка.

Отсюда понятно, где технология не нужна. Показать продукт в руках, провести экскурсию по цеху, ответить на вопрос из зала, сыграть диалог двух людей: тут нужна камера. Съёмка в пакет не входит, в проекте от 600 000 ₽ снимаем сами. Аватар не отвечает в реальном времени и не импровизирует, он произносит то, что написано.

Чем это отличается от дипфейка и от мультфильма

Технически дипфейк и нейроаватар родственники: оба учатся на лице и оба генерируют лицо. Разница в исходнике и в согласии. Дипфейк берёт чужое лицо и накладывает его на чужое тело в чужом видео, без ведома человека. Аватар делается по видео самого человека, с записанным согласием, и произносит текст, который этот человек утвердил. Гражданский кодекс, статья 152.1, разрешает использовать изображение гражданина только с его согласия, и оговорки «кроме сгенерированного нейросетью» там нет. Отдельного закона про голос пока нет: законопроект внесли в Госдуму в 2024 году, он не принят.

От анимации и 3D-персонажа отличие обратное: аниматор ставит каждое движение руками, а сеть выводит их из звука. Поэтому аватар не умеет «подмигнуть на этом слове», управлять им можно текстом и интонацией, а не отдельным жестом. Что такое нейроаватар как продукт и сколько он стоит, я разбирал раньше: что такое нейроаватар.

От вас в итоге нужно немного: одна съёмка на от 2 до 5 минут при хорошем свете, полчаса чистой речи для голоса, согласие на камеру и подпись под документом о голосе, время на просмотр первых проб. Сценарии, сборку, субтитры и правки можно отдать команде, которая делает нейроаватар под ключ.