Слово «дипфейк» уже не удивляет активных пользователей Интернета. И то, что еще недавно казалось шуткой, сегодня кажется интересной и перспективной технологией. Дипфейком мы считаем некий чужеродный персонаж, внедренный искусственным образом в видео-ролик с помощью нейронных сетей и машинного обучения. Но смысл у этого явления намного более широкий.
♥ ПО ТЕМЕ: Levitagram, или как на iPhone создавать фото с эффектом левитации (полета).
Так, искусственное состаривание фотографий с помощью FaceApp тоже считается дипфейком. Эта технология постоянно находит новые сферы применения, еще год назад казавшиеся немыслимыми. Если раньше мы удивлялись тому, как оживала старая фотография, то сегодня можно заставить персонаж на снимке петь выбранную песню.
Наверняка вы помните, как в фильмах про Гарри Поттера фотографии на стенах оживали. Это казалось волшебством, пока в Интернете не появились сервисы с подобными возможностями. Снимки прогонялись через нейронные сети, а на выходе появлялся небольшой видеоролик. А ведь двигающийся человек мог жить в те времена, когда и кино снимать-то не умели.
♥ ПО ТЕМЕ: DMD Clone, или как создать двойника на фото (клонировать объекты) в iPhone.
Как анимировать фотографию и научить ее петь?
Приложение Wombo развивает концепцию дипфейка, позволяя не просто оживлять фотографию, но и делать движения персонажа более активными, научив его петь выбранную песню.
Сразу стоит подчеркнуть, что если ваша цель – простая анимация фотографии, то лучше для этой цели выбрать специализированное приложение, к примеру, Deep Nostalgia. Если же нужна именно озвучка впридачу к фотографии, то тогда поможет Wombo. Сервис сам проделает основную работу. От пользователя требуется лишь загрузить фотографию и выбрать для нее композицию из списка.
1. Скачайте приложение Wombo из App Store или Google Play.
2. После запуска программы предоставьте ей доступ к фотографиям на вашем устройстве.
3. Выберите готовый снимок из галереи или создайте новую фотографию для обработки.
Лучше всего подойдут селфи-снимки, где человек смотрит прямо в кадр и по возможности видны зубы. Стоит подобрать максимально соответствующую этому критерию фотографию.
4. Треки для исполнения можно выбрать в самом приложении, пусть песенок и немного, но они отлично ложатся на лицо исполнителя.
5. Просто дождитесь окончания обработки фотографии и ее переформатирования в видео.
— Дима Михневич (@nestanda) March 21, 2021
No way our species makes it another 200 years. #Wombo #WomboAI #WomboIfYouBongo pic.twitter.com/GoYhqQhysu
— Socialist Distancer ? (@VideoMilitia) March 10, 2021
The true use of Wombo is posthumously expanding someone’s taste in music. pic.twitter.com/Ur4SlUOV2d
— Sam Moore (@IAMSMOORES) March 11, 2021
This WOMBO AI is crazy lol pic.twitter.com/A7aVT4ISBN
— heyben10 (@HeyBen10_) March 10, 2021
I think I win. :3 #womboAI pic.twitter.com/fvdO60wATv
— Kasai Everquill (MYST1F0X) (@MYST1FOX) March 12, 2021
LMFAOOOOOO #womboai pic.twitter.com/lAjGsyOMsF
— Bebop (@Beb0pu) March 10, 2021
I’m uncomfortable @WOMBO pic.twitter.com/6FERAp2zyB
— (trsh) birschbox (@birschbox) March 11, 2021
Всегда знала, что пчела из соседнего двора сильная женщина #wombo pic.twitter.com/YudhEnPviN
— Zoya Belova (@AliraSirin) March 12, 2021
Wombo is a good app pic.twitter.com/5vMsouLY90
— ?Wings & Strings (@TomColetti) March 11, 2021
Уникальность сервиса Wombo очевидна. Мало просто оживлять фотографию – такие сервисы уже не в новинку. Но в данном случае персонажи анимируются по-разному, в зависимости от выбранной для них песни. И стилистика музыки напрямую влияет на манеру исполнения, в итоге она может значительно разниться.
♥ ПО ТЕМЕ: Color Accent: Как изменять отдельные цвета на фото на черно-белые в iPhone и iPad.
Как работает этот дипфейк?
Говоря о достоинствах Wombo нельзя не упомянуть о ключевой его возможности – поддержке липсинка. То есть происходит не просто анимация фотографии под музыку, но и рот человека открывается четко в такт, словно бы песня действительно исполняется. Достаточно ознакомиться с некоторыми примерами обработки нейросетью даже старинных фотографий, как будет видно различные движения губ и качественное попадание в слова. На некоторых песнях эффект проявляет себя особенно четко.
Пока говорить о качественном результате для всех фотографий и песен сложно – все же это забавный, но эксперимент. Впрочем, подобрав соответствующий снимок, можно добиться и лучшего результата. А представить в виде исполнителя вы можете не только себя или своих знакомых, но и публичные фигуры, политиков, и даже животных, мультперсонажей, скульптуры и другие неодушевленные предметы.
В своем интервью разработчик поведал, что его нейросеть использует созданную заранее хореографию. Команда энтузиастов даже не в студии, а в квартире, сняла базовое видео для каждой песни. После чего на основе этого создалась анимация, накладываемая искусственным интеллектом на выбранный снимок. В приложении пока доступно лишь около 20 песенок. Но как только создатели решат вопросы с авторскими правами, список будет расширен. А вот загрузить и наложить свою песню на фотографию не получится. Это вполне объяснимо алгоритмом работы Wombo.
Уделили разработчики внимание и вопросам безопасности. Пользователей уверяют в том, что загружаемые ими фотографии никуда не передаются и после обработки удаляются. Зато полученным караоке-видео можно поделиться с другими, поможет в этом стандартная функция расшаривания. А самое главное – приложение Wombo абсолютно бесплатное! Зарабатывают его создатели за счет показа рекламных баннеров. И попробовать уникальный дипфейкс-инструмент могут пользователи как iOS, так и Android.
Смотрите также: