Как создать фейковые видео при помощи нейронной сети
Процесс замены лиц на видео при помощи GAN-нейросетей, именуемый пользователями DeepFake, становится все более популярным в Сети, а его инструменты все более доступными. При этом поддельные ролики уже давно перестали быть простым развлечением и вызвали реакцию со стороны правительств западных стран.
Сама процедура создания видеофейков высокого уровня реалистичности «DeepFake» базируется на работе алгоритмов машинного обучения типа GAN. Не углубляясь в сложные технические подробности, данный тип алгоритмов можно описать как состязание между двумя нейросетями, одна из которых создает подделку, а другая пытается отличить её от оригинала. Собственно, GAN расшифровывается как «generative adversarial network» или генеративно-состязательные сети, если по-русски.
То есть, реалистичность моделирования достигается следующим образом: на основе исходных данных (в случае с видеоподделками берутся фотографии человека) одна нейросеть начинает генерировать искусственные модели, а вторая — определять и отбраковывать неудачные результаты. Процесс повторяется многократно, при этом первая нейросеть перманентно повышает качество фейка. На видео ниже представлен DeepFake, результат работы GAN-алгоритма, заменившего лица популярных американских телеведущих Джимми Феллона и Джона Оливера.
Для синтеза дипфейка мы будем использовать популярную библиотеку DeepFaceLab. Важно понимать, что на качество результата влияет множество свойств исходных файлов (разрешение и длительность видеофайлов, разнообразность мимики персонажей, освещение и т. д.).
Reface: Замена лиц для ПК Скриншоты
Проверить совместимые приложения для ПК или альтернативы
| заявка | Скачать | Рейтинг | Разработчик |
|---|---|---|---|
 reface |
Получить приложение или альтернативы | 4.93151/5 67851 рецензия |
Или следуйте инструкциям ниже для использования на ПК
Выберите версию для ПК:
Если вы хотите установить и использовать Reface: Замена лиц на вашем ПК или Mac, вам нужно будет загрузить и установить эмулятор Desktop App для своего компьютера. Мы усердно работали, чтобы помочь вам понять, как использовать app для вашего компьютера в 4 простых шагах ниже:
Шаг 1: Загрузите эмулятор Android для ПК и Mac
Хорошо. Прежде всего. Если вы хотите использовать приложение на своем компьютере, сначала посетите магазин Mac или Windows AppStore и найдите либо приложение Bluestacks, либо Приложение Nox . Большинство учебных пособий в Интернете рекомендуют приложение Bluestacks, и у меня может возникнуть соблазн рекомендовать его, потому что вы с большей вероятностью сможете легко найти решения в Интернете, если у вас возникнут проблемы с использованием приложения Bluestacks на вашем компьютере. Вы можете загрузить программное обеспечение Bluestacks Pc или Mac here .
Шаг 2: установите эмулятор на ПК или Mac
Теперь, когда вы загрузили эмулятор по вашему выбору, перейдите в папку «Загрузка» на вашем компьютере, чтобы найти приложение эмулятора или Bluestacks.
Как только вы его нашли, щелкните его, чтобы установить приложение или exe на компьютер или компьютер Mac.
Теперь нажмите «Далее», чтобы принять лицензионное соглашение.
Чтобы правильно установить приложение, следуйте инструкциям на экране.
Если вы правильно это сделаете, приложение Emulator будет успешно установлено.
Шаг 3: Reface: Замена лиц для ПК — Windows 7/8 / 10/ 11
Теперь откройте приложение Emulator, которое вы установили, и найдите его панель поиска. Найдя его, введите Reface: Замена лиц в строке поиска и нажмите «Поиск». Нажмите на Reface: Замена лицзначок приложения. Окно Reface: Замена лиц в Play Маркете или магазине приложений, и он отобразит Store в вашем приложении эмулятора. Теперь нажмите кнопку «Установить» и, например, на устройстве iPhone или Android, ваше приложение начнет загрузку. Теперь мы все закончили.
Вы увидите значок под названием «Все приложения».
Нажмите на нее, и она перенесет вас на страницу, содержащую все установленные вами приложения.
Вы должны увидеть . Нажмите на нее и начните использовать приложение.
Шаг 4: Reface: Замена лиц для Mac OS
Привет. Пользователь Mac!
Шаги по использованию Reface: Замена лиц для Mac точно такие же, как для ОС Windows выше. Все, что вам нужно сделать, это установить Nox Application Emulator или Bluestack на вашем Macintosh. Вы можете получить Это здесь .
Получить совместимый APK для ПК
| Скачать | Разработчик | Рейтинг | Score | Текущая версия | Совместимость |
|---|---|---|---|---|---|
| Проверить APK → | NEOCORTEXT, INC. | 67851 | 4.93151 | 1.8.2 | 12+ |
Reface: Замена лиц На iTunes
| Скачать | Разработчик | Рейтинг | Score | Текущая версия | Взрослый рейтинг |
|---|---|---|---|---|---|
| Бесплатно На iTunes | NEOCORTEXT, INC. | 67851 | 4.93151 | 1.8.2 | 12+ |
Condtional Autoencoder
Схема представлена на рисунке ниже. Больше информации можно найти здесь .
Conditional VAE architecture
Идея данного подхода в следующем: на вход энкодера подается изображение и вектор атрибутов. На вход декодера поступает вектор размерности latent_dim являющейся выходом энкодера и вектор атрибутов. Атрибутом может быть любой признак характеризующий изображение, например наличие/отсутствие улыбки(и других эмоций), повернута голова вправо или влево, внешность человека и т.п. Т.к. вектор атрибутов поступает в декодер напрямую, энкодеру нет смысла извлекать из входного изображения эту информацию. Т.е. например, если в atrributes vectors задать внешность человека, то энкодер будет кодировать только свойства изображения не связанные с внешностью, такие как поворот и наклон головы, эмоции, освещение и т.п. И если к выходу энкодера добавить atrributes vectors другого человека, декодер восстановит картинку, где поворот головы и эмоции будут соответствовать исходному изображению, а внешность будет от другого человека. В данной схеме не требуется обучать отдельный декодер для каждого нового человека, которого мы хотим генерировать, т.к. замена внешности реализуется изменением atrributes vectors подаваемого в декодер. Примеры восстановленных изображений с помощью данного подхода можно увидеть на рисунке ниже.
Autoencoder reconstruction
Изображения разбиты по парам, слева — восстановленные автоэнкодером, справа — оригинальные. Хорошо виден недостаток присущий автоэнкодерам — «замыленность», недостаточная резкость восстановленных изображений. Можно попробовать доработать восстановленные изображения, повысить резкость и т.п. но существует подход изначально лишенный этих недостатков.
Немного о технологии
В основе Deepfakes лежит сложный искусственный интеллект, который генерирует изображения или звуки, создавая совершенно новые случайные образы. И чаще всего программа заменяет лицо человека чьим-то подобным.
Чтобы создать приложение, разработчики используют модели глубокого репрезентативного обучения, основанные на искусственных нейронных сетях.
На обычном компьютере создать качественный deepfake скорее всего не получится. Однако существуют приложения, позволяющие каждому попробовать данную технологию на себе и немного поиграть с различными изображениями.
Похожие приложения
Интересных приложений, подходящих для редактирования фото и видео очень много. Не так много тех, в которых можно получить интересный результат. Но мы их нашли специально для вас:
- ToonApp – это невероятный фоторедактор от компании Lyrebird Studios. Иногда кажется, что в нем можно перевоплотиться в кого угодно. Если быть точнее, то вы сможете стать мультяшным персонажем буквально за пару секунд. Присутствует огромное число стилей высокого качества.
- Perfect Me – это неплохое развлекательное приложение от компании ryzenrise. Благодаря нему можно будет оставаться идеальным в любой ситуации. Если на фото макияж вышел менее ярким или вы вовсе не успели накраситься, то просто добавьте профессиональный макияж. Также легко меняйте свою фигуру, если все же не успели скинь желаемое число килограмм к лету. – это отличный видеоредактор от компании Gomin Mobile: QR Code & Video Show Video Maker. Тут вы сможете создавать настоящие шоу из собственных фотографий. При этом можно будет добавлять многочисленные эффекты и даже наложить музыку. Вы точно будете наслаждаться результатом.
Каким должно быть фото лица для реалистичной вставки
Чтобы ваше лицо смотрелось более реалистично в кадре, соблюдайте такие правила:
- Выбирайте фото с открытым лицом – его не должны закрывать волосы и какие-либо предметы (например, очки).
- Смотрите прямо в объектив камеры, когда фотографируетесь. Не поворачивайте голову в сторону, не наклоняйте лицо.
- Позаботьтесь о хорошем освещении. Делайте снимок при дневном свете: на улице или возле окна. Как вариант можно включить лампу дневного освещения и направить ее на лицо.
- Размер лица должен быть пропорционален габаритам тела на видео, чтобы голова не смотрелась слишком большой или слишком маленькой по сравнению с туловищем.
6 лучших Deepfake приложений и инструментов в 2021 году
Различные методы манипулирования изображениями были введены в 19 веке и позднее применялись к кинофильмам. Эти методы быстро улучшились с цифровым видео.
В начале 1990-х годов исследователи из академических институтов разработали технологию Deepfake, которая впоследствии была доработана разработчиками в онлайн-сообществах. В последнее время подделки Deepfake привлекают большое внимание за их использование в финансовых махинациях, розыгрышах и фальшивых новостях.
Это заставило правительство и промышленность выявлять и ограничивать их незаконное использование. Тем не менее технология имеет большой потенциал, если ее правильно использовать.
Что такое технология Deepfake?
Deepfakes относятся к манипулируемому визуальному контенту, генерируемому сложным искусственным интеллектом, который дает сфабрикованные изображения и звуки, которые кажутся реальными. В большинстве случаев, человек в существующем видео или изображении заменяется на чье-то подобие.
Deepfakes создаются с использованием моделей глубокого обучения — подкласса методов машинного обучения, основанных на искусственных нейронных сетях с репрезентативным обучением. Он включает в себя обучение генеративных архитектур нейронных сетей, таких как генеративные состязательные сети или автоэнкодеры.
Хотя трудно создать хороший deepfake на обычном компьютере, есть много инструментов, доступных в интернете, чтобы помочь людям сделать достойные deepfakes. Технология все еще находится в зачаточном состоянии, поэтому не ожидайте идеального результата.
Мы тщательно собрали несколько хороших deepfake приложений и инструментов, которые не требуют высокого класса рабочего стола с мощными графическими картами (за исключением одного или двух). Вы можете использовать их как в исследовательских целях, так и просто для развлечения, но не нарушайте чью-либо частную жизнь.
6. Doublicat
Платформа: Android / iOS
Цена: Бесплатно
Doublicat позволяет вам сделать селфи и поместить свое лицо на мем или GIF в своей библиотеке. Это займет около 5 секунд, чтобы ваше лицо было наложено на лицо Брэда Питта, Леонардо Ди Каприо или Тейлора Свифта.
Вы будете удивлены, увидев, насколько хорошо ваше наложенное лицо принимает те же выражения, что и оригинал. Вы можете переслать результаты своей семье и друзьям или опубликовать их в Instagram.
Вывод будет довольно странным, если будет много движений лица, но в целом это интересный эксперимент. По словам разработчиков приложения, само изображение удаляется с серверов сразу после его обработки. Однако при этом сохраняется представление черт лица.
5. FaceApp
Платформа: Android / iOS
Цена: Бесплатно
FaceApp разработан российской компанией Wireless Lab. Он использует нейронные сети для генерации высокореалистичных преобразований лиц на фотографиях.
Приложение может преобразить ваше лицо, чтобы заставить его улыбаться, выглядеть старше, выглядеть моложе или просто смены пола, а также многих других захватывающих преобразований. Татуировки, виньетки, размытие объектива и наложение фона также являются частью FaceApp.
В 2018 году приложение привлекло много внимания со стороны трансгендерных и ЛГБТ-сообществ из-за его реалистичных преобразований гендерных изменений. Он также столкнулся с критикой как в социальных сетях, так и в прессе за конфиденциальность пользовательских данных.
4. Deepfakes web β
Платформа: Сайт
Цена: $2 в час
С помощью этого инструмента вы можете создавать deepfake видео в интернете. Однако кривая обучения здесь немного больше, чем то, что вы найдете в других приложениях.
Вам нужно зарегистрироваться и загрузить свои видео. Все остальное происходит в облаке, где используются мощные графические процессоры. На изучение видео/изображений и смену лиц уходит почти 4 часа. Вы также можете использовать обученную модель, чтобы менять лица, что занимает около 30 минут.
Качество выходного видео зависит от значений «потерь»: чем ниже значения потерь (при обучении из загруженных видео), тем выше качество. И, конечно, только вы можете получить доступ к своим видео и учебным данным.
3. DeepFaceLab
Платформа: Windows
Цена: Бесплатный
DeepFaceLab является ведущим программным обеспечением для создания подделок. Она использует новые нейронные сети для замены лиц в видео. Она размещена на GitHub и породила бесчисленное множество видео в интернете.
По словам его разработчиков, более 95% глубоких подделок видео создаются с помощью DeepFaceLab. Его используют несколько популярных каналов YouTube, таких, как Ctrl Shift Face, iFake и Shamook.
DeepFaceLab прекрасно работает, но для его использования необходимы технические знания. Как только вы загрузите и разархивируете инструмент, вы увидите множество папок и ряд командных файлов. Существует папка с именем «workspace», которая содержит все обучающие модели, исходные видео и выходные данные. Инструмент работает с определенными именами и местоположениями файлов, чтобы пакетный файл мог функционировать.
2. FaceSwap
Платформа: Windows | MacOS | Linux
Цена: бесплатно
FaceSwap похож на DeepFaceLab, но предоставляет больше возможностей, лучшую документацию и лучшую онлайн-поддержку. И да, он также доступен на Mac и Linux.
Это инструмент с открытым исходным кодом, наполненный функциональностью для выполнения каждого шага процесса Deepfake, от импорта первоначального видео до создания финального видео Deepfake. Чтобы запустить этот инструмент, вам нужна мощная видеокарта, так как замена лица происходит невероятно медленно.
Работая на Python, Keras и Tensorflow, Faceswap имеет активное сообщество, поддерживающее и разрабатывающее программное обеспечение. Есть много учебников, которые помогут вам начать работу.
1. Zao
Платформа: Android | iOS
Цена: бесплатно
Технология глубокой подделки Zao позволяет вам модулировать голоса знаменитостей и накладывать свое лицо на тело актера в сцене.
Просто нажмите на одну фотографию и попробуйте тысячи модных причесок, одежды и макияжа. Приложение предоставляет вам множество видеоклипов, нарядов и буквально неограниченные возможности для изучения.
В 2019 году Zao за короткое время приобрел значительную популярность, позволив пользователям обмениваться лицами с любимыми актерами в коротких клипах из телепередач и фильмов. За месяц он стал самым загружаемым бесплатным приложением в Китае. С ростом популярности, его разработчики также столкнулись с критикой политики конфиденциальности приложения.
Это займет всего несколько секунд, чтобы поменять ваше лицо, но так как алгоритм в основном обучен на китайских лицах, это может выглядеть не так естественно, как вы ожидаете.
Тем не менее все эти инструменты демонстрируют, как быстро развивался базовый ИИ: то, что раньше требовало тысячи картинок, чтобы сделать достаточно убедительное глубокое поддельное видео, теперь требует только одного изображения и дает лучшие результаты.
Как они работают?
В основе работы дипфейк-алгоритмов лежит нейросеть-автокодировщик. Позднее эту нейросеть улучшили генеративно-состязательной сетью.
Если рассматривать принцип создания дипфейков в общих чертах, то основные этапы в создании дипфейков следующие:
- Нейросети даётся большой массив данных;
- Она обрабатывает массив и изучает особенности лица и мимики;
- Как итог нейросеть учится воспроизводить лицо человека и её можно использовать для синтеза контента.
Подведем итог
Программа Face Swap для компьютера позволяет вам работать с фотографиями, сделанными через web-камеру или хранящиеся в памяти ПК. Но, вы всегда можете подключить к компьютеру свой смартфон и отредактировать фотографии из его памяти. Также, для синхронизации устройств воспользоваться облачными сервисами.
В любом случае, редактировать фото на домашнем ПК удобней, чем пользоваться для этого небольшим смартфоном. Скачать Face Swap для компьютера можно по ссылке ниже.
