Счётчик скачек MONERO
03085
Счётчик скачек MAGNETAR
0962

FaceSwap - нейросеть, меняющая лица в видео. Build 155.

Ответить на тему
 
Автор Сообщение

star21 ®

Пол: Женский

Стаж: 11 лет

Сообщений: 262214

Откуда: Екатеринбург

Создавать темы 11-Фев-2018 04:01

[Цитировать]

FaceSwap - нейросеть, меняющая лица в видео.Год/Дата Выпуска: 2018
Версия: build 155 от 08.02.2018
Разработчик: deepfakes
Сайт разработчика: https://github.com/deepfakes/faceswap
Разрядность: 64bit
Язык интерфейса: Английский
Таблэтка: не требуется
Минимальные системные требования: Windows 7 и выше, GeForce 10 series с 4GB видео памяти, 4Gb ОЗУ, Intel Core процессор, NVidia CUDA 8.0
Рекомендуемые системные требования: Windows 7 и выше, GeForce 10 series с 6GB видео памяти, 4Gb ОЗУ, Intel Core процессор, NVidia CUDA 8.0
Описание:
Программа для изменения лиц в видео с помощью нейросети, работающей на графическом ускорителе GeForce 10 seriesЭто сборка из github репозитория https://github.com/deepfakes/faceswapОтличия от программы FakeApp.org:+ быстрее загружается, т.к. нет каждый раз распаковки в temp
+ лучше выборка лиц, меньше артефактов
+ быстрее тренировка, т.к. жарит GPU на всю катушку, по графикам нагрузки нет прогалов в GPU Usage, температура 78C против 65C на FakeApp.
+ лучше результат наложения
+ есть метод тренировки GAN ( generative-adversarial-network )
+ отсутствие логотипа FakeApp в финальный результат
- обновление preview окна не частое
- кому-то покажется недостатком отсутствие графического интерфейса

Инструкция по работе с программой

! Данная инструкция протестирована на чистых Windows 7 и 10 !Предустановки:Обновляете драйвера на вашу GeForce видеокарту.Распаковываете папку FaceSwap из архива в корень любого диска, например C:\Ставите из архива inst\VC_redist_2015_x86.exe
Ставите из архива inst\VC_redist_2015_x64.exe
Ставите из архива inst\VC_redist_2017_x86.exe
Ставите из архива inst\VC_redist_2017_x64.exeСтавите NVidia CUDA 8.0 без патчей под вашу ОС
В инсталляторе выбираете Custom и только CUDA ветку.
Если инсталлятор NVidia CUDA ругался на возможность работы CUDA на вашей видеокартой, значит вы не сможете использовать данный продукт на вашем компьютере.Далее по порядку:FaceSwap\workspace - наша рабочая папка для хранения модели целиком (видео, фото, файлы самой программы).1) clean workspace.bat - очистит рабочую папку, не трогая data_src(dst).mp4 и result.aviКладёте в папку workspace ваше видео data_src.mp4 формата максимум 1080р - это видео откуда брать лицо. Тестовое 720p видео уже содержится в папке.
Кладёте в папку workspace ваше видео data_dst.mp4 формата максимум 1080р - это видео где заменить лицо. Тестовое 720p видео уже содержится в папке.
Если у вас 4Gb видео памяти, то используйте только 720p видео.Лицо должно быть одно в видео, иначе все лица будут в выборке.
Можете посмотреть какие лица извлеклись в п4.1 и п5.1 ниже.Если нашли посторонние лица или артефакты - можно:
- либо вырезать их в изначальном видео и повторить процесс заново
- либо удалить файлы с артефактами, просматривая их в п4.1 и п5.1, тогда если в конечном видео нечто наложится на артефакты - то можно в видеоредакторе "замазать" их маской оригинального видео2) PNG data_src.bat - конвертирует видео откуда брать лицо в набор PNG в workspace\data_src3) PNG data_dst.bat - конвертирует видео где заменить лицо в набор PNG в workspace\data_dst4) data_src align.bat - производит выборку лиц из набора PNG workspace\data_src для дальнейшей работы
4.1) data_src align view results.bat - просмотр результатов выборки лиц с помощью портативной программы FSViewer. Проскролите всю папку, и если обнаружите артефакты - см выше.5) data_dst align.bat - производит выборку лиц из набора PNG workspace\data_dst для дальнейшей работы
5.1) data_dst align view results.bat - просмотр результатов выборки лиц с помощью портативной программы FSViewer. Проскролите всю папку, и если обнаружите артефакты - см выше.6. Тренировка.Отключаем любые программы, которые могут использовать видео память.6) train Original.bat - тренировка оригинальным методом.
6) train LowMem.bat - тренировка сокращенным методом. <- Если у вас 4Gb видеопамяти, то это ваш метод.
6) train GAN.bat - тренировка методом GAN.В процессе тренировки можно выходить через Enter, нажав его в окне training, и запускать в любое время, модель будет продолжать обсчитываться с той же точки.
Тренируем от 12 часов и больше. Когда результат удовлетворяет - выходим также через Enter, нажав его в окне training.7) Наложение лиц.Запускаем только тот метод, с которым вы тренировали модель.7) merge to dst Original.bat - наложение лиц оригинальным методом в режиме seamless clone.
7) merge to dst LowMem.bat - наложение лиц сокращенным методом в режиме seamless clone.
7) merge to dst GAN.bat - наложение лиц методом GAN.Результат картинок в workspace\data_dst\merged - можно использовать самому в видеоредакторе, либо склеить в видео в п.88) merged dst to avi.bat - склеивает картинки в видео в workspace\result.avi в исходном FPS. Также любые прогалы PNG в наборе merged автоматически заполняются соседними кадрами.Всё. Результат в workspace\result.avi. Если результат не удовлетворил, можно продолжать тренировать с п.6.Подробнее о методах тренировки:Оригинальный метод. Текущий действующий алгоритм, из которого изготовлены большинство видео на ютубе.Сокращенный метод. То же что и Обычный метод, только нейронная сеть сокращена, поэтому используется меньше видео памяти. Подходит для видеокарт с 4GB видеопамяти.Метод GAN. Позволяет улучшить результаты с лицами закрытыми чем-либо. Требует больше времени на изучение.Дополнительная информация:workspace backup.bat - сохранит workspace в backup_workspaceworkspace restore.bat - восстановит workspace из backup_workspaceПочему result.avi, а не mp4 ? Кодек используется всё равно x264, но почему-то mp4 не грузится в фотошопе и в sony vegas.

Распространённые проблемы

Как улучшить качество

Нужно больше ракурсов источника (то чье лицо берем). Желательно искать со схожим освещением.
Можно искать и выкачивать фотографии цели из гугла/инстаграмма. Очень кропотливая работа, но может дать более высокий результат засчёт детализации. Я лично не пробовал.Можно поиграться с настройками в 7) merge to dst Original.bat или 7) merge to dst LowMem.bat:
--seamless - либо есть параметр либо нет, бесшовное наложение, т.е. убирает швы квадрата изображения лица при наложении
--blur-size число от 0 - замазывание по краям
--erosion-kernel-size число от 1 - экспоненциальная маска оперения от краёв (feather) при наложенииДля GAN настроек нет.

Скриншоты

тренировка оригинальным методом:
тренировка методом GAN:

Скриншот папки FaceSwap

[Профиль] [ЛС]
Показать сообщения:    
Ответить на тему

Текущее время: 22-Ноя 22:08

Часовой пояс: UTC + 5



Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы