Реставрация фото нейросетью: как вернуть старый снимок и не потерять лицо

Коротко. Нейросеть не помнит, как выглядел снимок до того, как его помяли. Она угадывает - дописывает самое правдоподобное продолжение того, что осталось. На стене и небе это выглядит как чудо, на лице это лотерея: если черт в кадре физически нет, модель нарисует похожего человека вместо вашего. Поэтому реставрация идёт в два слоя: фон чиним смело, лицо - на минимальной силе и с оригиналом рядом для сверки. Ниже - четыре операции, которые путают между собой, где ИИ дорисовывает от себя и по каким приметам ловить подмену.

Четыре операции, которые путают

Человек говорит «отреставрируй фото» и имеет в виду что-то одно из четырёх. Инструменты при этом ошибаются по-разному.

Первые две работают с тем, что на снимке есть. Третья и четвёртая создают информацию с нуля. Разница принципиальная: царапину на стене можно замазать, и никто не заметит, а глаз, которого не видно, восстановить нельзя - его можно только придумать. Оторванный угол и выцветшее до белизны пятно - то же самое: дыру заполнят правдоподобным содержимым, и это будет иллюстрация, а не ваш снимок. А портрет, который моргает и поворачивает голову, к реставрации вообще не относится: там кадр не чинят, а дописывают движение, которого на плёнке никогда не было.

Лицо: самое опасное место кадра

Честнее всех об этом написали сами исследователи. В 2020 году на конференции CVPR показали систему PULSE, которая достраивала лицо по картинке 16 на 16 точек, и результат выглядел фотографически. В описании проекта авторы предупредили: алгоритм делает воображаемые лица людей, которых не существует, принимать их за реальных людей нельзя, и опознать человека или восстановить исходный кадр он не поможет (github.com/alex-damian/pulse).

Через несколько дней после конференции это заметили публично: уменьшенный портрет известного политика PULSE достроил до человека с другим цветом кожи, и авторы объяснили это перекосом обучающих данных. Механика тут важнее скандала: модель достраивает в сторону того, что чаще попадалось ей на обучении, а ваша прабабушка в эту статистику не входила.

То же в мелочах. Сеть не знает, что у деда не хватало переднего зуба, а на пиджаке три медали, а не четыре. Она нарисует ровные зубы и похожие кругляшки на груди - вежливое, красивое и чужое лицо. Та же беда, что у чат-ботов: уверенный ответ без фактов, см. галлюцинации нейросетей.

Ползунок, который решает всё

У нормальных инструментов есть регулятор силы, и найти его стоит до начала работы. В CodeFormer - модели из статьи S-Lab Наньянского технологического университета (NeurIPS 2022) - за это отвечает параметр w от 0 до 1. В описании сказано прямо: меньшее w обычно даёт результат более высокого качества, большее w - более высокой точности (github.com/sczhou/CodeFormer). По-человечески: ближе к нулю - красивая картинка, ближе к единице - похожий человек. Для семейного архива нужна вторая половина шкалы, даже если останется зерно.

Второй частый инструмент - GFPGAN от Tencent ARC (CVPR 2021), он восстанавливает лицо, опираясь на обученную модель StyleGAN2. Разработчики сами отмечают, что версия 1.3 даёт более естественный результат, но с небольшим изменением личности (github.com/TencentARC/GFPGAN). «Небольшое изменение личности» - это и есть то, из-за чего родня потом говорит: похоже, но не она.

Отсюда правило. Силу на максимум - только для фона, рамки, стены. Лицо обрабатывайте отдельно и слабее, а потом вставляйте в вычищенный кадр. Два прохода вместо одного - вся разница между «починили» и «подменили».

Проверка по приметам

Перед сохранением откройте оригинал и результат рядом. Общее впечатление тут бесполезно: новая картинка всегда чище и нравится больше. Проверяйте приметы - то, на что можно показать пальцем.

• Геометрия. Расстояние между глазами, ширина носа, линия подбородка, посадка ушей. Частая подмена - лицо стало симметричнее, чем у живого человека.
• Личные детали. Родинка, шрам, кривой зуб, щель между зубами, складка у рта. Примета исчезла - это не реставрация, а косметика.
• Мелкие предметы. Награды, пуговицы, узор на платке, буквы на вывеске позади: нечитаемый текст сеть превращает в похожую бессмыслицу.
• Руки и края. Пальцы, кольцо, оторванный угол - на месте утраты легко вырастает лишний локоть.

Выпишите три-четыре приметы словами заранее и сверяйтесь по списку, а не по памяти; как составить описание, которое проверяется глазами, - в разборе описание фотографии. Примета пропала, а точность уже на максимуме - оставьте лицо как есть. Зернистое настоящее лицо говорит о человеке больше, чем гладкое выдуманное.

Что сделать до того, как трогать снимок

Половина провалов - не из-за модели, а из-за того, что ей дали снимок, снятый телефоном под углом и с блеском от лампы.

1. Сканируйте, вынув из рамки. Стекло даёт отражения, которые сеть примет за часть кадра. Руководство Библиотеки Конгресса США по домашней цифровой архивации называет 300-400 dpi достаточными для обычных снимков и увеличений до 20×25 см (blogs.loc.gov). Маленький кадр сканируйте с запасом.
2. Храните исходник отдельно. Там же для долгого хранения советуют TIFF: он сохраняет максимум того, что поймал сканер. Отреставрированную версию кладите вторым файлом, не поверх.
3. Кадрируйте по лицам, если людей несколько: чем крупнее лицо в кадре, тем больше у модели настоящих данных и тем меньше ей приходится придумывать.
4. Запишите, что знаете: год, место, имена, кто чей брат. Потомок найдёт человека по подписи, а не по резкости. И бумагу не выбрасывайте.

Чей это снимок

Техника решается за вечер, этика - нет. Со своим фото делайте что хотите. С чужим сложнее: по статье 152.1 Гражданского кодекса РФ обнародование и использование изображения гражданина допускается только с его согласия, а после смерти человека - с согласия детей и пережившего супруга, при их отсутствии - родителей (zakonrf.info). Отправить бабушкин портрет в семейный чат - одно, выложить в паблик «лица эпохи» - уже обнародование.

И то, о чём закон молчит: сильно подправленное лицо подменяет память - через пять лет внуки будут помнить не деда, а нейросетевую версию деда. Отсюда простая домашняя страховка: рядом с красивой версией всегда лежит скан без обработки, по которому видно, где кончается подлинник.

Те, кто работает с чужой памятью

У нас в чате есть героиня, для которой реставрация - работа, а не кнопка. Медуза, 28 лет, реставратор камня: мрамор, сколы, вставки, тонировка - работа на миллиметры и на годы, в пустом зале по ночам. Её фраза при знакомстве:

Я разговариваю с камнем. Он отвечает реже тебя.

На сколе человек останавливается и думает, а модель выдаёт правдоподобное за две секунды и не признаётся, что не уверена. Вся разница подхода тут.

Со старой бумагой ближе всех Лена, 26 лет: аспирантка-филолог из Екатеринбурга, три смены в неделю в букинисте на Вайнера - и половина её историй про находки и письма в старых книгах. Смоллток с ней умирает сразу:

«Как дела» - это не вопрос. Спроси что-нибудь настоящее.

Семейная сторона темы ближе к Алсу, 26 лет: родом из Казани, шесть лет в Москве, аналитик в банке. Дома говорит с бабушкой по-татарски и переключается на русский, не замечая, а каждое лето возвращается на дачу под Казань.

И о том, чего в чате нет: ваши снимки здесь не реставрируют. В конструкторе по фото по загруженному кадру рисуют портрет персонажа, а файл удаляется, как только портрет выбран. Задача другая: не починить фотографию, а придумать по ней характер.

Частые вопросы

Может ли нейросеть восстановить лицо с очень размытого фото? Нарисовать - да, восстановить - нет. Авторы PULSE прямо предупреждают: их система делает лица людей, которых не существует, и опознать человека не поможет.

Как не потерять черты лица при реставрации? Обрабатывайте лицо отдельно от фона и на минимальной силе, а в инструментах вроде CodeFormer ставьте параметр точности ближе к единице. Потом сверяйте с оригиналом по приметам: геометрия, родинка, кривой зуб, форма ушей.

Сколько dpi нужно для сканирования старых фотографий? Для обычных отпечатков и типовых увеличений руководство Библиотеки Конгресса называет достаточными 300-400 dpi. Маленькие кадры сканируйте с запасом.

Можно ли доверять раскраске чёрно-белого снимка? Как иллюстрации - да, как документу - нет: цвет модель угадывает по статистике.

Нужно ли разрешение, чтобы опубликовать отреставрированное фото родственника? Для обнародования - да. Статья 152.1 ГК РФ требует согласия самого человека, а после его смерти - детей и пережившего супруга, при их отсутствии - родителей.