Раньше люди делали фотографии, а затем обрабатывали их в редакторе на компьютере. Теперь, если снимать на камеру смартфона, снимок обрабатывается автоматически, параллельно со съёмкой. А результат порой не отличается от снимка на обычную камеру. Как это происходит? Сегодня говорим о вычислительной фотографии.
Что такое вычислительная фотография
Вычислительная, или компьютерная, фотография — это методы создания или улучшения цифровых фотографий с помощью вычислительных методов, таких как алгоритмы, нейросети и машинное обучение. Технологии вычислительной фотографии не новы, многие из них давно применяются в цифровых фотоаппаратах. Но большинство людей использует эти технологии в современных смартфонах.
С помощью вычислительной фотографии смартфоны удаляют шум на изображениях, исправляют искажения, автоматически фокусируются на нужных объектах, улучшают цвета и контрастность и так далее. Благодаря технологиям вычислительной фотографии смартфоны остаются относительно небольшими устройствами, в отличие от громоздких зеркальных или беззеркальных камер. А по мере того как технологии развиваются, мы получаем ещё более крутые возможности для фотографирования на смартфон без увеличения его размера.
Как работает вычислительная фотография
Фотоаппарат делает снимок, захватывая свет, который проходит через объектив, и преобразуя его в изображение на светочувствительной матрице или плёнке. Количество этого света называется экспозицией. Камера смартфона снимает похожим образом, но её датчики намного меньше, чем у фотоаппарата. За несколько секунд открытия затвора они могут собрать ограниченное количество света. А если держать затвор открытым дольше, фотография получится размытой, потому что скажется шевеление руками.
Для решения этой проблемы смартфоны делают серию фотографий с различными уровнями экспозиции и объединяют их в изображение с высоким динамическим диапазоном (High Dynamic Range, HDR). В результате получается финальная фотография, которая сохраняет детализацию без размытости как в тенях, так и в светлых участках.
Когда вы только запускаете приложение камеры, смартфон уже совершает несколько действий, например оценивает освещённость сцены, анализирует цвета, обнаруживает объекты и так далее. Многие смартфоны и вовсе сразу начинают снимать фотографии в фоновом режиме, а после спуска затвора извлекают изображения из буфера памяти и объединяют их с последними кадрами, чтобы создать снимок с равномерной экспозицией и минимальным шумом.
Разные производители называют это по-разному: HDR, HDRI, HDR+, AI-камера и так далее. При этом смартфоны разных производителей могут применять разные подходы к одной и той же сцене — и в результате не получится двух одинаковых изображений.
По сути, все виды применения вычислительной фотографии основаны на склейке множества кадров, но финальное изображение будет обрабатываться по-разному.
Наложение фокуса — метод, при котором несколько фотографий делаются с разным фокусным расстоянием, то есть степенью приближенности или удалённости объекта в кадре. Затем фотографии объединяются и на финальном изображении выбирается точка фокусировки. Этот приём часто используют для макросъёмки.
При наложении с шумоподавлением кадры склеиваются и выравниваются, а затем ПО уменьшает шум. Это намного дешевле, чем высококачественные датчики, которые могут проделать ту же работу.
При управлении глубиной резкости объект или фон на финальном изображении могут быть размыты.
Для сверхвысокого разрешения кадры объединяются таким образом, что разрешение значительно увеличивается. Это тоже намного дешевле, чем улучшать датчик.
При уменьшении или увеличении размытия в движении кадры смешиваются таким образом, чтобы размытие было устранено или, наоборот, усилено.
Панорамы создаются путём сшивания снимков, снятых при перемещении камеры по прямой линии. Финальное изображение может охватывать гораздо более широкое поле зрения, чем один кадр.
Коррекция и улучшение цвета происходят так: камера собирает информацию о температуре цвета в кадре и определяет, какого освещения достаточно, например при свете заката или офисной лампы. По собранным данным вычислительная фотография регулирует цвета на финальном изображении.
При визуализации светового поля одна сцена снимается с разных точек, а затем из полученных изображений создаётся 3D-модель.
Мы расскажем подробнее о самых интересных способах использования вычислительной фотографии.
Портретный режим
В фотоаппаратах портретное размытие фона создаётся при помощи объектива с широкой диафрагмой — регулируемого механизма, который контролирует экспозицию. Это создаёт малую глубину резкости, то есть расстояния между ближайшим и удалённым объектом съёмки, которые находятся в фокусе.
В большинстве смартфонов камеры имеют фиксированную диафрагму. Она не открывается достаточно широко, чтобы создать портретное размытие. Портретный режим распознаёт объект в кадре — обычно лицо, а на фон накладывает размытый фильтр. При этом в реальном времени используются вычислительные процессы для распознавания, изоляции объекта и фокусировки на нём.
Зум со сверхвысоким разрешением
Раньше смартфоны не столько увеличивали зум, сколько вырезали из кадра нужный фрагмент с потерями качества изображения. Теперь зум со сверхвысоким разрешением работает по-другому, начиная с момента, когда вы приближаете объект в кадре, чтобы собрать как можно больше деталей.
При этом, даже если держать смартфон неподвижно, приложение камеры будет незаметно управлять системой оптической стабилизации, вызывая небольшое дрожание изображения. Так делается для того, чтобы смоделировать несколько снимков с разных позиций и объединить их в одно большое составное изображение с более высоким разрешением.
Ночной режим
Ночью света недостаточно, чтобы сделать хорошо освещённое изображение с хорошим контрастом. В фотоаппаратах для этого используются длинные выдержки, широкая диафрагма и высокие значения светочувствительности, при этом желательно снимать на камеру на штативе, чтобы не создавать на снимке лишний шум.
В смартфонах более яркие и тёмные изображения объединяются в одно по тому же принципу, что при зуме со сверхвысоким разрешением. Если во время серийной съёмки какой-то объект движется, то для этого кадра уменьшается время экспозиции, чтобы избежать размытия.
Панорамирование и длительная выдержка
Панорамирование — это способ съёмки, который создаёт ощущение отслеживания движения. Чтобы сделать такое изображение, смартфон фиксирует движущийся объект на неподвижном фоне, затем отделяет объект от фона и добавляет убедительное размытие.
Длительная выдержка создаёт эффект, противоположный панорамированию: добавляет движение объекту на неподвижном фоне. Для этого смартфон увеличивает время экспозиции для захвата световых следов от движущихся объектов, например транспорта.
