Google Pixel 2 (XL) стал смартфоном, который создавался с упором на искусственный интеллект. И даже камера Pixel 2 получила выгоду от подобного переосмысления. Например, с помощью ИИ компании удалось создать портретный режим, который способен обрабатывать фотографии программно без использования дополнительной камеры. И Pixel 2 — первый в мире смартфон, который способен делать подобное. Но как это возможно? С коллегами из phonearena мы попытаемся разобраться в данном вопросе.
Так работает портретный режим 12-Мп камеры Pixel 2:
Такой результат удалось получить с помощью трех этапов:
- Маска сегментации
- Карта глубины
HDR+
HDR — высокий динамический диапазон. Режим HDR работает с двумя изображениями, которые имеют различную экспозицию (светлый кадр и темный кадр), комбинируя два кадра в один. Режим HDR+ гораздо сложнее. Он берет не две, а до десяти фотографий, которые сделаны при недостаточной экспозиции, чтобы на выходе при комбинации всех изображений получилась картинка без пересветов. Именно поэтому режим HDR+ работает так долго.
В случае с портретным режимом сделанная фотография первым делом проходит через режим HDR+, а дальше за дело берется ИИ.
Искусственный интеллект
Чтобы выбрать, какая область должна быть в фокусе, а какая нет, смартфон использует искусственный интеллект. Google натренировала нейронную сеть с помощью миллиона фотографий таким образом, чтобы она могла различать людей, животных, цветы и другие подобные объекты, задавая веса каждому нейрону.
Карта глубины
Выделить объект на изображении недостаточно. Нужно знать, как сильно размывать объекты в фоне, ведь одни могут располагаться ближе, другие, наоборот, дальше. То есть нужна карта глубины.
Удалось ее получить с помощью технологии Dual Pixel. Суть технологии заключается в том, что каждый пиксель разделен на два субпикселя, каждый из которых получает информацию под незначительно иным углом. Разница в углах позволяет определить расстояние до объекта. Эту же технологию использует Samsung в S7 и S8, чтобы быстро фокусироваться на объекте. И с технической точки зрения Samsung может реализовать портретный режим в S7 и S8, опираясь на аппаратные особенности камер данных смартфонов.
На выходе получаем такой результат:
Чем область светлее, тем она ближе к объективу камеры, и наоборот
Итоговый результат радует глаз. Но есть один небольшой нюанс. В случае с фронтальной камерой карту глубины получить не удастся, так как она не использует технологию Dual Pixel, поэтому результат будет не таким хорошим, как с основным модулем.
Google можно похвалить за то, что им удалось реализовать подобное без использования второго модуля камеры, а ведь это куда сложнее, нежели попросту внедрить второй модуль.
По материалам phonearena
27.08.2016 5722 Справочная информация 0
недавно представленной зеркальной фотокамере появилась новая функция — Dual Pixel RAW. Давайте попробуем разобраться в том, что на самом деле предлагает использовать компания Canon в своей новинке.
Как уже стало понятно из анонса, никаких принципиальных изменений в пост-обработке не появилось. Новая функция только немного расширяет возможности для редактирования фотографий. Изначально многие сделали вывод, что двойная запись позволит произвольно менять точку фокусировки. Конечно, в действительности, ничего подобного нет. Dual Pixel RAW позволяет делать две манипуляции:
1) микро-подстройку фокуса;
2) сдвиг боке.
Эти слова означают именно то, что кажется. Зону нерезкости действительно можно «сдвинуть» влево и вправо на некоторое расстояние, которое зависит от нескольких факторов, например от расстояния до фона. Конечно, в связи с некоторым изменением ракурса, можно даже сказать, что меняется рисунок боке. Но это не совсем так. Объектив дает определенную картину, которую нельзя изменить.
Микро-подстройка фокуса работает примерно так же: появляется возможность выбрать чуть другую «точку съемки», которая позволит изменить резкость в определенных зонах изображения.
Вместе с данными изображения записывается информация о работе привода фокусировки. Такая информация дает возможность определять точку фокусировки проще. Не совсем понятно: насколько много такой дополнительной информации сохраняется, ведь и в предыдущих моделях, в том числе и в компактах, можно было посмотреть, по какой точке сфокусировалась камера.
В общем и целом все это приводит к тому, что для качественного использования Dual Pixel RAW нужно выполнять ряд условий:
1) объектив с фокусным расстоянием более 50 мм;
2) значение диафрагме от f/5.6 и больше (меньше значение f/...);
3) чувствительность ниже ISO 1600.
Для объектива с ФР 50 мм — дистанция 1...10 метров
Для объектива 100 мм — дистанция 2...20 метров
Для объектива 200 мм — дистанция 4...40 метров
Каждая двойная точка в Dual Pixel RAW формируется из двух разных фотоприемников (пикселов), которые расположены на матрице. Изначально технология использовалась для ускорения работы автофокуса. В данный момент камера 5D Mark IV позволяет записывать отдельные данные для получения фактически двух изображений для одного снимка. Со временем это может развиться, и появятся интересные алгоритмы обработки, которые анализируя зону резкости позволят менять силу применения эффекта в зависимости от "расстояния" до объекта, которое косвенно можно получить из двух разных кадров, снятых как бы с немного разных ракурсов. В теории это позволит очень легко определять зону размытия и размыть ее еще больше. Хотя производители портретных объективов с большой диафрагмой вряд ли будут прилагать усилия к развитию этой технологии.
К сожалению, за новые дополнительные возможности приходится расплачиваться огромным объемом данных. При использовании Dual Pixel RAW фотоаппарат записывает два файла для одного снимка, поэтому место на карте памяти расходуется в два раза быстрее.
В видеоролике ниже показана работа программы микро-коррекции фокуса. Отчетливо видно, что есть два положения фокуса — по количеству кадров.
Технология Dual Pixel CMOS AF используется в камерах Canon не первый год. Напомню, что в произведённых по данной технологии сенсорах изображения светочувствительные элементы имеют пару фотодиодов. Первоначально технология была призвана ускорить автофокусировку по матрице, используя фазовый принцип наведения на резкость. Об этом мы ещё поговорим в нашем обзоре.
Однако Canon EOS 5D Mark IV стал первой камерой в мире, которая способна записывать Dual Pixel RAW. В этом сыром формате сохраняется информация от отдельных фотодиодов каждого пикселя. Поэтому в RAW содержится некоторая информация о параллаксе: левый и правый фотодиоды «видят» мир по-разному. Конечно же, подобные файлы «весят» больше обычного — порядка 66 МБ, так как вмещают в себя два изображения. Скорость работы камеры с Dual Pixel RAW снижается.
Поэтому вторым пунктом в меню Canon EOS 5D Mark IV стоит именно включение/выключение этого формата записи. Так какие же преимущества даёт Dual Pixel RAW?
В Dual Pixel RAW записывается информация от левого и правого фотодиода каждого пикселя отдельно
Скажем сразу, что на момент написания обзора работать с Dual Pixel RAW можно было только в оригинальной программе Canon Digital Photo Professional 4. Однако возможности, которые открывают перед фотографом подобные RAW-файлы, как минимум удивляют.
Микрорегулировка изображения
Принцип работы этой функции мы так и не смогли выведать ни у представителей Canon, ни в интернете. То, что происходит в процессе «оптимизации Dual Pixel RAW» (именно так называется соответствующий пункт меню), скорее похоже на маленькое чудо. Уже после съёмки у фотографа появляется возможность подвинуть глубину резкости в кадре вперёд или назад.
Величина коррекции оказывается совсем небольшой. При съёмке со 100-мм объективом с дистанции около метра подвинуть ГРИП удалось лишь на 1,5-2 мм в одну и в другую сторону. Это немного, но такой регулировки может оказаться достаточно для микроподстройки при минимальных промахах в автофокусировке, которые в реальной съёмочной практике не редкость.
Оригиналы кадров:
Для эффективного применения функции «оптимизации Dual Pixel RAW» есть конкретные рекомендации, которые нам удалось запросить в Canon. Вот они:
- Съёмка должна производиться с фокусным расстоянием не менее 50 мм и диафрагменным числом не более f/5,6.
- ISO при этом не должно превышать 1600.
- Полученный эффект может различаться в зависимости от ориентации кадра (горизонтальная/вертикальная).
- Для максимальной эффективности необходимо придерживаться следующих параметров («Фокусное расстояние»: «Расстояние до объекта»):
o 50 мм: 1-10 м
o 100 мм: 2-20 м
o 200 мм: 4-40 м
Соблюдая эти правила, можно немного подкорректировать промах в фокусировке, например, при портретной съемке. На кадрах ниже я смог сделать резче ближний глаз модели уже после съемки.
Сдвиг резкости назад
Сдвиг резкости вперед
Сдвиг эффекта боке
Ещё более сюрреалистичной выглядит функция «сдвиг эффекта боке». Двигая ползунок в фоторедакторе, можно сдвигать фон относительно находящегося в фокусе объекта съёмки. Ощущение, что фотоаппарат «заглядывает за угол», за границу кадра. Безусловно, величина коррекции получается не слишком большой, однако она заметна на снимках.
Скриншоты в процессе обработки:
Как применять эту функцию на практике — решать вам. У нас же есть лишь одно предположение. Сдвиг боке может пригодиться, когда при съёмке в кадре случайно оказался мешающий объект, который частично закрыл собой основной объект съёмки. В редакторе можно получить эффект сдвига точки съёмки. Таким образом мешающий объект может быть передвинут.
Скриншоты в процессе обработки:
Важно отметить, что эффективность инструмента не стоит переоценивать. Сильные пересветы он не убирает. Однако яркость одиночных бликов, а также засветки у ярких объектов можно заметно снизить.
Оригиналы кадров:
Предварительные выводы о Dual Pixel RAW
На данный момент возможность работать с Dual Pixel RAW является скорее технологическим прорывом, нежели широко применимой на практике функцией. В процессе настройки вы можете выбрать лишь одну регулировку из трех. Нельзя одновременно сдвинуть боке и подстроить фокусировку для одного кадра. Сами границы коррекции сравнительно малы. На наш взгляд потенциал есть у микроподстройки фокуса. Эта функция может пригодиться портретным фотографам для идеального попадания в резкость при фокусировке на глазах модели. Также мы обращаем внимание читателей, что Dual Pixel RAW никак не влияет на разрешение снимка. Удвоения разрешения от применения двух раздельных фотодиодов не происходит.
Привет, Гиктаймс! При съемке на смартфон (да и не только) очень важно, чтобы фотографии получались четкими и ясными. Для этого объект снимка должен быть в фокусе до того, как вы нажмете на кнопку «Сделать фото». В последнее время многие производители смартфонов работают над улучшением технологий автоматической фокусировки, и сегодня мы рассмотрим плюсы и минусы каждой, и чем они отличаются. Как обычно все подробности под катом.
Лазерный автофокус: самый активный
Как и фазовый, лазерный автофокус относится к активному типу автофокуса. Этим направлением долгое время занималась компания LG, которая сперва реализовала лазерный автофокус в своем смартфоне G3. В основе работы технологии лежит принцип лазерного дальномера: лазерный излучатель освещает объект, а сенсор замеряет расстояние до него и время поступления отраженного лазерного луча.Одно из главных преимуществ данного автофокуса - время. Как говорят в LG, весь процесс автофокусировки при помощи лазера занимает 0,276 секунды. Значительно быстрее контрастного автофокуса и немного пошустрее, чем фазовый.
Очевидный плюс лазерного автофокуса - он невероятно быстрый и хорошо отрабатывает в условиях недостаточного освещения. Но работает он только на определенной дистанции - самый лучший эффект достигается, если расстояние от смартфона до объекта составляет менее 0,6 метра. А после пяти метров - привет, контрастный автофокус.
Лазерным автофокусом оснащены преимущественно смартфоны LG - к примеру, LG G4 . Но есть и исключения: тот же One Plus 2 или Asus Zenfone 2 Laser . Впрочем, у последнего все ясно из названия, да и цена привлекательная для такого набора возможностей.
Двойная камера: смело, но не всем понятно
В какой-то момент производители поняли, что надо бы сделать что-нибудь диковинное, за пределами фазового или лазерного автофокуса. Так на свет появились двойные камеры: для получения четких снимков используется не один, а сразу два объектива. В то время, как одна камера с фиксированным фокусом получает снимок удаленных предметов, другая фокусируется на объектах, которые расположены рядом.Важное преимущество двойной камеры - возможность быстро сделать снимок, а фокус сделать потом, прямо как в камере Lytro. Но если говорить о более аккуратном фокусе, здесь двойная камера явно проигрывает фазовому фокусу.
Пока что не очень много смартфонов на рынке доступны с двойной камерой - это устройства от HTC (например, One M9+), Honor 6 Plus и другие. Ходят слухи, что и Apple в своем новом iPhone решится на использование двойной камеры.
Технология инфракрасного автофокуса, которую компания Lenovo показала на MWC в прошлом году, работает по сути как лазерный автофокус, но по скорости он примерно в два раза быстрее контрастного. Протестировать её можно на примере Lenovo Vibe Shot .
Что же выбрать?
Поскольку смартфон каждый выбирает под свои нужды, сложно посоветовать что-то такое, что подойдет сразу всем. Кто-то в восторге от настраиваемого после съемки автофокуса у Huawei, другие считают оптимальным Dual Pixel. Если брать в целом, на данный момент фазовый автофокус является верным решением для большинства флагманов, и производители нам с вами постоянно это доказывают.Теги: Добавить метки
