Что такое rolling shutter

Global shutter vs Rolling shutter: подробный разбор

Rolling shutter (Скользящий затвор) и Global shutter (Глобальный затвор) описывают две различные последовательности, с помощью которых изображение может считываться с датчика CMOS. В режиме скользящего затвора различные линии массива экспонируются в разное время, когда считываемая «волна» проходит через датчик, тогда как в режиме глобального затвора каждый пиксель в датчике начинает и заканчивает экспозицию одновременно (схематично, это можно увидеть на рисунке 1).

Рисунок 1.Принцип действия.

Режим скользящего затвора (Rolling Shutter)

Режим скользящего затвора, по сути, означает, что смежные ряды массива экспонируются в несколько разное время, когда считываемые «волны» проходят через каждую половину датчика. То есть каждая строка будет начинать и заканчивать свою экспозицию, слегка смещенную по времени от соседней строки. При максимальной скорости считывания 560 МГц это смещение между выдержками в соседних рядах составляет 10 мкс. Механизм считывания показан на рисунке 1. С точки зрения показаний датчик разделен пополам по горизонтали, и каждый столбец считывается параллельно, строка за строкой. При съемке серии изображений с помощью Rolling Shutter можно работать в режиме непрерывного «перекрытия», в результате чего, после считывания каждой строки он сразу входит в следующую экспозицию. Это обеспечивает рабочий цикл на 100%, что означает, что между экспозициями не теряется время и, что еще важнее, не теряются фотоны. При максимальной частоте кадров для данной скорости считывания (например, 100 кадров в секунду при 560 МГц) датчик непрерывно считывает данные в режиме перекрытия, т. е. как только полоса считывания достигает верха и низа сенсора, он немедленно возвращается в центр чтобы прочитать следующую экспозицию.

Потенциальным недостатком режима скользящего затвора являются искажения и артефакты на изображении. Артефакты появляются в сценах с быстрыми объектами, или при быстром панорамировании. Очень заметен эффект при съемки транспортных средств типа автобусов или поездов, когда они проезжают мимо камеры наблюдения. В целом, чем быстрее движение в кадре, тем более заметен эффект.

Еще одним недостатком является то, что различные области экспонированного изображения не будут точно соотнесены во времени с другими областями, что может быть важно для некоторых видов использования. Последний и очень важный фактор заключается в том, что синхронизация (например, активация источника света или движение периферийного устройства) с показаниями затвора может быть затруднительной, а также может привести к более медленным циклам и частоте кадров по сравнению с достижимыми в глобальном затворе.

Режим глобального затвора (Global Shutter)

В режиме глобального затвора все пиксели массива экспонируются одновременно, что позволяет захватывать «стоп-кадр» быстро движущихся или быстро меняющихся событий. Глобальный затвор может быть сконфигурирован для работы в режиме непрерывного «перекрытия», при котором экспозиция может продолжаться, пока предыдущая экспозиция считывается из узлов считывания каждого пикселя. В этом режиме датчик имеет полный рабочий цикл 100%, что снова приводит к оптимальному временному разрешению и эффективности сбора фотонов. В течение всего этого цикла не существует периода «кратковременного» считывания, как в скользящем затворе. Важно отметить, что режим Global Shutter очень прост в синхронизации и часто дает более высокую частоту кадров, чем попытки синхронизации с Rolling Shutter с тем же временем экспозиции.

Сравнительная таблица плюсов и минусов

Рисунок 2.Съемка движущихся и вращающихся предметов (Global Shutter слева,Rolling Shutter справа).

В данный момент, подавляющее большинство камер используют CMOS-сенсоры со скользящим затвором. Поскольку сенсоры с роллинг-шаттером обеспечивают достаточно хорошие характеристики и позволяют снизить бюджет производителя, они в данный момент доминируют на рынке. Технология отработана и массово используется в самых различных устройствах. Эффект искажения на изображении при использовании камеры с роллинг-шаттером имеет достаточно большой разброс в разных сенсорах и как правило чем выше разрешение датчика изображения,тем более заметен этот эффект. Если сравнивать два идентичных сенсора, которые отличаются только способом считывания, то окажется, что глобальный затвор больше влияет на разогрев сенсора, снижает динамический диапазон и дает более шумное изображение, по сравнению с роллинг-шаттером, но в того же время обладает рядом существенных преимуществ по сравнению со скользящим затвором при съемке быстродвижущихся или вращающихся объектов (рисунок 2). Важно отметить, что сейчас можно разработать CMOS-сенсор с глобальным затвором таким образом, чтобы компенсировать различные негативные аспекты, однако расходы на разработку и изготовление таких матриц будут значительно выше.

Источник

Rolling Shutter (роллинг шаттер) в видеосъемке

Появление роллинг шаттера совпадает с моментом, когда в фото/видеосъемочной технике стали применяться матрицы CMOS (КМОП-сенсор). В отличие от матриц CCD (ПЗС-сенсор), CMOS обычно фиксирует изображение построчно, сверху-вниз. Таким образом, при движении в кадре матрица не успевает зафиксировать информацию со всего кадра, и на обработку подается лишь информация с нескольких строк. Тем временем объект в кадре уже изменил свое положение, соответственно, изменилось и его положение на матрице. Такое нескончаемое запаздывание матрицы за движением в кадре приводит к появлению роллинг шаттера.

Скорость снятия информации в разных сенсорах может различаться. Более того — разные CMOS-матрицы имеют разное же количество пикселей, и, соответственно, строк, с которых требуется снять информацию. Неизбежный вывод: чем медленнее матрица, тем медленней происходит снятие информации с ее строк. Аналогично и с количеством пикселей — чем бо́льшим количеством пикселей обладает матрица, тем медленней происходит снятие с нее информации, строк-то ведь больше.

Как проявляется роллинг шаттер?

Следующие ролики покажут оба типа дефекта во всей красе:

2. Желе. Зрительно проявляется в виде нестабильной картинки, так, словно перед камерой колышется абсолютно прозрачная желеобразная масса, хаотично искажая весь кадр. Этот дефект возникает при неупорядоченном перемещении камеры во все стороны, или, иначе говоря, когда при съемке оператор машет камерой, словно метлой. Степень желейности зависит как от быстродействия матрицы, так и от скорости «подметания». В некоторых, особо запущенных случаях, когда матрица откровенно медленная и/или имеет слишком большое количество пикселей, желе может проявляться даже при почти, казалось бы, статичной съемке с рук. Дело в том, что мелкая дрожь, идущая от руки, преобразуется встроенным стабилизатором в более плавное перемещение, которого оказывается достаточно для появления роллинг шаттера.

3. Горизонтальные пересвеченные полосы в кадре. Возникают при срабатывании фотовспышки (молнии и пр.). Это абсолютно неизбежный дефект, который возникает всегда при резком изменении освещенности, и если камера оснащена CMOS-матрицей с построчным снятием информации. Появление этих полос гарантируется независимо от скорости считывания с матрицы. Медленная ли она, быстрая ли — неважно. Полосы обязательно будут, только длительность их присутствия в кадре окажется разной.

Резюмируем: чем бо́льшим количеством пикселей обладает матрица видеокамеры или фотоаппарата, и чем ниже скорость передачи данных с этой матрицы, тем сильнее выражен роллинг шаттер. Касаемо видеокамер хотелось бы отметить: для видеосъемки с разрешением Full HD вполне достаточно двух-мегапиксельной матрицы. Если же такая матрица окажется еще и быстрой, то роллинг шаттер проявится только в случае с фотовспышкой. А бороться с фотовспышками несложно: достаточно выгнать всех назойливых фотографов из помещения, где производится видеосъемка, это самый надежный способ борьбы с фотовспышечным роллинг шаттером.

Способы борьбы с роллинг шаттером

Обратите внимание на разницу углов в исходном и обработанном видео. Если в первом случае, когда весь кадр имеет наклон, программа сумела чуть исправить положение, то во втором случае с проезжающим автобусом фильтр оказался бессилен. Что и требовалось доказать.

Сделаем вывод: избежать роллинг шаттера в ваших съемках поможет только отсутствие тряски, фотовспышек, и быстродвижущихся объектов. Звучит смешно, однако факт. Где-то глубоко в душе — очень глубоко — теплится надежда, что разработчик наконец-то одумается, и перестанет встраивать медленные многомегапиксельные матрицы в видеосъемочные гаджеты. Но, поразмыслив, понимаешь, что это из области фантастики. Так как маркетологи, у которых задача продавать, немедленно вмешаются в ситуацию с быстрыми матрицами, и заставят инженеров довести количество пикселей в датчиках до очередных космических величин. Продажи таких камер, конечно же, вырастут:

— Ого, гляди-ка, 100 мегапикселей! Дайте две!

Но что станет результатом подобного увеличения количества пикселей в быстрых матрицах? Правильно!

Источник

Математические расчёты, стоящие за феноменом роллинг-шаттера

Помню, как однажды увидел фотографию выше на Flickr и сломал мозг, пытаясь понять, что с ней не так. Дело было в том, что пропеллер вращался в то время, когда датчик движения в камере «считывал показания», то есть во время экспозиции камеры происходило какое-то движение. Об этом действительно стоит подумать, давайте-ка подумаем вместе.

Многие современные цифровые камеры используют КМОП-матрицу в качестве своего «чувствительного» устройства, также известную как активный датчик пикселей, который работает путем накопления электронного заряда при падении на него света. По истечении определенного времени – времени экспозиции – заряд построчно перемещается обратно в камеру для дальнейшей обработки. После этого камера сканирует изображение, построчно сохраняя ряды пикселей. Изображение будет искажено, если во время съемки присутствовало хоть какое-то движение. Для иллюстрации представьте съемку вращающегося пропеллера. В анимациях ниже красная линия соответствует текущему положению считывания, и пропеллер продолжает вращаться по мере считывания. Часть под красной линией – это полученное изображение.

Первый пропеллер совершает 1/10 оборота во время экспозиции:

Подписывайтесь на каналы:
@Ontol — самые интересные тексты/видео всех времен и народов, влияющие на картину мира
@META LEARNING — где я делюсь своими самыми полезными находками про образование и роль ИТ/игр в образовании (а так же мыслями на эту тему Антона Макаренко, Сеймура Пейперта, Пола Грэма, Джозефа Ликлайдера, Алана Кея)

Изображение немного исказилось, но ничего критичного. Теперь пропеллер будет двигаться в 10 раз быстрее, совершая полное вращение за время экспозиции:

Это уже похоже на ту картинку, что мы видели в начале. Пять раз за экспозицию:

Это уже немного чересчур, так можно и с катушек съехать. Давайте повеселимся и проверим как будут выглядеть различные объекты при различных скоростях вращения за экспозицию.
Точно такой же пропеллер:

Пропеллер с большими лопастями:

Мы можем воспринимать эффект роллинг-шаттера как некое преобразование координат реального объекта из «объектного пространства» в «пространство изображения» искаженного объекта. Анимация ниже показывает, что происходит с Декартовой системой координат при увеличении числа оборотов. При малых оборотах деформация незначительна – число увеличивается до единицы, и каждая сторона системы координат последовательно перемещается в правую сторону изображения. Это довольно сложная трансформация для восприятия, но легкая в понимании.

Пусть изображение будет I(r,θ), реальный (вращающийся) объект будет f(r,θ), где (r,θ) — это 2D полярные координаты. Мы выбрали полярные координаты для этой задачи из-за вращательного движения объектов.

Объект вращается с угловой частотой ω, а шаттер перемещается по изображению со скоростью v по вертикали. В положении (r,θ) на картинке, дистанция, которую прошел шаттер с начала экспозиции, равна y=rsinθ, где прошедшее с этого момента время равно (rsinθ)/v. За это время объект повернулся на (ω/v)rsinθ) радианов. Итак, мы получаем

что и является требуемой трансформацией. Коэффициент ω/v пропорционален числу вращений за экспозицию и параметризует трансформацию.

Чтобы получить более глубокое представление об очевидных формах пропеллеров, мы можем рассмотреть объект, состоящий из P пропеллеров, где f является ненулевым только для

Источник

Что такое роллинг-шаттер

Леша Ивановский

Эффекта роллинг-шаттер можно получить, если двигать предмет во время сканирования, только вместо диафрагмы у вас лампа сканера. Из сканера некоторые умельцы делают фотоаппараты.

Чтобы разобраться, как получается роллинг-шаттер, стоит описать устройство цифровой камеры. Самым распространенным типом матрицы в фото и видеокамерах сейчас является CMOS-матрица. Она состоит из миллионов маленьких светочувствительных элементов — фотодиодов. Они могут превращать свет в ток, который потом преобразуется в цифровую информацию — в пиксели на картинке. Перед каждым светочувствительным элементом стоит красный, синий или зеленый фильтр. Фотодиод собирает информацию только о яркости, а не о цвете. То есть, он буквально говорит: я пиксель с зеленым фильтром (проходят только длины волн, соответствующие зеленому цвету), яркость на мне такая-то. После этого процессор в камере анализирует все сигналы с фотодиодов трех цветов и собирает окончательную картинку, которая и записывается на карту памяти.

При этом сигнал считывается с матрицы строка за строкой, поэтому между считыванием первого и последнего элемента проходит некоторое время. За это время объект перед камерой уже может сместиться. Поэтому, когда мы снимаем, например, быстро движущуюся машину, то первой считается информация о ее крыше, и пока считывание дойдет до ее колес, они уже успеют немного проехать. Для медленно движущихся объектов этот эффект почти незаметен, но если предмет движется достаточно быстро, то искажения могут быть самыми впечатляющими. Это и есть эффект роллинг-шаттер.

Some rights reserved by Jason Show

Сочетание роллинг-шаттер эффекта и короткой выдержки особенно сильно искажает колебания:

Для устранения этого эффекта надо либо увеличивать скорость, с которой считывается информация, что технически сложно, либо убирать роллинг-шаттер при пост-обработке.

Самое удивительное, что от подобного же искажения страдали и ранние пленочные камеры. Что прекрасно заметно на этом известном кадре Жака-Анри Лартига.

В камере Жака-Анри установлен фокальный затвор: это значит, что при короткой выдержке пленку засвечивает движущаяся щель между шторок, которые закрывают пленку от света. И хотя света попадает на пленку мало (соответствует быстрой выдержке), само прохождение этой щели над пленкой может занимать некоторое время. Пока щель дошла от низа колеса до его верха, колесо уже проехало вправо — отсюда такой наклон. При этом, видимо, фотограф вел камерой за машиной, поэтому люди наклонены влево.

Источник

вот вам кадр из видео на выдержке 1/4000

вот только по легенде этого плохого эффекта, он обязан быть даже на фото режиме камеры оборудованной затвором со шторками. вот вам пруфы этой легенды:
https://en.wikipedia.org/wiki/Focal-plane_shutter#Disadvanta.

смешная картинка, правда? как в мультике) это все потому, что ваше фото во всех ваших домашних камерах имеют вот такую штуку называемую «затвор со шторками»

вот вам ФОТО кадр того же вентилятора на ту же фото камера в ФОТО режиме со шторками:

и как вам? сильно испорчен? то что немного смазано, так это он крутится на огромной скорости. по информации из ссылки на википедию выше, этот вентилятор должен быть таким же испорченным как и на видеокадре из начала текста.

ПА БАААМ! миф разрушен! кто-то нам всем врал все это время

зы. это еще одно интересное видео без перевода, можно смотреть с субтитрами
https://www.youtube.com/watch?v=iCErs_7csf4

Видеомонтаж

613 постов 4.8K подписчиков

Правила сообщества

Критикуй, мамкин оператор.

Эффект вызван построчным считыванием ПЗC матрицы.

Не понимаю, с чем спорит автор.

В видео-режиме копирование с матрицы во внутреннюю память идёт поблочно/построчно, поэтому появляется эффект разного времени экспозиции.

А в фото-режиме матрицу экспонируют и «фиксируют» один раз, поэтому получается одно время экспозиции по всему кадру.

Я доходчиво объяснил?

О, щас будет интересно в комментах )

Осталось автору понять, что Global Shutter на видеокамере и на фотоаппарате это реально другое(сам так же попадался).

Да и про особенности CMOS матриц почитать стоит.

и как вам? сильно испорчен? то что немного смазано, так это он крутится на огромной скорости.

Хахаха. бустер хренов. Чувак, читай про global shutter и его отличие от rolling shutter. А еще, в видеокамере вообще никакой шторки нет. Но если камера подороже и с global shutter этого эффекта не будет.

Всё гораздо проще: ТЕХНОЛОГИИ изменились с того момента, как эффект был открыт. Память стала существенно быстрее, а полевики матрицы компактнее.

Но тем не менее, последовательное считывание всё ещё имеет место в большинстве случаев, потому, повторите тест сами, и узнаете много нового (и бесполезного) о конкретно своей камере или телефоне.

Если кратко, вам спиздели про фейк ради накрутки просмотров. Не удивлюсь, если у него камера на TTL сенсоре.

Интересная статья. Не поленился, загуглил, почитал на других ресурсах. О чем автор писал не знаю.

Человек, это ты некое время назад по fps бред нес?

Замкнутий круг

Первое свидание

План работы

Инженерное

Свои правила

В семье мужа так заведено, что все докладывают свекрови о своих планах, вплоть до мелочей, все с ней согласовывают. Когда мы стали встречаться, я сказала, что мне это не нравится. Мужу это и самому надоело. Недавно у нас была свадьба, на которой свекровь возмутилась из-за того, что мы выбрали не тот ресторан и торт не согласовали с ней. При всех гостях заявила, что я вхожу в их семью и должна уважать их правила. Я ответила, что теперь у нас своя семья и свои правила.

Советую посмотреть «Не смотри наверх»

Понятно

Озадачил отца

Под Владимиром «христиане» выбросили ослика на мороз

Честно, после данного поступка, нужно закрыть этот монастырь к чертвой матери. Опасных животных христиан там готовят.

А как же помогать младшим собратьям?

Таким нет места в церкви, как и на свободе. Лет 100 исправительных работ в Сибири бы им, на вредном и опасном производстве, так сказать, Бог поможет.

А зачем?

Новый год после развода

Давно это было, более 15 лет назад. В сентябре развелся с женой. Позади все скандалы, упреки и обиды. Потихоньку восстанавливаюсь морально, много гуляю. Купил стиральную машинку, телек ( при разводе отдал всю технику бывшей). Ремонт затеял, но не спеша, под настроение. Незаметно подкрался Новый 2005 год, пора провожать непростой 2004. Идти никуда в гости не хотелось, как и к себе приглашать.
Многие приглашали: друг, коллеги. Родители позвонили, я сказал, что не приеду. Хотелось тишины и спокойствия.
Утром 31.12 проснулся, сходил на рынок. Купил курицу, пару салатов, две бутылки вина. Дома сделал картошку пюре, курицу гриль. Вино перелил в глиняный кувшин и поставил в холодильник. Не знаю зачем, но почему то захотелось вина и обязательно из кувшина). Неторопясь накрыл на стол, журнальный столик у дивана. Раздался телефонный звонок, звонил отец. Я удивился, обычно мама звонит, отец только приветы передаёт, не любит по телефону говорить ( он немного заикается):
— Здорово, сын. С наступающем!
— Здравствуй, пап. И вас с мамой тоже!
— Я что звоню, сын. (долгая пауза), знай что я тебя люблю. Мы с мамой тебя очень сильно любим. Все будет хорошо.
Вроде простые слова, но у меня аж горло прихватило, так приятно стало и тепло от этих слов.
Поговорили еще немного, я пообещал приехать, но позже.
Начал отмечать Новый год. По тв шел » Неголубой огонек», прям нормально зашел). Вкусно поел, кувшин вина выпил) Лег спать.
Проснувшись 01.01.2005 мне позвонила знакомая девушка, поздравила с Новым годом. Спросила когда я дома, подарок новогодний завезти. Сейчас это моя жена, с которой мы с тех пор вместе).
А сам Новый год, встреченный в одиночестве, считаю одним из лучших годов. Не по событиям, а по эмоциям, по душевному спокойствию

Источник