Эффект Rolling Shutter при съёмке видео
Большинство современных цифровых фотоаппаратов имеет скользящий затвор (rolling shutter). В плёночных камерах это был механический затвор из двух шторок. Он всем хорош, но имеет ряд неприятных эффектов (искажение изображения при движении - из-за временного параллакса). Об этом и поговорим.
В цифровых камерах такой же эффект даёт и сам принцип построчного считывания изображения с CMOS-матрицы (CCD-матрица, используемая в телефонах и мыльницах, теоретически может формировать изображение одновременно для всех пикселей, чем может избежать искажения, но зато не может дать приемлемого качества изображения. Да и на практике все аппараты, которые я видел, в том числе и с CCD, тоже имели построчную организацию работы).
Это касается и зеркальных камер. То, что в них есть механический затвор, дела не меняет. Всё равно матрица функционирует построчно.
Вот первая иллюстрация:
Кадр снимался в тёмном помещении, при электрическом свете и большой выдержке. И, пока изображение формировалось построчно, включилась вспышка другого фотографа, который нажал на спуск на долю секунды позже меня. Оставшаяся часть кадра уже снята в других условиях освещения - длительности вспышки в данном случае хватило на это. Хорошо видно, как включается вспышка - она разгорается не сразу, на это требуется время прохождения нескольких строк матрицы. Кстати, точно такой же эффект будет и на плёночных камерах с механическим затвором типа rolling shutter.
Рассмотренный эффект интересен, но практически не имеет большого значения - слишком редко случаются подобные совпадения. А вот временной параллакс, или просто "эффект rolling shutter" - штука гораздо более вредная. В чём заключается эффект?
Мы видим, что от момента считывания первой строки до считывания последней проходит определённое время, и за это время объект съёмки может переместиться. Например, человек быстро бежит, а фотоаппарат стоит неподвижно. Тогда, грубо говоря, сначала фотографируется шапка, потом голова, потом тело... а ноги уже давно убежали, пока до них дойдёт очередь. И человек на снимке выйдет наклонённым.
При съёмке фотографии есть возможность уменьшать выдержку. А при съёмке видео всё гораздо хуже: выдержка практически постоянна и практически совпадает с обратной величиной частоты кадров. Снимаем 25 кадров в секунду - и выдержка для каждого кадра около 1/25 сек. А это много. Движение за такой промежуток времени уже сильно заметно. В результате искажение при съёмке видео происходит ВСЕГДА, стоит только чуть повернуть фотоаппарат влево-вправо. И тогда вертикальные линии становятся наклонными:
Собственно говоря, способов борьбы с такими искажениями в бытовых фотоаппаратах нет.
Можно только более-менее успешно обработать уже снятое с искажениями видео.
Для этого я использую замечательный бесплатный плагин стабилизации Deshaker для бесплатной же программы обработки видео VirtualDub.
Даже коммерческий софт (тот же MAGIX Video Deluxe, которым я пользуюсь для видеомонтажа), стабилизирует видео гораздо хуже (а YouTube вроде чуть получше, но он годится только для тех, кто прямо с телефона видео в сеть выкладывает).
Так вот, этот плагин в окне настроек содержит галочку "камера имеет rolling shutter". И даёт возможность указать величину его в процентах. А в хелпе к нему есть таблица со значениями для разных камер (но список очень мал). Для Nokia N8 и Canon S3 IS я где-то в сети это значение нашёл, а вот для Nokia 808 PureView и Canon EOS 6D - нет. На профильных форумах достал всех этим вопросом - безрезультатно.
И вот, наконец, поэкспериментировал сам. И обнаружил, что величина в процентах есть какая-то непонятная фикция. Видимо, автор не стал заморачиваться с расчётом скорости движения в кадре (тогда проценты имели бы практический смысл), а привязался непонятно к чему. В результате при разной скорости движения камеры (или объекта в кадре) для компенсации эффекта скользящего затвора требуются различные значения этой величины. Что и видно на показанном видео. Я добился приемлемой компенсации в начале, а когда потом стал двигать фотоаппарат побыстрее, всё снова испортилось - вертикальные линии наклонились.
Так что, увы, даже этот замечательный плагин панацеей не является.
Мораль сей басни такова: не двигайте фотоаппарат вправо-влево при съёмке видео. Если же панорамирование необходимо, то делайте это помедленнее...
В цифровых камерах такой же эффект даёт и сам принцип построчного считывания изображения с CMOS-матрицы (CCD-матрица, используемая в телефонах и мыльницах, теоретически может формировать изображение одновременно для всех пикселей, чем может избежать искажения, но зато не может дать приемлемого качества изображения. Да и на практике все аппараты, которые я видел, в том числе и с CCD, тоже имели построчную организацию работы).
Это касается и зеркальных камер. То, что в них есть механический затвор, дела не меняет. Всё равно матрица функционирует построчно.
Вот первая иллюстрация:
Кадр снимался в тёмном помещении, при электрическом свете и большой выдержке. И, пока изображение формировалось построчно, включилась вспышка другого фотографа, который нажал на спуск на долю секунды позже меня. Оставшаяся часть кадра уже снята в других условиях освещения - длительности вспышки в данном случае хватило на это. Хорошо видно, как включается вспышка - она разгорается не сразу, на это требуется время прохождения нескольких строк матрицы. Кстати, точно такой же эффект будет и на плёночных камерах с механическим затвором типа rolling shutter.
Рассмотренный эффект интересен, но практически не имеет большого значения - слишком редко случаются подобные совпадения. А вот временной параллакс, или просто "эффект rolling shutter" - штука гораздо более вредная. В чём заключается эффект?
Мы видим, что от момента считывания первой строки до считывания последней проходит определённое время, и за это время объект съёмки может переместиться. Например, человек быстро бежит, а фотоаппарат стоит неподвижно. Тогда, грубо говоря, сначала фотографируется шапка, потом голова, потом тело... а ноги уже давно убежали, пока до них дойдёт очередь. И человек на снимке выйдет наклонённым.
При съёмке фотографии есть возможность уменьшать выдержку. А при съёмке видео всё гораздо хуже: выдержка практически постоянна и практически совпадает с обратной величиной частоты кадров. Снимаем 25 кадров в секунду - и выдержка для каждого кадра около 1/25 сек. А это много. Движение за такой промежуток времени уже сильно заметно. В результате искажение при съёмке видео происходит ВСЕГДА, стоит только чуть повернуть фотоаппарат влево-вправо. И тогда вертикальные линии становятся наклонными:
Click to viewСобственно говоря, способов борьбы с такими искажениями в бытовых фотоаппаратах нет.
Можно только более-менее успешно обработать уже снятое с искажениями видео.
Для этого я использую замечательный бесплатный плагин стабилизации Deshaker для бесплатной же программы обработки видео VirtualDub.
Даже коммерческий софт (тот же MAGIX Video Deluxe, которым я пользуюсь для видеомонтажа), стабилизирует видео гораздо хуже (а YouTube вроде чуть получше, но он годится только для тех, кто прямо с телефона видео в сеть выкладывает).
Так вот, этот плагин в окне настроек содержит галочку "камера имеет rolling shutter". И даёт возможность указать величину его в процентах. А в хелпе к нему есть таблица со значениями для разных камер (но список очень мал). Для Nokia N8 и Canon S3 IS я где-то в сети это значение нашёл, а вот для Nokia 808 PureView и Canon EOS 6D - нет. На профильных форумах достал всех этим вопросом - безрезультатно.
И вот, наконец, поэкспериментировал сам. И обнаружил, что величина в процентах есть какая-то непонятная фикция. Видимо, автор не стал заморачиваться с расчётом скорости движения в кадре (тогда проценты имели бы практический смысл), а привязался непонятно к чему. В результате при разной скорости движения камеры (или объекта в кадре) для компенсации эффекта скользящего затвора требуются различные значения этой величины. Что и видно на показанном видео. Я добился приемлемой компенсации в начале, а когда потом стал двигать фотоаппарат побыстрее, всё снова испортилось - вертикальные линии наклонились.
Так что, увы, даже этот замечательный плагин панацеей не является.
Мораль сей басни такова: не двигайте фотоаппарат вправо-влево при съёмке видео. Если же панорамирование необходимо, то делайте это помедленнее...