Начните с вопроса, на который должны ответить изображения.
Извлечение кадров — это проблема выборки, а не проблема формата изображения. Определите полезный временной диапазон и решение, которое кто-то примет на основе изображений. Информационный листок о встрече требует широкого охвата сцены. Обзор анимации требует близко расположенных состояний. Для поиска по миниатюрам необходим управляемый набор визуально разных кандидатов.
Сначала обрежьте. Если значение имеют только 45 секунд из 20-минутной записи, установите этот диапазон перед повышением плотности выборки. Это сокращает работу по декодированию, использование памяти, дублирование кадров и время, необходимое для проверки результата.
- Используйте интервал, если календарное время является постоянной единицей измерения: одно изображение каждые 5, 10 или 30 секунд.
- Используйте запрошенный FPS, когда интервал между движениями имеет значение: например, 2 семпла в секунду для короткого действия.
- Используйте фиксированное количество, если усилия по проверке или количество результатов фиксированы: например, 24 кандидата на сцену.
- Используйте одиночный кадр только после того, как вы уже знаете момент или достаточно сузили диапазон, чтобы просмотреть ближайшие кадры.
Рассчитать интервальный выход перед извлечением
Для диапазона от времени начала S до времени окончания E, выборка которого производится каждые I секунд, полезной оценкой является Floor((E - S) / I) + 1, если включены обе границы диапазона. Таким образом, 60-секундный диапазон, выборка которого осуществляется каждые 10 секунд, дает около 7 временных меток: 0, 10, 20, 30, 40, 50 и 60 секунд. Окончательный подсчет может варьироваться на границе носителя, поскольку временная метка должна оставаться декодируемой.
Если оценка превышает 240 изображений, сократите диапазон или увеличьте интервал. Например, выборка 30-минутного диапазона каждые 5 секунд потребует примерно 361 временную метку. Увеличение интервала до 8 секунд снижает оценку примерно до 226, что укладывается в один прогон. Другой вариант — обрабатывать отдельные сцены, чтобы каждый результат было легче просматривать.
Интервальная выборка особенно удобна для учебных пособий, лекций, проверок и длинных записей, где события обсуждаются в секундах или минутах. Он менее подходит для короткого движения, которое заканчивается между двумя широко расположенными временными метками.
Поймите, что означает запрошенный FPS
Запрошенный FPS определяет, сколько временных меток инструмент производит в секунду; он не меняет исходное видео и не подтверждает исходную частоту кадров. При 2 запрошенных кадрах в секунду целевой интервал составляет 0,5 секунды. При 10 запрошенных FPS это 0,1 секунды. 12-секундный диапазон при 5 запрошенных FPS требует около 61 временной метки, если включены обе конечные точки.
Выборка сверх полезных временных деталей клипа часто приводит к созданию почти дубликатов. Статическая презентация, записанная со скоростью 30 исходных кадров в секунду, редко требует 30 экспортируемых изображений в секунду. Напротив, двухсекундная ошибка взаимодействия может выиграть от 10 запрошенных FPS, поэтому изменения состояния видны в компактной последовательности.
Мультимедиа с переменной частотой кадров делает это различие более важным. Браузер выполняет поиск по времени мультимедиа и возвращает декодированный кадр представления рядом с этим временем; не может быть одного исходного кадра на каждом совершенно регулярном интервале. Для точной индексации исходного кадра используйте декодер, предназначенный для предоставления временных меток представления и идентификаторов кадров.
Используйте фиксированное количество для ограниченной проверки.
В режиме фиксированного подсчета выбранное количество кандидатов распределяется по выбранному диапазону. Если для 90-секундного диапазона требуется 10 изображений, приблизительный разрыв между кандидатами составит 90/(10 – 1) или 10 секунд, если включены обе конечные точки. Этот режим делает рабочую нагрузку просмотра предсказуемой, даже если продолжительность клипов различается.
Полезный двухпроходный рабочий процесс начинается с обработки от 12 до 24 изображений в широком диапазоне. Определите самый сильный поддиапазон, затем повторите с тем же счетом внутри этого меньшего окна. Второй проход увеличивает временную детализацию без создания сотен изображений из ненужных кадров.
Этот подход хорошо работает для миниатюр, фотографий мероприятий, ракурсов продукта и визуального контроля качества. Также легче объяснить другому человеку: «рассмотреть этих 20 кандидатов» — это более четкая передача, чем произвольная настройка FPS.
Разработанные планы выборки
Десятиминутное ознакомление с программным обеспечением
Начните с 30-секундного интервала примерно для 21 изображения. Удалите загрузочные экраны и дублирующиеся состояния. Если для одного рабочего процесса требуется более подробная информация, выделите эту минуту и выполняйте выборку каждые 5 секунд. Экспортируйте PNG, если небольшой текст интерфейса должен оставаться читаемым.
Восьмисекундная спортивная игра
Уменьшите диапазон игры и запросите 8 кадров в секунду примерно для 65 кандидатов. Просмотрите положение мяча, его позу, окклюзию и размытие при движении. Ограничьте окно длительностью в одну секунду и используйте покадровые перемещения перед экспортом окончательного файла JPG или PNG.
Контактный лист 45-минутной лекции
Используйте 2-минутный интервал примерно для 23 изображений. Этого достаточно, чтобы определить изменения темы, не превращая результат в непроверяемую галерею. Если текст слайда имеет значение, сохраните исходную ширину или установите максимальную ширину, обеспечивающую удобочитаемость.
Образец проверки набора данных
Выберите фиксированное количество, соответствующее бюджету проверки человеком, затем запишите точный диапазон времени и настройки. Выборка может выявить баланс сцены и очевидные проблемы с качеством, но она не является автоматически статистически репрезентативной. Дизайн набора данных, баланс классов и рандомизация требуют отдельного метода.
Проверьте результат перед увеличением плотности
Просмотрите временные метки по порядку и задайте три вопроса: Отсутствуют ли важные переходы? Многие последовательные изображения визуально избыточны? Может ли рецензент понять, почему существует каждое изображение? Отсутствующие события требуют более узкого диапазона или более плотной выборки; избыточность требует более широкого интервала или более низкого запрашиваемого FPS.
Сделайте первый проход намеренно небольшим. Изображения в полном разрешении, декодированные браузером, могут занимать гораздо больше памяти, чем предполагает их сжатый источник видео. Холст размером 1920 x 1080 содержит около 8,3 миллиона байт RGBA до кодирования изображения, поэтому большое количество одновременных предварительных просмотров может вызвать нагрузку на мобильное устройство, даже если загруженные файлы JPG компактны.
Продолжайте использовать точное руководство по кадрам, когда образец определит многообещающий момент, или откройте конвертер видео в кадры, чтобы применить план прямо сейчас.