Что такое “опорный кадр”?
Вы можете видеть, что P- и B-кадры опираются на I-кадр на диаграмме справа от приведенной ниже. По этой причине I-кадр называют “опорным кадром”. Параметр GOP length (Group of Pictures) задает частоту опорных кадров, а точнее, длительность опорного кадра.
” Частота опорных кадров” – это английский термин, используемый для описания длины GOP. Длина GOP – это длительность опорных кадров, так что это частично и правильно неверно. Мы сможем установить этот параметр после того, как уточним терминологию.
Что такое h.264
H.264
– стандарт сжатия видеоданных, принятый Международной организацией по стандартизации (ISO). Также известен как MPEG-4 part 10 и AVC (Advanced Video Coding). H.
Стандартизированный цифровой формат 264 используется для быстрого сжатия видео высокой четкости. Он может изменить большой несжатый видеофайл в меньший альтернативный формат, который использует примерно вдвое меньше памяти, чем MPEG-2, стандарт видео DVD-качества. H.
Что для пользователя означает поддержка формата h.264 в камере?
Поскольку H.264 оптимизирован для видео высокого разрешения (например, с количеством строк 720 или 1080), некоторые функции камер, не поддерживающих H.264, больше недоступны с таким высоким разрешением.
Следующие функции несовместимы с 720p и 1080p:
- Панорамирование, масштабирование и компенсация угла
- Отслеживание лиц
Примечательно, что в настоящее время они используются только для видеозаписи, когда выбирается более низкое разрешение.
H.264
Теперь, когда мы понимаем, как работают кодеки, мы можем сравнить их с другими системами.
H.264, AVC (Advanced Video Coding) и SMPEG-4 Part 10 в настоящее время являются наиболее широко используемыми и устаревшими кодеками.
Несмотря на то, что этот кодек существует с 2003 года, он по-прежнему широко используется. Прежде всего потому, что он совместим со всеми операционными системами и браузерами.
Однако кодек устарел. Почему?
- Максимальный размер блока составляет всего 16×16 пикселей. А это очень мало для видео 4K и 8K. Допустим, у нас в кадре большое голубое небо, которое можно разделить на огромные блоки. Но AVC не может этого сделать, поэтому он глупо неэффективен для UHD-контента. Фильмы 4K с этим кодеком будут весить 20 гигабайт и более.
- Он не поддерживает HDR, поэтому не может использовать потенциал современных дисплеев.
- Кодек не может восстановить изображение из промежуточных кадров, поэтому видео часто разбивается на блоки и плохо подходит для потокового видео.
- Кодек является платным.
H.265
Высокоэффективное кодирование видео, также известное как HEVC, заняло место H.264. Apple использует HEVC с 2022 года. iPhone использует HEVC для кодирования видео, фотографий и даже неподвижных изображений.
Я не ошибаюсь относительно кода. На данный момент существует идеальный баланс между эффективностью сжатия, скоростью декодирования и скоростью кодирования. Проверьте это сами:
- H.265 сжимает видео в два раза эффективнее, чем его предшественник. Другими словами, файлы одинакового качества будут весить в два раза больше.
- Максимальный размер блока здесь увеличен в четыре раза: 64×64 пикселя. В то же время значительно повышается уровень анализа изображений. В результате кодек очень эффективно сжимает видео 4K.
- Появится функция случайного доступа к изображению. В этом кодеке нет ключевых и промежуточных кадров, все кадры равны, и каждый кадр может быть декодирован независимо. Поэтому HEVC не делится на блоки и отлично подходит для потоковой передачи. Своим хорошим изображением FeceTime обязан кодеку HEVC.
- Значительно улучшено внутрикадровое предсказание. Теперь учитывается 33 направления движения вместо 9 в предыдущих кодеках. И, конечно, кодек совместим со всеми современными процессорами.
Кодек превосходен сам по себе. Однако недостаточная политика лицензионных отчислений является проблемой. Проще говоря, он не прижился в Интернете, потому что очень дорог.
Несмотря на то, что кодеку уже девять лет, из всех браузеров его поддерживает только Safari.
Однако этот кодек очень нравится всем любителям торрентов, поэтому поддержка H.265 для телевизоров необходима. Перед покупкой телевизора внимательно прочитайте руководство, чтобы узнать, поддерживается ли цифровой декодер H.265. Мы сделали это для телевизора Haier.
Кодеки VP8 и VP9 от Google доминируют в Интернете.
V P8 примерно так же эффективен, как H.264, но он все равно имеет меньшую мощность! Их главное преимущество в том, что они бесплатны, а не в том, что они особенно эффективны. В результате эти кодеки получили широкую поддержку во всех браузерах, а в прошлом году даже появились на некоторых устройствах Apple.
В чем разница между mpeg-4, avc/h.264 и mp4? — техника на
Семейство стандартов MPEG-4 включает в себя видео MPEG-4, H.264 и видео MMV, что может запутать при обсуждении информации о фильме или кино.
304 просмотра
- MPEG-4 Part 2 Visual (ISO/IEC 14496-2): стандарт сжатия видео, воплощенный в видеокодеке MPEG-4, опубликован в 1999 году;
- MPEG-4 Part 10 Advanced Video Coding (ISO/IEC 14496-10): стандарт сжатия видео, воплощенный в видеокодеке AVC/H.264, опубликован в 2003 году;
- MPEG-4 Part 14 (ISO/IEC 14496-14): формат файла MP4 – медиаконтейнер, определяет способ хранения данных, но не алгоритм сжатия.
Хотя кодек AVC/H.264 усовершенствовал MPEG-4 Visual, эти видеоформаты не имеют обратной совместимости. Благодаря более широкой поддержке кодек MPEG-4 был вытеснен с рынка. Наиболее популярным во всем мире является формат AVC/H.264.
Алгоритмы для кодирования и декодирования видеоданных называются видеокодеками. Чтобы хранить и передавать меньший объем данных, видеопоток сжимается кодером. Процесс обратного преобразования выполняется декодером для воспроизведения или редактирования видеопотока.
Хранилище данных – это контейнер. Субтитры, аудиоклипы и видеофрагменты можно найти в контейнерах.
Основное различие заключается в том, что если контейнер (формат файла) – это контейнер, в котором хранится сжатая видеопоследовательность, то кодек (формат видео) – это алгоритм кодирования/декодирования видеоданных.
Видеокодеки и медиаконтейнеры:
Видеокодеки
H.261, H.263, VC-1, MPEG-1, MPEG-2, MPEG-4, AVS1, AVS2, AVS3, VP8, VP9, AV1, AVC/H.264, HEVC/H.265, VVC/H.266, EVC, LCEVC
Медиаконтейнеры
MPEG-1 System Stream, MPEG-2 Program Stream, MPEG-2 Transport Stream, MP4, MOV, MKV, WebM, AVI, FLV, IVF, MXF, HEIC
История развития видеокодеков :
H.261 — 1990 год, VCEG
M PEG-1 – 1991 год, MIGE
H.263 — 1995 год, VCEG
M PEG-2 – 1996 год, mpeg
MPEG-4 part 2 – 1999 год, MPEG
AVC – 2003 год, JVET (MPEG VCEG)
V C-1 — 2003 год, Microsoft
A VS1 – 2006 год, рабочая группа по стандарту кодирования аудио и видео Китая
V P8 — 2008 год, Google
V P9 — 2022 год, Google
HEVC – 2022 год, JVET
A VS2 – 2022 год, рабочая группа по стандарту кодирования аудио и видео Китая
AV1 – 2022 год, Alliance for open media (Google, IBM, Amazon, Intel, Netflix, Cisco, Mozilla и др.)
A VS3 часть 1 – 2022 год, Рабочая группа по стандарту кодирования аудио и видео Китая
V VC/H.266 – 2020 год, JT
EVC – 2020 год, MPEG
LCEVC – 2020 год, MPEG
A VS3 часть 2 – 2022 год, Рабочая группа по стандарту кодирования аудио и видео Китая
Ведущий инженер компании Elecard, Александр Круглов С 2022 года он работает в сфере видеоаналитики. В обязанности Александра входит работа с крупнейшими клиентами Elecard, такими как Cisco и Walt Disney Studios.
Воспроизведение h.264-видеофайлов
Формат H.264 претерпевает некоторые изменения, такие как:
- В современных телевизорах (выпускаемых с 2022-2022 гг.) можно использовать аппаратный плеер, встроенный непосредственно в телевизор. К сожалению, эти плееры обычно не поддерживают воспроизведение аудиодорожек DTS и поддерживают только форматы AC3 и AAC, но в остальном они обычно без проблем воспроизводят большинство видеофайлов.
- Современный отдельный аппаратный плеер, подключаемый к телевизору через HDMI, например WD TV Live. Важно, чтобы модель была современной – старые модели плееров – например, iconBIT HD375W – с привлекательными характеристиками могли воспроизводить только некоторые видеофайлы, а при воспроизведении других файлов наблюдалась десинхронизация видео и аудио, артефакты изображения и замедления. Как и в случае с интегрированными ТВ-плеерами, поддержка DTS характерна не для всех автономных плееров.
- Воспроизведение видео с помощью программных средств на компьютере – это наиболее гибкий и универсальный способ обеспечить максимальную совместимость с подавляющим большинством видеофайлов. Этот метод используется в так называемых HTPC – компьютерах, которые служат основой для домашнего кинотеатра. HTPC могут включать компактные маломощные компьютеры, называемые неттопами, с выходом HDMI для подключения к телевизору, например, на базе платформы nVidia ION / ION 2, графическое ядро которой обеспечивает плавное воспроизведение видео высокой четкости H.264 (Full HD, 1080p) при использовании плееров или декодеров с поддержкой API CUDA или DXVA.
На компьютере можно воспроизводить видео следующими способами:
- С любым плеером, имеющим встроенные декодеры для многих популярных форматов, включая H.264 :
- С помощью любого проигрывателя, поддерживающего фильтры DirectShow (например, Windows Media Player, обычно встроенный в Windows), предварительно установив необходимые декодеры:
Декодеры h.264
- ffdshow tryouts
- Популярный бесплатный декодер множества форматов сжатия видео и звука, в том числе H.264.
- CoreAVC
- Платный кодек, считается наименее ресурсоёмким из существующих в настоящее время кодеков. Начиная с версии 1.9.5 поддерживает декодирование с использованием аппаратных возможностей видеокарт nVidia посредством интерфейса CUDA. Современные версии поддерживают также использование аппаратных мощностей видеокарт ATI (AMD) и Intel с помощью интерфейса DXVA.
Как работает h.264?
Видео – это серия дискретных кадров или изображений. H.264 удаляет лишние данные из потока данных. Каждый кадр разбивается на крошечные блоки размером 4×4 пикселя для невероятно точного анализа. При обработке кадра кодер ищет блоки в предыдущем кадре, только что записанном и следующем за ним.
Более эффективно, чем MPEG-4 и MMX, уменьшает размер файла. Декодер устройства воспроизведения собирает данные из нескольких кадров для создания полного изображения высокой четкости.
Косинусы
Рассмотрите возможность использования второго метода сжатия или, если это покажется вам сложным, дискретного косинусного преобразования. В целом, это интересная информация.
Посмотрите на приведенную ниже диаграмму градиента.
Оказывается, любое изображение может быть создано путем наложения этих квадратов друг на друга с разной степенью прозрачности.
Обратите внимание на то, как медленно появляется буква А.
Разбив кадр на более мелкие блоки, этого можно добиться. Изображение содержит косинусы.
Существует множество методов внутрикадрового сжатия, все они идентичны методам сжатия изображений.
Все эти методы оптимизируют размер изображения, сжимая его в десятки и сотни раз. Что, по сравнению с надежными видеокодеками ARC/VideoKeys, неплохо (но не слишком плохо). Что же это?
Недостатки h.264
Основной недостаток H.264 заключается в том, что для кодирования и воспроизведения видеофайлов требуется заметно больше оборудования.
При использовании декодера ffdshow tryouts под Windows Vista на компьютере с процессором Intel Pentium 4, работающим на частоте 3,2 ГГц, воспроизводится только видео в “среднем” качестве (1280×720). В зависимости от сложности сцен, так называемое видео Full-HD (1920×1080) может казаться “заторможенным”.
Используемый декодер имеет определенное влияние на то, насколько эффективно используются ресурсы компьютера.
Оптимальная частота следования опорных кадров
Размер опорного кадра составляет значительную часть потока H.264. Чем выше битрейт, тем чаще появляется опорный кадр (меньше значение длины GOP), но его проще обрабатывать процессору видеосервера при декодировании или выполнении видеоаналитики.
Поток меньше, но риск межкадрового сжатия тем выше, чем более редким является опорный кадр (чем выше значение длины GOP). Для хранения последовательности кадров для реконструкции, когда опорный кадр имеет большой период, требуется больше вычислительной мощности и объема памяти на ПК.
Настройка кодека по умолчанию выбрана производителем IP-камеры для идеального количества опорных кадров в средней сцене и для обычных задач наблюдения. на IP-камерах, имеющих длину GOP от 32 до 120. На производительность систем видеоанализа также существенно влияет частота опорных кадров (длина GOP). Мы остановимся на этом более подробно.
Предсказания
Если вы думаете: “WOW!”, то вы уже поняли, какая замечательная концепция у людей.
Больше всего места отводится кодекам для помощи в механизме предсказания.
Вы можете заставить человека угадать, где что находится, показав ему два кадра: первый – с объектом слева, второй – справа. Человек может сделать это естественно и легко.
Каждый фрагмент кода содержит алгоритм предсказания. Они делают предположение о возможном промежуточном кадре, создавая векторы движения. Но какая от этого польза?
Нельзя использовать данные из реального видео, если их предположение окажется точным, т.е. соответствующим реальному кадру, подлежащему сжатию.
Вы можете сохранить расхождение между фактическим кадром и предсказанным кадром, только если что-то не совпадает. Кроме того, модель предсказания позволяет предвидеть соседние кадры и блоки внутри кадра.
Например, если блок содержит только синие пиксели, можно предположить, что следующий за ним блок также будет содержать только синие пиксели.
Конечно, эффективность кодека возрастает с качеством модели предсказания. Для моделирования и предсказания изображений используются современные кодеки.
И если вы так же умны, как современные кодеки, вы должны были знать, что скоро мы будем обсуждать телевизоры от нашего спонсора на сегодня, компании Haier.
Теперь у нас в наличии бюджетный 43-дюймовый телевизор HAIER SMART TV MX. Телевизор оснащен всеми необходимыми функциями.
Он работает на базе Android TV версии 9 и предлагает все преимущества системы, включая возможность доступа ко всем потоковым сервисам и просмотра сериалов в 4K HDR.
Поскольку модуль Wi-Fi может работать на частоте 5 ГГц, содержимое быстро удаляется. Для тех, кто предпочитает проверенный способ, к телевизору также можно подключать жесткие диски и флэш-накопители.
Имеется пульт дистанционного управления с голосовым управлением Bluetooth 5.0. Можно подключать клавиатуры и наушники! В целом, все довольны. И вы знаете о возможностях Android TV.
Качество изображения телевизора является его самым важным компонентом. Он имеет подсветку Direct LED и очень хорошую матрицу VA. Прекрасные глубокие черные и яркие цвета делают изображение. Имеется поддержка HDR10.
Кроме того, этот телевизор имеет функцию масштабирования 4K, поэтому контент в формате Full HD выглядит фантастически.
В целом, я ставлю дисплею оценку A. Подобная модель в формате Full HD есть у Haier. Ну а здесь картинка намного четче. Есть одна вещь, за которую приходится платить больше.
16 динамиков мощностью 8 Вт каждый и эксклюзивная технология объемного звучания Simulated Surrence обеспечивают достаточно хороший звук. Кроме того, вам не придется вкладывать деньги в дополнительные саундбары.
Особое удовольствие доставляет безрамочный дизайн, который дополняет любой интерьер и не отвлекает от просмотра контента (в любом кодеке).
В целом, если вам нужен небольшой телевизор с хорошим изображением, HAIER 43 SMART TV MX – это фантастическая покупка. Это лучшая модель в своей нише, и у нее есть все для просмотра онлайн-контента!
Преимущества h.264
H.264 работает значительно лучше, чем MPEG2 (DVB, Xvid) и ASP (DivX) (лучшее качество изображения по сравнению со сложностью файлов CMOS или DIVx).
Принцип работы
Все это основано на фундаментальных идеях архивов. Напишите что-нибудь о сжатии информации, если хотите.
Но сейчас наше внимание будет приковано к vdio. В видеокодеках существует, по сути, два типа сжатия информации. Что они означают?
Внутрикадровое сжатие – следующее. Межкадровое сжатие – второе.
Размер каждого кадра может быть оптимизирован с помощью внутрикадрового сжатия. почему для работы со слишком большим количеством информации используются различные подходы. Как правило, удаляем все, чтобы кожаные сумки нас не заметили! А мы почти никогда ни на что не обращаем внимания.
Стандарт сжатия видеоизображения h.264
Ожидается, что наиболее широко используемым видеостандартом будет H.264, самый последний стандарт сжатия видео (также известный как MPEG-4 Part 10/AVC, последние буквы которого означают “расширенное видеокодирование”).
Кодер H.264 может уменьшить размер цифровых видеофайлов на 80% по сравнению с Motion JPEG и на 50% по сравнению со стандартом MPEG-4 Part 2 без потери качества изображения. H.264 – это открытый лицензированный стандарт, который поддерживает наиболее эффективную технологию сжатия видеоизображений, доступную на сегодняшний день. что приводит к значительно меньшим требованиям к хранению видеофайлов и пропускной способности канала передачи данных. Кроме того, появляется возможность получить значительно лучшее качество видео при том же битрейте.
Ожидается, что все вышеупомянутые требования будут более широко использоваться в коллективном утверждении, которое было сделано организациями по стандартизации телекоммуникаций и информационных технологий (H.264).
H.264 уже появился в новых электронных гаджетах, таких как сотовые телефоны и цифровые видеоплееры, и быстро завоевал признание пользователей. В настоящее время H.264 используется поставщиками услуг для различных продуктов, включая телекоммуникационные фирмы и провайдеров онлайновых видеохранилищ, для обеспечения доступности их собственных онлайновых профилей.
Охрана автомагистралей и аэропортов, а также казино (в том числе за рубежом), скорее всего, будут использовать H.264 в сфере видеонаблюдения. Сокращение объема необходимого дискового пространства и требуемой пропускной способности приведет к наименьшей экономии.
Ожидается также более быстрый переход на мегапиксельные камеры благодаря H.264, высокоэффективной технологии сжатия, которая позволяет значительно уменьшить размер файлов и скорость передачи данных без потери качества изображения. Но есть и соответствующие требования. Стандарт H.264 требует применения сетевых камер с более высокими техническими характеристиками, несмотря на то, что он обеспечивает экономию пропускной способности сети и пространства для хранения данных.
Разработка стандарта H.264
Группа специалистов ISO/IEC (MPEG) и Группа экспертов по кодированию видео ITU-T сотрудничали в разработке H.264. В Международном телеграфном союзе ITU-T отвечает за координацию телекоммуникационных стандартов. Международная электротехническая комиссия, или ISO, отвечает за регулирование всех электронных и смежных технологий. Поскольку это совершенно новый компонент пакета MPEG-4, ITU-T дал стандарту название H.264 Part 10/AVC. Пакет, используемый видеокодерами и сетевыми IP-камерами, включает в себя MPEG-4 Part 2.
H.264, созданный для решения некоторых проблем более ранних стандартов сжатия видео, успешно справляется со своими задачами благодаря
- Усовершенствования, снижающие скорость передачи данных в среднем на 50% и обеспечивающие фиксированное качество видео, сравнимое с любым другим видеостандартом;
- Устойчивость к ошибкам, позволяющая воспроизводить изображения, несмотря на ошибки передачи данных по различным сетям;
- Низкая задержка и лучшее качество при более высоких уровнях задержки;
- Простая синтаксическая структура, упрощающая реализацию стандарта;
- Декодирование на основе точного соответствия, где точное соответствие определяется
H.264 достаточно адаптивен для использования в широком спектре приложений с самыми разными потребностями в скорости передачи данных. Хотя H.264 может передавать данные со скоростью менее одного гигагерца в минуту и частотой обновления видео (HDT) для телекоммуникационных услуг, он также может обеспечивать скорость от 1 до 10 мегабит в секунду с высокой задержкой.
Как происходит сжатие видеоизображения
Для оптимизации хранения и передачи цифровых изображений сжатие видео включает удаление или изменение избыточных данных.
Соответствующий файл для передачи и хранения создается алгоритмом по мере обработки исходного видеосигнала. Видеосигнал, созданный обратным алгоритмом воспроизведения сжатого файла, имеет аналогичную структуру и технику передачи. длительность времени, необходимого для отправки файла после его сжатия. При одинаковой вычислительной мощности задержка увеличивается тем больше, чем сложнее алгоритм сжатия.
Видеокодек (кодер/декодер) – это набор алгоритмов, которые взаимодействуют между собой. Видеоданные, сжатые с помощью одного стандарта, не могут быть декомпрессированы с помощью другого стандарта, поскольку различные видеокодеки, как правило, несовместимы друг с другом. Поскольку один алгоритм не может правильно декодировать выходной сигнал другого алгоритма, если у вас есть кодер H.264, вы не можете использовать его с MPEG-4 Part 2.
Различные стандарты сжатия видео используют различные методы для уменьшения объема данных, которые дают различные эффекты.
Разработчик кодера может свободно выбирать набор инструментов в зависимости от того, все ли используют в кодере один и тот же стандарт сжатия или нет. Возможны различные стратегии реализации до тех пор, пока выходные данные кодера соответствуют формату и декодеру стандарта. Это выгодно, поскольку затраты, связанные с различными стратегиями реализации, различны. Профессиональные программные кодеры должны обеспечивать более высокую производительность видео, чем аппаратные кодеры для оптических носителей без реального времени. Стандарт не гарантирует ни скорость передачи данных, ни качество. Без предварительного подтверждения его согласованности с различными методами реализации применение одного стандартного метода некорректно сравнивается с другими.
В отличие от кодера, декодеру требуются все компоненты стандарта для декодирования соответствующего битового потока. Точные шаги алгоритма декомпрессии для восстановления каждого бита сжатого видеоизображения изложены в стандарте.
Скорость передачи видео в форматах Motion JPEG и H.264 отображается в виде цифрового графика (базовый профиль).
Изображение 1. Кодер H.264 как минимум в три раза эффективнее кодера MPEG-4 без компенсации движения и как минимум в шесть раз эффективнее Motion JPG для выбранной видеопоследовательности, генерируя на 50% меньше битов в секунду, чем кодер PEG-4 с компенсацией движения.
Профили и уровни H.264
Как и в других видеостандартах, наиболее важной особенностью стандарта H.264 (H.238) является предложение множества вариантов для реализации различных профилей (наборов алгоритмических параметров) или уровней производительности. Совместная группа, занимавшаяся определением стандарта H.264 (H.238), сосредоточилась на создании простого и понятного решения для всех возможных вариантов и параметров.
Каждый из семи профилей H.264 предназначен для конкретного применения. Каждый профиль ограничивает сложность реализации декодера, определяя точный набор параметров, которые может использовать кодер.
Так называемый базовый профиль будет использоваться сетевыми камерами и видеокодерами, который в первую очередь предназначен для использования в средах с ограниченной вычислительной мощностью. Для использования в современных кодерах реального времени, присутствующих во всем сетевом видеооборудовании, лучше всего подходит базовый профиль. Этот профиль особенно важен для управления в реальном времени функциями панорамирования, наклона или масштабирования сетевых камер PTF и обеспечивает низкую задержку при передаче видеоизображения.
H.264 имеет 11 уровней функциональности, пропускной способности и ограничений памяти. Для разрешений от CIF до HDTV каждый уровень определяет скорость передачи данных и кодирование в макроблоках. Требуемый уровень повышается с увеличением разрешения.
В каких случаях используется кадр
Кодер может использовать I-кадры и P-кадры, а также другие, в зависимости от профиля H.264;
I-кадр (также известный как входной кадр) – это отдельное изображение, которое не может быть независимо декодировано для любых других изображений. I-кадры всегда являются первыми кадрами. Для начала новых просмотров или точек ресинхронизации в случае прерывания передаваемого битового потока необходимы I-кадры. Перемотка вперед, назад и другие свободно доступные операции могут быть реализованы с помощью i-кадров. Если предполагается, что к потоку просмотра присоединятся новые клиенты, кодер автоматически вставляет I-кадры через заданные интервалы времени или по требованию. Недостаток I-кадров в том, что в них слишком много битов, но они не дают значительных искажений.
Декодируется как промежуточный кадр с предсказуемой природой и ссылками на I и/или P кадры, которые были до него, P-кадр. Р-кадры обычно содержат меньше битов, необходимых для передачи информации, но у них также есть недостаток – они чрезвычайно восприимчивы к ошибкам записи ссылок.
B-кадр, также известный как промежуточный кадр двунаправленного предсказания, обычно представляет собой срез предсказаний, сделанных косвенно.
Изображение 2. Типичная последовательность I-, B- и P-кадров, где P-кадр может относиться только к предыдущему I- или P-кадру, а B-кадр – только к последующему.
I-кадр должен быть отправной точкой для процесса реконструкции, если видеодекодер восстанавливает изображение, декодируя битовый поток кадр за кадром. P-кадры и B-кадры должны декодироваться одновременно с эталонами, если они используются.
Поскольку B-кадры не используются в базовом профиле H.264, он имеет очень низкую задержку и поэтому идеально подходит для сетевых камер и видеокодеров.
Основные методы сокращения данных
Для сокращения количества видеоданных, как в рамках кадра с изображением, так и в рамках последовательности видеокадров, можно использовать самые разнообразные методы.
В рамках кадра изображения сокращение данных можно произвести простым удалением избыточной информации, что окажет свое влияние на разрешение изображения.
Кодирование может использоваться для сжатия видеоданных в пределах последовательности кадров в отличие от H.264, который является стандартом для передачи всех изображений и звука. При разностном кодировании кадр сравнивается с I- или P-кадром, и все измененные пиксели указываются. В результате для кодирования и передачи требуется меньшее количество пикселей.
Изображение 3. Три изображения в последовательности ниже закодированы как отдельные, отдельные изображения (I-кадры) в Motion JPEG.
Рис.4. При кодировании по отличиям (применяемом в большинстве стандартов сжатия видеоизображения, в том числе и в H.264) полностью кодируется только первое изображение (I-кадр). В двух последующих изображениях (P-кадрах) ставятся ссылки на первое изображение в отношении статичных элементов (в данном случае в отношении дома) и кодируются только движущиеся элементы (в данном случае бегущий человек) с использованием вектора движения, что, таким образом, снижает объем информации для отправки и хранения.
Если обнаружение и кодирование по различиям основаны на блоках пикселей (макроблоках), а не на отдельных пикселях, объем кодирования может быть дополнительно уменьшен, поскольку сравниваются большие области и кодируются только блоки со значительными различиями. Кроме того, снижаются затраты на указание места перемещения.
Если видеопоследовательность содержит много движущихся объектов, причиной может быть различное кодирование. В качестве компенсации можно использовать компенсацию блочного движения. Блочная компенсация движения учитывает тот факт, что большая часть информации, которая создается в новом кадре видеопоследовательности, присутствует и в предыдущих кадрах. Кадр разбивается на макроблоки таким образом. В новом кадре есть блок с тем же текстом (например, P-кадр). Кодер кодирует местоположение блока в кадре только в случае совпадения. Для кодирования вектора движения требуется меньше битов, чем для кодирования фактического содержимого блока.
Видео может быть сжато с помощью H.264 на более высоком уровне.
Для того чтобы значительно уменьшить размер (в битах) I-кадра при сохранении высокого качества, в H.264 введена новая усовершенствованная схема внутреннего предсказания. Эта схема успешно предсказывает небольшие блоки пикселей внутри макроблока в пределах кадра. Это достигается путем ограничения нового блока пикселей 4×4 для внутреннего кодирования и поиска совпадающих пикселей среди ранее закодированных пикселей. Размер бита данных значительно сокращается за счет постоянного использования уже закодированных значений пикселей. Важнейшим компонентом технологии H.264, который уже показал свою исключительную эффективность, является новое внутреннее предсказание. Поток Motion JPEG без данных или с объединением их с другими кадрами (помимо видео) приведет к большему размеру файла, чем поток H.264, даже если в нем используются только I-кадры.
Рис.6. Описание демонстрирует использование нескольких режимов внутреннего предсказания при кодировании пикселей 4×4 внутри одного из 16 блоков макроблока. Макроблок содержит 16 блоков, каждый из которых может быть закодирован в другом режиме.
Изображение 7. Вышеупомянутые изображения демонстрируют эффективность передачи внутреннего предсказанного изображения “бесплатно” в схеме внутреннего предсказания H.264. Содержимое остаточного изображения, а также режимы внутреннего предсказания должны быть закодированы для получения выходного изображения.
При кодировании P- и B-кадров в FAT, H.264 приобрел блочную компенсацию движения. Кодер H.264 может выбрать поиск совпадающих блоков (с точностью до субпикселя) некоторых или многих секций в пределах одного или нескольких опорных кадров. Для улучшения поиска совпадений размер и форма блоков могут быть изменены. Если внутри опорной рамки нет элементов или не найдено сходство блоков, используются внутренние кодированные макроблоки. Когда важно сохранить требуемое качество изображения, при видеонаблюдении больших скоплений людей используется высокая гибкость блочной компенсации движения в H.264. Наиболее популярной функцией видеокодера является компенсация движения, а различные уровни реализации позволяют улучшить сжатие изображения.
По сравнению с H2.2, сильно блочный стандарт H.264 уменьшает блочные объекты в видеоизображении, обработанном с помощью Motion JPEG и MPEG высочайшего качества. Автоматически удаляя края блоков, этот фильтр позволяет получить почти идеальное развернутое видео.
Изображение 8. Как видно на изображении справа, фильтр деблокирования уменьшил количество блочных объектов на изображении с высоким сжатием слева.
Форшлаг
Значительным усовершенствованием в обработке и сжатии видео является стандарт H.264. Этот стандарт предоставляет ряд технологий, которые повышают эффективность сжатия за счет использования более точных схем внутреннего предсказания и обеспечения большей устойчивости к ошибкам. Он открывает новые возможности для разработки сложных видеокодеров, которые могут значительно улучшить качество изображения.
Международный союз электросвязи, Международная электротехническая комиссия и IETC совместно разработали первый международный стандарт сжатия видео – H.264. Адаптивность H.264 позволила ему найти применение в различных отраслях, включая DVD высокой четкости (например, Blu ray), видеовещание и онлайновое хранение видео (3D), или “ouTube”. Ожидается, что H.264 вытеснит другие стандарты и методы сжатия, используемые в настоящее время, благодаря поддержке во многих отраслях и разработке программных приложений, удовлетворяющих как потребительские, так и деловые потребности.
Разработчикам или системным интеграторам необходима уверенность в том, что выбранные ими продукты поддерживают этот новый открытый стандарт “Hyper-Thunder”, учитывая все более широкое распространение H.264 в сетевых камерах, видеокодерах и программном обеспечении для управления видео. В настоящее время наилучшим вариантом для получения высококачественных изображений с максимально возможной универсальностью и интеграцией в процесс записи является сетевое видеооборудование, поддерживающее H.264 и Motion JPEG.
Стандарты, форматы, кодеки, контейнеры
Стандарт и кодек – это разные понятия. Например, спецификация (описание) алгоритма сжатия или кодека называется стандартом. x264).
Не путайте формат данных и возможный контейнер для хранения. идентичные данные (например, сжатые с помощью кодера x264 и алгоритма H.264) можно поместить в различные контейнеры, такие как AVI, MP4 или Matroska). Напротив, контейнер с тем же форматом (например, MKV) не обязательно должен содержать видеоданные H.264; вы можете легко найти файл MKV, содержащий стандартное видео DivX.
Форматы контейнеров данных
Наиболее популярные типы файлов-контейнеров – MP4, Matroska (MKV) и AVI, среди прочих.
- MP4
- Официальный стандарт контейнера для видео H.264. Главный недостаток MP4 состоит в том, что, по спецификации, такой файл может содержать звук только в формате AAC. Это приводит к вынужденным потерям качества звука, например, при создании резервных копий DVD-фильмов из-за необходимости перекодирования из одного формата сжатия с потерями (AC3, Dolby Digital) в другой (AAC). Чисто технически в контейнер MP4 можно поместить поток любого формата, но возможность воспроизведения такого файла в любом плеере не будет гарантированной.
- Matroska (Матрёшка, MKV)
- Открытый формат контейнера, официально не принят какой-либо организацией по стандартизации, но является чрезвычайно гибким, а потому широко используется и поддерживается как программными, так и аппаратными плеерами известных производителей: как выполненными в виде самостоятельных устройств — например, WD TV Live, так и встроенными в современные телевизоры. В отличие от MP4, контейнер Matroska может содержать звук в любом формате — например, AC3, являющемся стандартным для DVD-Video. Это даёт возможность, создавая, например, резервную копию DVD-фильма, закодировать видео в H.264, но звук при этом оставить в исходном формате AC3, исключив потери качества звука, связанные с перекодированием.
- AVI
- В контейнере AVI обычно представлено видео в популярных форматах DivX и XviD (MPEG4 ASP). Для хранения данных, закодированных по стандарту H.264, контейнер AVI формально не предназначен и потому для этих целей обычно не используется, а в редких случаях такого, некорректного, его применения возможность воспроизведения соответствующих файлов не гарантируется.
Цветовая субдискретизация
Человеческий глаз, в частности, может различать вариации яркости, но не цвета. Это странная эволюционная уловка. Метод цветовой субдискретизации активно используется кодеками. Это совершенно блестящая идея.
Если мы берем видео в формате RGB, который использует три цветовых канала, мы конвертируем его в CR. И получаем формат Cbcr.
😀
Затем цветовые каналы разрешения разрезаются пополам и объединяются с каналом яркости. Готово! Информация уменьшена почти вдвое, но заметной разницы нет.
Три цифры используются для представления соотношения 1 пикселя цвета к 2 пикселям яркости, или 4:2:0.
Все видео в Интернете транслируется в формате 4:2:0. как, например, это видео. Однако я настроил камеру на формат 4 2, чтобы, возможно, улучшить изображение.
