Что такое LCEVC

[Serjoga]

С каждым новым стандартом степень сжатия видео становится все лучше. Чтобы смотреть видео в Full HD или Ultra HD без перебоев нужна высокая пропускная способность и вычислительная мощность девайса. В противном случае буферизация будет постоянным спутником просмотров.

Чего ждать от нового кодека LCEVC

Кодек LCEVC был создан с целью решить эту проблему. Этим занялась компания, связанная с разработкой программного обеспечения — V-Nova. Сам генеральный директор и соучредитель Гвидо Мирди прозвал LCEVC "кодеком для улучшения других кодеков". Не зря он представлен 2 частью разработанного в 2020 году MPEG-5.

MPEG-5 Part 1 — полноценный кодек, существующий как самостоятельная единица. В то время, как MPEG-5 Part 2 работает только на основе базовых кодеков, выпущенных ранее, что делает его универсальным. В дальнейшем планируется использовать его в комплексе с будущими кодеками без пересмотра стандартизации.

Потоковая передача по сети (OTT), прямые видеотрансляции с мобильных устройств, видеоконференции зависят от пропускной способности. И если раньше, чтобы решить этот вопрос, приходилось использовать кодек с более высокой степенью сжатия или уменьшать разрешение видео, то LCEVC предлагает совсем другой вариант.

История

Spoiler

Каждое новое поколение видеокодеков уменьшает размер файла в среднем 2 раза и увеличивает время обработки до 8 раз. Изобретение кодека LCEVC началось еще в 2018 году, когда 28 отраслевых подписантов сообщили о потребности рынка в расширении возможностей программного обеспечения.

Лидеры отрасли, работающие в области потоковой передачи, виртуальной реальности и видеоконференций столкнулись с тем, что спрос на качественное видео увеличивается, а пропускная способность некоторых стран пока оставляет желать лучшего. Сюда отнесли и проблему стримов в часы пик, когда качество видео приходится принудительно снижать, чтобы посмотреть видео хотя бы в приемлемом качестве. Также проблемой было и то, что существующие кодеки довольно энергозатратны, а вследствии и финансово невыгодны.

После этого обращения, MPEG выпустили требования к новому стандарту кодирования видео и обратились к компаниям, которые ранее разработали технологию сжатия, соответствующие им.

Основными требованиями были:

    Видеопоток можно декодировать не прибегая к специальному встроенному программному обеспечению и операционной системе с эквивалентной вычислительной мощностью, расходом заряда батареи.
    Возможность декодирования видео высокого разрешения без плагинов, обновлений в веб-браузере.
    Дополнительный поток данных должен быть совместим с вставкой рекламы, метаданными, CDNS, DRM/CA, сетевыми протоколами DASH, HLS, MMT и SS.
    Потребляемая вычислительная мощность должна быть такой же как и у базового кодека в полном разрешении.

Впервые в апреле 2019 года была проведена оценка полученных предложений и создание первого потока стандарта. Затем в октябре 2019 года было проведено голосование по проекту. А в апреле 2020 года прошло голосование по проекту международного стандарта. К октябрю 2020 года работа над стандартом полностью завершилась.

Зачем нужен

Spoiler

Стандарты гарантируют совместимость видео и устройства. Сначала выпускается стандарт на оборудование, которое должно быть ратифицировано, потом создаются микросхемы под него. Это длительный процесс, который занимает от 5 до 10 лет. На разработку стандарта LCEVC ушло 7 лет.

Количество мощных девайсов сейчас уже превышает возможности существующих кодеков. Чтобы раскрыть их потенциал в полной мере, необходимы новые стандарты. LCEVC позволяет сжать видео сверхвысокого качества. При этом он будет совместим как с уже выпущенными, так и с новыми устройствами.

Цель кодека MPEG-5 LCEVC справиться с ограничением пропускной способности уже существующего кода, сохранив и даже улучшив визуальное качество. Он может работать с любым более старым кодеком MPEG.

Чтобы понимать его необходимость, давайте посмотрим на предшественников и даты производства:

    MPEG2 — 1997 год;
    264 MPEG-4/AVC — 2003 год;
    265 HEVC — 2013 год;
    266 VCC — 2020 год.

На данный момент большинство онлайн сервисов по-прежнему используют выпущенный в 2003 году MPEG-4 и лишь некоторые перешли на HEVC. Стандарт HEVC, с момента выхода которого прошло 8 лет, до сих поддерживается далеко не на всех устройствах выпущенных в 2020 году.

LCEVC позволяет обеспечить обратную совместимость обновления видеосервисов даже на устаревшем оборудовании. Он относится к немасштабируемым кодекам и не совместим с SVC и SHVC.

LCEVC позволяет сжать существующие кодеки быстрее и без потери качества. Его можно установить в качестве обновления на уже существующие девайсах. Также как сообщает Мирди, качество работы мобильной или IP сети отходит на второй план при выборе LCEVC. Он позволяет повышать качество независимо от условий сетевого подключения. Поэтому даже Африка со стандартом 2G и 3G может стать пользователем этой технологии.

Как работает

Spoiler

LCEVC расшифровывается как Low Complexity Enhancement Video Coding — кодирование видео с улучшением низкой сложности. Новый стандарт намного быстрее сжимает и передает данные, за этим стоит огромная вычислительная мощность. Он кодирует версию исходного изображения с более низким разрешением используя базовый кодек. При этом учитывая разницу между восстановленным изображением и источником с другим методом сжатия. Детали, которые составляют эту разницу сжимаются при помощи 2 инструментов для сжатия остаточных данных:

    В разрешении базы для исправления артефактов.
    В разрешении самого источника.

В источник добавляются детали для восстановления кадров. LCEVC выполняет остаточное прогнозирование, проводит интеллектуальную адаптацию содержания, масштабирование с низкой сложностью, что влияет на конечное качество картинки.

LCEVC — это сочетание интеллектуального повышения дискретизации, сверхвысокого разрешения и привычного кодирования. В процессе декомпозиции и перекомпоновки изображения может появляться остаточная информация, которую он и улучшает. LCEVC способен проводить математическую реконструкцию без потерь, благодаря чему информацию получается закодировать, при этом полностью воссоздав изображение. Особенно внимателен кодек к мелочам, включая логотипы и текст, написанный мелким шрифтом.

Международный стандарт LCEVC улучшает сжатие уже существующих кодеков:

    AVC на 40-60%;
    HEVC на 30-40%;
    AV1 на 25-30%;
    VVC на 15-20%.

Ускоряет сжатие:

    AVC в 2,5 раза;
    HEVC в 3 раза;
    AV1 в 4 раза;
    VVC в 4 раза.

В процессе обработки LCEVC использует 3 потока. Первый может содержать базовый кодек MPEG. И 2 потока с расширениями, которые будут участвовать в декодировке. Они отвечают за увеличение расширения видео, добавления высокочастотных составляющих, которые теряются при формировании базового потока. Благодаря чему получаем более четкую прорисовку мелких деталий. Обнуление этих компонентов позволяет сократить размер сжатой информации.

При кодировке картинка сжимается с более низким разрешением и меньшей детализацией. После чего на потерянные данные накладываются дополнительные расширения, позволяющие добиться улучшения качества.

LCEVC более продуктивен потому, как использует в пределах 10 методов сжатия изображений на двух подуровнях — энтропийное декодирование, обратное квантование, обратное преобразование и фильтр сглаживания. В то время, как например HEVC — в районе 100.

При прямом линейном  битрейте рекомендуется кодировать в CBR. LCEVC позволит снизить затраты на кодирование и CND до 50%. Тесты доступны для устройств на базе Windows, Linux и ARM (Android, iOS), и на одноименной платформе V-Nova.

LCEVC позволяет развертывать AV1 и VVC на миллионах устройств, которые изначально не поддерживают эти кодеки. Он предлагает возможность улучшения качества изображения при снижении битрейта до 40% — как при прямой трансляции, так и при передаче видео в режиме доступа по запросу. Кроме того, он обеспечивает повышение вычислительной эффективности кодирования видео в 2-4 раза.

Если сжимать видео потока 1080p, то это конечно же займет больше времени чем сжатие 540. Проводимые эксперименты показывают, что LCEVC работающий на основе H.264 / AVC обрабатывает файл за 25 секунд, в то время как сам H.264 / AVC за 90 секунд.

Этапы работы LCEVC

Spoiler

LCEVC подразумевает кодирование и декодирование.

Этапы кодирования:

    Субдискретизация. Каждый из двух блоков субдискретизации делит одно изображение на 2 субдискретизированных.
    Сжатие базовым кодеком. Кодер принимает данные второго каскада и сжимает их любым доступным образом.
    Повышение частоты дискретизации и сжатие на уровне L Базовое изображение подвергается однократной повышающей дискретизации. Вычисляется разница изображения с выходными данными понижающей дискретизации и проводится через преобразование, квантование, энтропийное кодирование.
    Вход L Закодированный сигнал L1 реконструируется и повышается дискретизация для создания изображения исходного разрешения.
    Сжатие L Вычисляется разница исходное и восстановленного изображения и сжимается для слоев L2. Возможно выполнение временного прогнозирования, результаты могут быть сжаты и переданы на устройство.
    Кодирование частично заполненных изображений. Стало возможно благодаря небольшим ядрам преобразования 2 х 2 или 4 х 4.
    Энтропийное кодирование коэффициентов улучшающего слоя при использовании кодера длины пробега (RLE) и префиксного кодирования.
    Временное предсказание.

Декодер занимается абсолютно противоположным процессом. После того как он получает небольшое изображение, он проводит сравнение предварительного промежуточного изображения. Затем добавляет первый подслой для получения комбинированного промежуточного изображения и снова проводит сравнение между ними. Второй подуровень улучшения добавляется к предварительному выходному для создания окончательного изображения.

Условия лицензирования

Spoiler

В мае 2021 года V-Nova сообщила об условиях лицензирования LCEVC для видеосервисов. Они предложили 2 типа лицензии.

    Лицензия на интеграцию

Предоставляется бесплатно производителям устройств и чипсетов, браузеров, внутренним разработчикам.

Включает в себя:

    тестирование соответствия и интеграции;
    поддержку интеграции SDK;
    оптимизированные библиотеки кодировщика и декодера доступные для нескольких платформ,
    обслуживание и техподдержка.

    Лицензия на использование

Предоставляется на платной основе, если количество пользователей на сервисе превышает дозволенное по лицензии на интеграцию. Стоимость пользователя рассчитывается исходя из объема и составляет 3,7 млн/год и обойдется в среднем от 0,01 до 0,12$ за человека.

Включает в себя:

    возможность использовать LCEVC с товарными знаками;
    специальная бортовая поддержка;
    базовая техподдержка;
    тестирование соответствия и уровня обслуживания.

Где применимо

Spoiler

LCEVC используется в форматах Ultra HD и HD для онлайн игр, видеоконференций, интернет-вещей, умного города, виртуальной реальности, прямых эфиров и спортивных стримов. Основатель V-Nova в первую очередь делает акцент на спортивное вещание и онлайн-обучение. Обе эти сферы немного изменились с момента COVID-19 и стали более востребованными чем ранее. LCEVC позволит улучшить качество видео и снизить требования к домашнему интернету.

Кодек LCEVC позволяет транслировать данные в формате 4К при скорости 30-36 Мбит/. В то время как при таких же условиях H.264 работает при битрейте 50-60 Мбит/с.

Самого лучшего результата можно добиться используя комбинацию LCEVC + H.265

Это может упростить поддержку приложений с большим объемом данных, таких как VR. Такая комбинация позволяет проводить прямую трансляцию в 4К со скоростью 15-18 Мбит/с.

Преимущества

    Сокращение времени кодирования и декодирования.
    Снижение битрейта.
    Обратная совместимость и возможность использовать только базовый слой.
    Легко реализовать в HTML5.

Недостатки

    Медленное развитие технологии.
    Максимального эффекта можно достичь используя с базовыми кодеками последнего поколения.

Как скоро технология интегрируется в полную силу пока неизвестно. Компания Xilinx (изобретатель FPGA) одна из первых внедрила ее в свои микросхемы. Затем последовал поставщик систем на кристалле NETINT Technologies.