Разработчики из компании Mozilla представили на суд публики черновой вариант веб- стандарта MediaStream Processing API, а также экспериментальную сборку браузера Firefox, в которой он реализован.
Этот стандарт предоставляет javascript API, предназначенный для обработки в режиме реального времени потоков с аудио и видео данными. Новый API предоставляет возможность выполнить на стороне обозревателя такие операции, как синтез звука, динамическую корректировку громкости, наложение аудио и видео эффектов, микширование звуковых потоков, захват и анализ видеопотока (к примеру, распознавание QR-кодов и лиц или запись содержимого элемента canvas в виде видеоролика).
Он отличается от ранее предложенных программных интерфейсов (MediaStream Processing API, Web audio API) более тесным использованием веб-стандартов, развиваемых параллельно. Например, таких, как WebRTC, который используется для обеспечения коммуникаций в режиме реального времени, getUserMedia, созданный для захвата данных с веб-камеры и микрофона, Web Workers, позволяющий организовать многопоточную обработку.
В текущее время реализация MediaStream Processing API сосредоточена на решении задач, связанных с обработкой звука. А вообще она находится в самой начальной стадии своего развития.
Разработчики планируют добавить поддержку работы с видео после того, как появится возможность использовать все необходимые графические API через Web Workers.
Они собираются интегрировать наработки проекта в основную ветку Firefox после полной доработки кода и успешной интеграции в обозреватель поддержки WebRTC.
MediaStream Processing API по умолчанию будет отключен, а активировать его можно будет лишь после окончательной готовности спецификации.