Principio de codificación H264 en iOS: resumen de audio y vídeo
Por ejemplo, la animación es de 25 cuadros por segundo y los archivos de video generales son de aproximadamente 30 cuadros por segundo. Para algunos proyectos con requisitos más altos, existen requisitos para la finura de los movimientos si desea capturarlos completos. movimientos, las cámaras avanzadas generalmente disparan a 60 fotogramas por segundo, como cuando se fotografía a atletas en una carrera de 100 metros. Sin embargo, para un conjunto de marcos como el de un caracol, el cambio es muy pequeño. Para comprimir los datos, el primer fotograma se puede guardar por completo como una dependencia de los fotogramas siguientes, de modo que el segundo fotograma que sigue pueda almacenar la diferencia con respecto al primer fotograma, y así sucesivamente. Sin este cuadro clave, los datos que se decodificarán más adelante no se pueden completar, por lo que el cuadro I es particularmente crítico.
El primer fotograma del vídeo se guardará como fotograma clave y los fotogramas posteriores dependerán del avance, es decir, el segundo fotograma depende del primero y todos los fotogramas posteriores solo almacenarán la diferencia. del fotograma anterior, reduciendo así en gran medida los datos y logrando altas relaciones de compresión.
Si hay 30 fotogramas en un segundo, estos 30 fotogramas se pueden dibujar como un grupo. Si la cámara o la lente no cambian durante un minuto, todos los fotogramas de ese minuto también se pueden dibujar como un grupo.
¿Qué es un conjunto de frameworks?
Es decir, de un cuadro I al siguiente cuadro I, este grupo de datos que incluye el cuadro B/el cuadro P se llama GOF.
SPS/PPS en realidad almacena parámetros del GOP e información relacionada con el GOP. Sin esta información, nuestro trabajo de decodificación no puede realizarse sin problemas.
SPS (Conjunto de parámetros de secuencia) almacena el número de fotogramas, el número de fotogramas de referencia, el tamaño de la imagen decodificada, el identificador de selección del modo de codificación del campo del fotograma, etc.
PPS (Conjunto de parámetros de imagen), utilizado para almacenar el identificador de selección del modo de codificación de entropía, el número de cortes, los parámetros de cuantificación iniciales y el identificador de ajuste del coeficiente del filtro de desbloqueo (información relacionada con la imagen).
Antes de un grupo de fotogramas, primero recibimos datos SPS/PPS. Sin estos dos conjuntos de datos, no podemos decodificar. Si cometemos un error al decodificar, primero debemos comprobar si hay SPS/PPS. Si no, puede ser porque no lo enviamos o se perdió. Se están enviando datos SPS/PPS. También lo clasificamos como cuadro I y estos dos conjuntos de datos no deben perderse.
Cuando miramos vídeos, si encontramos pantalla/tartamudeo, suele ser un problema de GOF.
Entonces, en resumen, Huaping pierde datos y se congela porque teme que Huaping pierda datos activamente, lo que resulta en congelaciones.
x264/x265
X264 es el códec más utilizado actualmente y su rendimiento es muy bueno. x264 si se utiliza la edición suave. El x265 básico también está madurando. En el sistema de transmisión en vivo, debido a su muy alta relación de compresión, ocupa una CPU muy alta, que actualmente no está disponible en el sistema de transmisión en vivo. x265 se puede probar en el sistema bajo demanda.
openH264
En comparación con X264, su rendimiento es menor, pero tiene una característica, es decir, admite la tecnología de video SVC, es decir, los datos de video se transmiten en capas y se dividen. en tres partes pequeña, mediana y grande. Si la red es deficiente, sólo se transmiten los fotogramas de vídeo del núcleo más pequeños. Si la red es ligeramente mejor, la capa intermedia también transmite. Si la red es buena y se transmiten las tres capas, entonces las tres capas de datos se pueden superponer para formar el video original. Si sólo hay una capa de kernel mínima, la desventaja es que SVC no es un estándar en terminales móviles y muchos hardware no lo soportan. Si usa SVC, no puede usar codificación física, solo codificación suave, que consumirá una gran cantidad de CPU y causará problemas como la quema del teléfono y el consumo de energía.
vp8/vp9
Google se ha retirado, vp8 corresponde a X264 y VP9 corresponde a x265.
H.265 es un nuevo estándar de compresión de video. Su valor principal es transmitir videos en línea de mayor calidad con el ancho de banda original, mientras que reproducir videos de la misma calidad solo requiere aproximadamente la mitad del ancho de banda original.
El resultado de la codificación 265 es lo que queremos, pero durante el proceso de codificación, H.265 es mucho más complicado que H.264, requiere más consumo de energía y más tiempo, y es perjudicial para el dispositivo. Los requisitos también son mayores. Además, los principales navegadores actuales no son compatibles con H.265, lo que significa que, aunque H.265 tiene grandes ventajas, no ha reemplazado a H.264 como navegador principal.