Comparación de rendimiento de algoritmos de compresión

Hay dos indicadores importantes para juzgar la calidad de un algoritmo de compresión: uno es la relación de compresión. Lo que solía ocupar 100 partes de espacio se convierte en 20 partes después de la compresión, por lo que la relación de compresión es 5. Obviamente, cuanto mayor sea la relación de compresión, mayor. mejor; el otro La métrica es el rendimiento de compresión/descompresión, como cuántos MB de datos se pueden comprimir o descomprimir por segundo. Una vez más, un mayor rendimiento es mejor.

De la tabla, podemos encontrar que el algoritmo zstd tiene la relación de compresión más alta, pero solo se puede decir que su rendimiento en rendimiento es bastante satisfactorio.

Por otro lado, el algoritmo LZ4 es sin duda el líder en rendimiento.

GZIP, Snappy, LZ4 e incluso zstd se comportan de manera diferente.

Pero para Kafka, los resultados de sus pruebas de rendimiento son sorprendentemente consistentes, es decir, en términos de rendimiento: LZ4>;Shuangkua>;Zhongguancun y GZIP;

En términos de relación de compresión, En otras palabras, zstd > LZ4 & gtGZIP > refrescante. Si la red no es buena y los recursos de la CPU son suficientes, se recomienda utilizar la compresión zstd.

En términos de recursos físicos, es razonable utilizar el algoritmo Snappy para ocupar la mayor cantidad de ancho de banda de la red y zstd para ocupar la menor cantidad. Después de todo, zstd debe proporcionar una relación de compresión ultraalta.

En términos de utilización de CPU, cada algoritmo es similar, excepto que el algoritmo Snappy usa más CPU al comprimir, mientras que el algoritmo GZIP puede usar más CPU al descomprimir.

/Zhang Long_ 4444/article/details/103679803