La historia del volumen de información
En 1928, R. v. l. Hartley propuso la idea preliminar de cuantificación de información. Definió el logaritmo del número de valores de símbolos m como la cantidad de información, es decir, I = log2m. Quien realizó una investigación profunda y sistemática sobre la cantidad de información fue C., el fundador de la teoría de la información. MI. Shannon. En 1948, Shannon señaló que los símbolos dados por la fuente son aleatorios y que la cantidad de información en la fuente debe ser función de la probabilidad, expresada por la entropía de la información de la fuente, es decir, donde Pi representa la probabilidad de diferentes tipos de símbolos en la fuente, i= 1, 2,…,n.
Por ejemplo, si una fuente continua se cuantifica con igual probabilidad en 4 capas, es decir, 4 tipos de símbolos. La información proporcionada por cada símbolo de esta fuente debe ser consistente con la fórmula de Hartley I=log2m=log24=2bit. En esencia, la fórmula de Hartley es un caso especial de la fórmula de Shannon para la igual probabilidad.
Contenido básico Las fuentes de información reales son en su mayoría fuentes de secuencias de memoria. Solo después de dominar las características probabilísticas de todas las secuencias se puede calcular la entropía promedio HL (U) de un símbolo en la fuente (L es el símbolo. (generalmente difícil de calcular si la fuente de secuencia se reduce a una cadena de Markov ergódica, homogénea y de primer orden simple), se puede obtener la probabilidad estable Pi de la fuente transversal, y luego se puede obtener HL (U) a partir de Pi y Pji, como se muestra en la Figura 1.
H (U|V) se llama entropía condicional, es decir, la incertidumbre del siguiente símbolo U cuando se conoce el símbolo anterior V.
Existe una diferencia conceptual entre la cantidad de información y la entropía de la información. No es posible determinar si la fuente envió el símbolo antes de recibirlo. ¿Qué símbolos se utilizan? dudas (incertidumbre) sobre la fuente después de recibir el símbolo, de modo que la incertidumbre se vuelve cero. Esto muestra que el receptor obtiene la información de la fuente del remitente. La cantidad de información es una cantidad relativa (H (U) -0). la entropía de la información es una cantidad física que describe las características estadísticas de la fuente misma. Representa la incertidumbre promedio de los símbolos generados por la fuente, independientemente de si hay un receptor o no. >Obtener la información de un símbolo u de otro símbolo V en la fuente
La cantidad se puede expresar mediante información mutua, es decir,
I (U; V) = H. (U)-H(U|V)
Indica que todavía hay dudas (incertidumbre) sobre el símbolo fuente U después de recibir V. En términos generales
I(U;V). )≤H(U)Es decir, la cantidad de información obtenida es menor que la entropía de información dada por la fuente.
Con valores infinitos, la cantidad. La cantidad de información de salida es infinita, pero la información mutua es la diferencia entre dos valores de entropía, que es una cantidad relativa. De esta manera, independientemente de las fuentes continuas o discretas, la cantidad de información obtenida por el receptor aún mantiene todas las características de la información. , y es un valor finito.
La introducción de la información permite que la comunicación, la información y las disciplinas afines se basen en el análisis cuantitativo, brindando garantía para el establecimiento y desarrollo de teorías relevantes.