Medición de información - entropía

Entropía de la información: se utiliza para medir la incertidumbre de los eventos. Cuanto mayor es la incertidumbre, mayor es la entropía.

Para cualquier variable aleatoria se llama entropía condicional. La definición de entropía condicional es la siguiente:

Información mutua: La función de la información es eliminar la incertidumbre de los eventos. La información mutua es una medida de la correlación entre dos eventos (X, Y), es decir. , cuando se determina uno de los eventos Bajo la premisa de Y, la cantidad de información proporcionada para eliminar la incertidumbre de otro evento X. La definición de información mutua es la siguiente:

En la figura anterior, el círculo rojo representa la entropía H(X) del evento X, el círculo azul representa la entropía del evento Y y el área combinada de Los dos círculos representan la entropía conjunta H (X, Y), mientras que la parte de color sólido representa la entropía condicional (menos la reducción de entropía causada por eventos conocidos) y la información mutua de intersección I (X; Y) en el medio. representa la correlación de los eventos X e Y.

Entropía relativa (también conocida como divergencia KL): La entropía relativa también se utiliza para medir la correlación, pero es diferente de la información mutua de variables. Se utiliza para medir la correlación de dos funciones con valores positivos. . La definición es la siguiente:

Cabe señalar que la divergencia de KL es asimétrica, es decir:

Referencia:

"La belleza de las matemáticas" Wu Jun .