¿Qué es la función de pérdida de entropía cruzada?

Función de pérdida de entropía cruzada, también llamada pérdida logarítmica o pérdida logística. Cuando el modelo produce un valor predicho, la probabilidad predicha para esa clase se compara con el valor verdadero (que consta de 0 o 1), se calcula la pérdida resultante y luego se establece una penalización logarítmica basada en esta pérdida.

En redes neuronales, la función Softmax utilizada es una función continuamente diferenciable, lo que permite calcular la derivada de la función de pérdida respecto de cada peso en la red neuronal (completo en "Fundamentos Matemáticos de Máquina "Aprendizaje" proceso de derivación y casos), de modo que el peso del modelo se pueda ajustar en consecuencia para minimizar la función de pérdida.

Datos extendidos:

Notas:

Cuando la categoría de predicción es clasificación binaria, la fórmula de cálculo de la función de pérdida de entropía cruzada es la siguiente, donde y es la categoría verdadera (el valor es 0 o 1), p es la probabilidad de la categoría predicha (el valor es 0 ~ 1).

El código Python para calcular la función de pérdida de entropía cruzada de clasificación binaria es el siguiente, donde esp es el valor mínimo. El propósito de la quinta línea del fragmento de código es garantizar que el valor de la probabilidad de predicción. está entre 0 y 1 y genera el valor de pérdida. La suma de las matrices es el valor de retorno final de la función de pérdida.

Enciclopedia Baidu-Entropía cruzada

Enciclopedia Baidu-Función de pérdida