Codificador automático de modelo de red neuronal no supervisado

Los codificadores automáticos son un modelo de red neuronal no supervisado. La AE inicial es una estructura de red neuronal de avance de tres capas, que consta de una capa de entrada, una capa oculta y una capa de salida. Su función principal es aprender representaciones profundas de los datos de entrada. Los codificadores automáticos se utilizan inicialmente para inicializar los parámetros de peso de una red neuronal. La práctica ha demostrado que los parámetros de inicialización obtenidos mediante el entrenamiento y el ajuste fino capa por capa son mejores que los parámetros de inicialización aleatorios simétricos tradicionales, son más fáciles de converger y alivian hasta cierto punto el problema de desaparición del gradiente del algoritmo BP en el entrenamiento de redes profundas. medida.

En la actualidad, existen dos aplicaciones principales de los codificadores automáticos: una es la extracción de características; la otra es la reducción de dimensionalidad no lineal, que se utiliza para la visualización de datos de alta dimensión. El diseño central del codificador automático es la capa oculta. Hay dos métodos para diseñar la capa oculta:

(1) Cuando el número de neuronas en la capa oculta es menor que el número de neuronas en la entrada. capa, se llama Menos que completa. El diseño de capa oculta hace que la conversión de la capa de entrada a la capa oculta sea esencialmente una operación de reducción de dimensionalidad. La red intenta describir los datos originales en dimensiones más pequeñas sin perder la mayor cantidad de información de datos posible, obteniendo así una representación comprimida de la capa de entrada. . Cuando la función de activación de la capa oculta adopta una función lineal, el codificador automático también se denomina codificador automático lineal y su efecto es equivalente al análisis de componentes principales (PCA).

(2) Cuando el número de neuronas en la capa oculta es mayor que el de la capa de entrada, se denomina sobrecompleto. Este diseño de capa oculta se usa generalmente en codificadores dispersos para obtener una representación de características escasa, es decir, hay una gran cantidad de neuronas con un valor de 0 en la capa oculta.

Denoising Autoencoder

Denoising Autoencoder está diseñado para mejorar la robustez del autoencoder. El objetivo del codificador automático es esperar que la salida X reconstruida sea la misma que los datos de entrada X, es decir, se puede aprender la distribución correcta de los datos de la capa de entrada. Sin embargo, cuando los datos de la capa de entrada se ven afectados por el ruido, es posible que los datos de entrada obtenidos no obedezcan a la distribución original. En este caso, los resultados obtenidos utilizando codificadores automáticos también serán incorrectos. Para resolver el problema de la desviación de datos causada por el ruido, DAE agrega procesamiento de ruido entre la capa de entrada y la capa oculta para obtener nuevos datos de capa de ruido Y, y luego realiza una operación de transformación de codificador automático convencional basada en estos nuevos datos de ruido Y.

Codificador automático apilado

Codificador automático apilado (SAE), también conocido como codificador automático apilado, codificador automático apilado. Apila varios codificadores automáticos y utiliza la representación de la capa oculta de la capa anterior como entrada de la siguiente capa para obtener una representación más abstracta. Una aplicación muy importante de SAE es inicializar los parámetros de peso de la red mediante un entrenamiento previo capa por capa, mejorando así la velocidad de convergencia de las redes profundas y ralentizando el impacto de la desaparición del gradiente. Para el aprendizaje supervisado común, SAE actúa en toda la red a través de los dos huevos de Pascua siguientes.

1. Preentrenamiento paso a paso

Los parámetros de cada capa son entrenados por el codificador automático como parámetros de inicialización de la red neuronal. Al adoptar el método de preentrenamiento capa por capa, primero se construyen varios codificadores automáticos, cada uno de los cuales corresponde a una capa oculta.

Ajuste fino

Después del primer paso del entrenamiento previo capa por capa, se puede obtener una estimación inicial más razonable de los parámetros de peso de la red, que se puede realizar mediante la función de pérdida de la capa de salida es como entrenar una red profunda ordinaria. Resuelva iterativamente los parámetros óptimos utilizando métodos como el descenso de gradiente.

Codificador disperso

La estructura de red del codificador disperso es la misma que la del codificador automático, que también es una red neuronal de alimentación directa de tres capas. En codificación dispersa, se espera que el modelo pueda obtener la capa oculta y la capa de salida de cualquier dato de entrada, y que los datos de entrada, la capa oculta y la capa de salida tengan las dos propiedades siguientes.

(1) Si el vector de capa oculta es escaso, el vector tiene tantos elementos cero como sea posible.

(2) Los datos de la capa de salida pueden restaurar los datos de la capa de entrada tanto como sea posible.