¿La eliminación de funciones escasas provocará un sobreajuste?
Demasiados parámetros provocarán un sobreajuste. Cuando una red neuronal reduce los nodos de la capa oculta, está reduciendo los parámetros, lo que solo aumentará el error de entrenamiento y no conducirá a un sobreajuste. ?
Métodos para evitar el sobreajuste: métodos de regularización, reducción forzada de parámetros y aumento de conjuntos de datos de entrenamiento.
La función del núcleo gaussiano de la máquina de vectores de soporte es más compleja que el modelo de función del núcleo lineal y es propensa a sobreajustarse.
La representación dispersa de señales es un área de investigación muy interesante en el campo del procesamiento de señales en los últimos 20 años, y muchos artículos de investigación y seminarios muestran el vigoroso desarrollo de este campo.
El propósito de la representación dispersa de la señal es utilizar la menor cantidad de átomos posible para representar la señal en un diccionario sobrecompleto dado, de modo que se pueda obtener una representación más concisa de la señal, lo que la hace más fácil. para que podamos obtener la información contenida en la señal y facilitar el procesamiento posterior de la señal, como la compresión y la codificación.
Explicación de la función de base radial/función del núcleo gaussiano;
Esta función del núcleo puede asignar el espacio original a un espacio de dimensión infinita. Para los parámetros, si los parámetros se eligen muy grandes, los pesos de las características de alto orden en realidad decaen muy rápidamente, lo que en realidad (numéricamente aproximadamente) equivale a un subespacio de baja dimensión; por el contrario, si el rango de elección es pequeño, puede ponerlo; any Los datos se asignan a datos linealmente separables.
Por supuesto, esto no es necesariamente algo bueno, porque lo que puede seguir puede ser un problema de sobreajuste muy grave. Sin embargo, en general, al ajustar los parámetros, el núcleo gaussiano es bastante flexible y es una de las funciones del núcleo más utilizadas.