Análisis del principio de red convolucional (GCN)

Las redes convolucionales de gráficos implican dos conceptos muy importantes: gráficos y convoluciones. Los métodos de convolución tradicionales muestran un gran poder en los espacios de datos europeos, pero son tontos en los espacios de datos no europeos. Una de las razones más importantes es que los métodos de convolución tradicionales no pueden mantener la "invariancia de traducción" en espacios de datos no euclidianos. Para extender la convolución a gráficos topológicos de estructuras de datos no europeas, como gráficos, nació GCN. Antes de profundizar en los antecedentes de GCN, creo que es necesario que comprendamos los siguientes conceptos:

Clasificación semisupervisada de enlaces en papel basada en redes gráficas voluntarias

1. matriz y variaciones

Dado un gráfico simple con nodos que es la matriz de grados y la matriz de adyacencia de , la matriz laplaciana de se puede expresar como . Los elementos del gráfico son los siguientes:

1. Transformada de Fourier tradicional

Cuando el objeto de transformación es una variable discreta, la integral es equivalente al producto interno, es decir,

Aquí está la función característica del legendario operador laplaciano (el operador laplaciano es un operador diferencial de segundo orden en el espacio europeo y se ve muy similar después de quitarle el maquillaje).

¿Por qué dices eso? Porque según la definición amplia de ecuación característica, es una transformación, un vector propio o función propia y un valor propio. Tomamos la segunda derivada de la función base, que puede considerarse como la función característica de la transformación.

En la figura, la matriz laplaciana se puede descomponer mediante descomposición espectral (descomposición propia), y la matriz compuesta por sus vectores propios es Según la definición de la ecuación característica, podemos obtenerla. En comparación, podemos encontrar que es equivalente a, equivalente a. Por lo tanto, la transformada de Fourier en el gráfico se puede escribir como.

Desde la idea básica de la transformada de Fourier, la esencia de la transformada de Fourier es convertirla en un conjunto de representaciones de coordenadas de forma ortogonal para la transformación lineal. La siguiente imagen muestra el tamaño del componente proyectado en primera base.

Extendemos la transformada de Fourier en el gráfico a forma matricial mediante la multiplicación de matrices:

es el vector propio del nodo en el gráfico, y podemos obtener la forma de la transformada de Fourier en el gráfico. :

.

Esta es la transpuesta de la matriz propia que consta de los vectores propios de la matriz laplaciana del gráfico. Entre las excelentes propiedades de la matriz laplaciana, sabemos que la matriz compuesta por los vectores propios de la matriz laplaciana es ortogonal, es decir, satisface, por lo que la transformada de Fourier inversa de la gráfica queda como sigue:

To Hasta ahora, hemos extendido la transformada de Fourier tradicional por analogía a la transformada de Fourier en gráficos. A continuación, usaremos puentes de transformada de Fourier para darle un buen trago a las convoluciones y los gráficos.

En el prefacio, conocemos el famoso teorema de convolución: la transformada de Fourier de una función convolución es el producto de su transformada de Fourier, es decir, la convolución de las dos es la inversa de su transformada de Fourier :

Sustituimos la fórmula de la transformada de Fourier en el gráfico obtenido en el apartado anterior y obtenemos:

Es el producto de Hamada, que significa multiplicación punto por punto.

Por lo general, consideramos las características de los nodos del gráfico de entrada como núcleos de convolución entrenables con parámetros * * * para extraer las características espaciales del gráfico topológico. Para comprender mejor el núcleo de convolución, reescribimos la fórmula anterior como:

Algunas personas pueden tener preguntas sobre la transformación de la fórmula anterior, pero la prueba es en realidad muy simple. Si está interesado, puede consultar la respuesta a la respuesta, la prueba de igualdad de GCN: Zhihu.

Hasta ahora, hemos creado el prototipo de GCN.

1. El GCN de primera generación

El núcleo de la operación de convolución es un núcleo de convolución que puede entrenarse y compartirse mediante parámetros * * *, por lo que el GCN de primera generación lo reemplazó directamente. con parámetros Los elementos diagonales en la fórmula anterior. Las asignaciones se inicializan primero y luego los parámetros se ajustan propagando el error hacia atrás.

Entonces el GCN de primera generación se convirtió en salsa:

Es el vector de representación de las características de cada nodo en el gráfico y la salida de cada nodo después de la convolución de GCN. Cada nodo en el gráfico se convoluciona con un núcleo de convolución para extraer su espacio topológico correspondiente y luego se propaga a la siguiente capa mediante una función de activación.

Las deficiencias del GCN de primera generación también son obvias, e incluyen principalmente los siguientes puntos.

2. GCN de segunda generación

Ante las deficiencias de demasiados parámetros en el GCN de primera generación, se ha mejorado el GCN de segunda generación.

Debido a que la transformada de Fourier en el gráfico es una función de valores propios, también se puede escribir como, el núcleo de convolución se mejora mediante un polinomio de orden k:

Sustituyendo en:

Entonces el GCN de segunda generación se ve así:

Se puede ver que el resultado final simplificado del GCN de segunda generación no requiere descomposición matricial, sino que transforma directamente la matriz laplaciana. El parámetro k es generalmente mucho menor que el número de nodos en el gráfico. Por lo tanto, en comparación con el GCN de primera generación, el número de parámetros del GCN de segunda generación es significativamente menor que el del GCN de primera generación, lo que se reduce. La complejidad del modelo. Para los parámetros, primero se inicializan y luego se actualizan según la propagación hacia atrás del error. Pero todavía hay que calcularlo, y la complejidad del tiempo sí lo es.

Además, sabemos que para la potencia K de la matriz, podemos conectar los nodos al nodo central k-hop, es decir, si el elemento en el gráfico es 0 indica si un nodo en el gráfico puede ser k-hop Después de un salto, se alcanza otro nodo, donde K en realidad representa el tamaño del campo receptivo del núcleo de convolución. La representación de características del nodo central se actualiza agregando los nodos vecinos en k-hop. de cada nodo central. Los parámetros son los pesos de los k-hop.

Continuará.

1. En la convolución del gráfico espectral, descomponemos la matriz laplaciana del gráfico. La descomposición propia del espacio de Fourier nos ayuda a comprender la estructura del subgrafo subyacente. ChebyNet es una arquitectura típica de aprendizaje profundo que utiliza convolución de dominio espectral.

2. La convolución espacial actúa sobre la vecindad del nodo y la representación de características del nodo se obtiene a través de los vecinos k-hop del nodo. La convolución espacial es más simple y eficiente que la convolución espectral. GraphSAGE y GAT son representantes típicos de la convolución espacial.

Referencia

1./

3./yyl 424525/article/details/100058264