La inteligencia artificial IA está cambiando toda la naturaleza de la informática
El aprendizaje automático, especialmente el aprendizaje profundo, está obligando a reevaluar cómo se diseñan los chips y los sistemas, lo que cambiará la dirección de la industria en las próximas décadas.
Desde chips hasta software y sistemas, el campo de la informática experimentará cambios dramáticos en los próximos años debido a la popularidad del aprendizaje automático. Todavía podríamos referirnos a estas computadoras como "máquinas de Turing universales", como lo hemos hecho durante ochenta años o más. Pero en la práctica serán diferentes de cómo se han construido y utilizado hasta ahora.
Será de interés para cualquiera que se interese por trabajar con computadoras y para cualquier persona interesada en todas las formas de aprendizaje automático.
En febrero de este año, Yann LeCun, jefe de investigación de inteligencia artificial de Facebook, pronunció un discurso en la Conferencia Internacional de Circuitos de Estado Sólido en San Francisco, una de las conferencias sobre chips de computadora más antiguas del mundo. . En el ISSCC, LeCun dejó clara la importancia de la tecnología informática para la investigación de la inteligencia artificial. "Las capacidades de hardware y las herramientas de software inspiran y limitan los tipos de ideas que los investigadores de IA imaginan y se permitirán llevar a cabo", dijo LeCun. "Las herramientas a nuestra disposición influyen en nuestras ideas más de lo que admitimos".
No es difícil ver lo que está pasando. A partir de 2006, el aprendizaje profundo despegó no sólo por las grandes cantidades de datos y las nuevas técnicas de aprendizaje automático, como el "abandono", sino también por una potencia informática cada vez más potente. En particular, el uso cada vez mayor de unidades de procesamiento gráfico o "GPU" de Nvidia ha llevado a una mayor paralelización de los cálculos. Esto hace posible entrenar redes más grandes que nunca. La premisa del "procesamiento distribuido paralelo" propuesta en los años 80, en el que los nodos de una red artificial se entrenan al mismo tiempo, finalmente se hizo realidad.
Algunos creen que ahora se espera que el aprendizaje automático se haga cargo de gran parte de la actividad informática mundial. Durante la ISSCC en febrero, LeCun habló con ZDNet sobre el cambio en la dirección de la informática. "Si pasas cinco años, los próximos diez años, y ves en qué dedican su tiempo las computadoras, en su mayor parte, creo que harán algo como aprendizaje profundo, en términos de la cantidad de computación, " Dijo LeCun. . También señaló que es posible que el aprendizaje profundo no capture la mayoría de las ventas de computadoras a través de los ingresos, pero "en términos de cómo gastamos nuestros milivatios por segundo o nuestras operaciones, se gastarán en redes neuronales". p>El aprendizaje profundo está creciendo exponencialmente
A medida que el aprendizaje profundo se convierte en el foco de la informática, está ampliando los límites de lo que pueden hacer las computadoras actuales, hasta cierto punto la "tarea de inferencia" de las redes neuronales que hacen predicciones, pero esto es especialmente cierto para el entrenamiento de redes neuronales, una función computacional intensiva.
Nota: según OpenAI, los requisitos computacionales de las redes de aprendizaje profundo se han duplicado cada 3,5 meses. como GPT-2 de OpenAI requieren que se entrenen en paralelo más de mil millones de parámetros, o pesos de red, como dijo a ZDNet en mayo un gerente de producto de PyTorch, la popular biblioteca de capacitación en aprendizaje automático de Facebook: “Los modelos son cada vez mejores. Cuanto más grandes son, son realmente grandes y muy caros de entrenar. ” Los modelos más grandes de hoy a menudo no pueden almacenarse completamente en los circuitos de memoria que vienen con las GPU.
Además: Google dice que el crecimiento “exponencial” de la inteligencia artificial está cambiando la naturaleza de la informática.
El ciclo computacional La demanda es cada vez más rápida Según los datos proporcionados por OpenAI, el venerable sistema de reconocimiento de imágenes AlexNet creado en 2012 consumió el equivalente a 10 millones de operaciones de punto flotante por segundo en tiempo total de entrenamiento. por día, pero AlphaZero, una red neuronal construida por DeepMind de Google en 2016, venció al campeón mundial de ajedrez y consumió más de mil días de petaflops por segundo. El aumento de los ciclos informáticos entre AlexNet y AlphaZero ha duplicado el consumo informático cada 3,5 meses. Estos son datos recopilados hasta ahora en 2016, y el ritmo de la crisis de los chips de computadora sin duda aumentará.
El mundo ni siquiera usa petaflops y los mejores chips se utilizan para el entrenamiento de aprendizaje profundo, como el Tesla de Nvidia. V100, corre a 112 petaflops.
Así que tienes que ejecutar ocho de esos 1.000 días, de lo contrario vas a agrupar a mucha gente en un sistema que consume cada vez más energía.
Para empeorar las cosas, el ritmo de mejoras de los chips ha tocado fondo en los últimos años. Como señalaron en un artículo a principios de este año el profesor de UC Berkeley, David Patterson, y el presidente de British Airways, John Hennessy, la Ley de Moore establece que la potencia del chip se duplica cada doce a dieciocho meses. La regla general es que el gas se ha agotado. Intel lo ha negado durante mucho tiempo, pero los datos están del lado de Patterson y Hennessy. Como mencionan en el informe, el rendimiento de los chips ahora solo crece un 3% anual.
Ambos autores coinciden en que esto significa que el diseño de los chips y, como todos sabemos, su arquitectura deben cambiar radicalmente para conseguir un mayor rendimiento de transistores que no aportan ninguna ventaja de rendimiento. (Patterson ayudó a Google a crear el chip "Unidad de procesamiento tensor", por lo que comprende bien cómo el hardware afecta el aprendizaje automático y viceversa).
A medida que las mejoras en los procesadores se han estancado, pero el aprendizaje automático cuando la demanda se duplica cada pocos meses, hay que pagar un precio. Afortunadamente, si se ve de la manera correcta, el aprendizaje automático en sí puede ser de gran ayuda para el diseño de chips. Porque el aprendizaje automático requiere muy poco soporte de código heredado (no es necesario ejecutar Excel, Word u Oracle DB) y, como dicen, para los diseñadores de chips, el aprendizaje automático es una oportunidad nueva debido a la naturaleza altamente repetitiva de sus aspectos más básicos. cálculos.
Construcción de una nueva máquina
Las redes neuronales convolucionales y las redes de memoria a corto plazo están en el corazón del aprendizaje profundo, los dos pilares principales de máquinas aún más modernas como los Transformers de Google. En redes, la mayoría de los cálculos son cálculos de álgebra lineal, llamados matemáticas tensoriales. Lo más común es convertir algunos datos de entrada en un vector, luego multiplicar ese vector por las columnas de la matriz de pesos de la red neuronal y sumar los productos de todas estas multiplicaciones. Estos cálculos, conocidos como multiplicación-suma, se representan en computadoras utilizando lo que se llama un circuito de "multiplicación-acumulación" o "MAC". Por lo tanto, simplemente mejorar la MAC y crear más MAC en el chip para aumentar la paralelización mejorará inmediatamente el aprendizaje automático.
Nvidia, que domina el entrenamiento de IA, e Intel, cuyas CPU dominan la inferencia del aprendizaje automático, están tratando de adaptar sus productos para aprovechar esas funciones de álgebra lineal atómica. Nvidia agrega "Tensor Cores" a sus GPU Tesla para optimizar la multiplicación de matrices. Intel ha gastado 30 mil millones de dólares en la adquisición de empresas que trabajan en aprendizaje automático, incluidas Mobileye, Movidius y Nervana Systems, la última de las cuales debería conducir al "procesador de red neuronal Nervana" en algún momento, aunque con retrasos.
Hasta ahora, estas iniciativas, como LeCun de Facebook, no han satisfecho las necesidades del aprendizaje automático. Durante una charla con ZDNet en febrero, LeCun argumentó que "lo que necesitamos es un competidor para, ya sabes, Nvidia, el proveedor dominante en este momento". También señaló que esto no se debe a que Nvidia no fabrique buenos chips. Esto se debe a que hicieron suposiciones y sería bueno tener un conjunto diferente de hardware que pudiera usarse para hacer cosas complementarias en las que las GPUS actuales son buenas.
Además: ¿Por qué los informes de IA son tan malos?
Una de las suposiciones erróneas, dijo, es la suposición de que entrenar una red neuronal será un problema de "conjuntos ordenados" de operaciones. La red neuronal funciona. Los elementos del gráfico computacional se transmiten al procesador como punteros. LeCun dijo que el chip tiene que hacer muchas sumas de multiplicación, pero las expectativas sobre cómo se presentan esas sumas de multiplicación al procesador son diferentes a las de un chip TPU. Cliff Young, un ingeniero de software de Google que fue uno de los contribuyentes, fue más directo cuando pronunció un discurso de apertura en un evento sobre chips en Silicon Valley en octubre pasado, diciendo: "Durante mucho tiempo, nos negamos y dijimos que Intel y Nvidia eran. "Muy bueno en la construcción de sistemas de alto rendimiento", "Superamos este umbral hace cinco años".
El auge de las startups
En este vacío legal, los nuevos chips provienen de la inteligencia artificial. gigantes como Google y una serie de nuevas empresas respaldadas por capital de riesgo.
Además del TPU de Google, ahora en su tercera versión, Microsoft también tiene un procesador programable, un "FPGA" llamado Project Brainwave, que los clientes pueden alquilar a través de su servicio en la nube Azure. Amazon dijo que lanzará su propio chip personalizado a finales de este año, llamado "Inferentia". Cuando LeCun habló con ZDNet en febrero, mencionó que Facebook tiene influencia.
Señaló que para empresas como Google y Facebook, que tienen muchos productos, tiene sentido trabajar en su propio motor, y hay actividad interna en este ámbito.
Las startups incluyen Graphcore, una startup de cinco años con sede en Bristol, una ciudad portuaria a una hora y media al suroeste de Londres, Cornami, Effinix y Flex Logix, todas descritas por ZDNet y Los Altos de Silicon Valley; -based S Systems permanece en modo sigiloso.
Una cosa que muchas de estas nuevas empresas tienen en común es aumentar considerablemente la cantidad de área del chip de computadora dedicada a la multiplicación de matrices, conocidas como unidades MAC, para aprovechar al máximo el paralelismo de cada cambio de reloj. . Graphcore es la más avanzada de todas las nuevas empresas y es la primera en enviar chips de producción a los clientes. Una de las cosas más llamativas de su primer chip fue la enorme cantidad de memoria. Colossus recibe el nombre de chip en honor a la primera computadora digital del mundo y es enorme, mide 806 milímetros cuadrados. El director de tecnología, Simon Knowles, lo llama "el chip procesador más complejo jamás construido".
Colossus está compuesto por 1.024 núcleos independientes llamados "unidades de procesamiento inteligentes", cada uno de los cuales puede procesar de forma independiente matemáticas matriciales. Como todos sabemos, cada IPU tiene su propia memoria dedicada, 256 kilobytes de memoria SRAM rápida. Hay 304 megabytes de memoria total, que es la memoria más utilizada en el chip.
Nadie sabe cómo tener tanta memoria en un chip cambiará los tipos de redes neuronales que se pueden construir. Posiblemente, al acceder a más y más memoria, a velocidades de acceso muy bajas, más redes neuronales se centrarán en reutilizar los valores almacenados en la memoria de formas nuevas e interesantes.
Problemas de software
Al igual que con todos estos esfuerzos de chips, el problema, por supuesto, es que no tienen el software que Nvidia ha creado durante años gracias a la tecnología de programación "CUDA" de la empresa. . La respuesta de Graphcore y otros sería doble. Una es que varios marcos de programación para el aprendizaje automático, como TensorFlow y Pytorch, proporcionan una forma de evitar los detalles del chip en sí y centrarse en la estructura del programa. Todos los chips que salen al mercado soportan estos frameworks, que sus creadores consideran competitivos con Nvidia.
El segundo punto es que Graphcore y otros están construyendo su propia tecnología de programación. Pudieron demostrar que su software patentado podría transformar el marco y distribuir de manera inteligente cálculos paralelos a las numerosas unidades MAC y unidades vectoriales del chip. Ese es el argumento que Graphcore presenta para su software "Poplar". Poplar divide el gráfico computacional de la red neuronal en "codelets" y asigna cada codelet a un núcleo diferente de Colossus para optimizar el procesamiento paralelo.
En las últimas dos décadas, los big data y la computación paralela rápida se han convertido en la norma, impulsando el aprendizaje automático y generando un aprendizaje profundo. La próxima ola de hardware y software informático puede consistir en cantidades masivas de memoria y redes neuronales construidas dinámicamente para aprovechar arquitecturas de chips altamente paralelas. El futuro parece interesante.
Este artículo está traducido de: La IA está cambiando toda la naturaleza de la computación (el aprendizaje automático, especialmente el aprendizaje profundo, está obligando a una reevaluación de cómo se diseñan los chips y los sistemas que cambiará la dirección de la industria durante las próximas décadas.)