Recientemente, un grupo de investigadores de la Universidad de Basilea y de la Universidad de Ciencia y Tecnología de China ha presentado un enfoque innovador para entender el aprendizaje de características en las redes neuronales profundas (DNN, por sus siglas en inglés). Este avance, publicado en la revista Physical Review Letters, utiliza modelos mecánicos inspirados en la física para explicar cómo estos algoritmos, que son la base de muchos sistemas de inteligencia artificial, procesan y aprenden de grandes volúmenes de datos.
Las DNN, que sustentan el funcionamiento de modelos de lenguaje y otras aplicaciones de inteligencia artificial, operan mediante capas que transforman datos de entrada en «características». Estas características son esenciales para que las redes logren realizar predicciones precisas. Sin embargo, el proceso subyacente a esta transformación ha sido objeto de numerosos estudios, y los científicos han comenzado a explorar cómo conceptos de física pueden ofrecer una nueva perspectiva sobre este fenómeno.
Un enfoque basado en la física
Los investigadores han desarrollado un diagrama de fases que representa cómo las DNN aprenden características bajo diferentes condiciones, similar a los utilizados en termodinámica para delinear las fases del agua. Este modelo conceptualiza una DNN como una cadena de bloques y resortes, un sistema mecánico que permite estudiar las interacciones entre fuerzas lineales y no lineales, como la fricción.
Ivan Dokmanić, el líder del estudio, explica que tanto las redes neuronales como las redes neuronales biológicas, como la corteza visual humana, procesan las entradas de forma progresiva, simplificándolas y destilándolas. A medida que se avanza en las capas de la red, las representaciones de diferentes clases de objetos se vuelven más separadas y más fáciles de distinguir. Este fenómeno se puede medir, y los investigadores han encontrado que la separación de datos en redes bien entrenadas sigue una «ley de separación de datos».
El estudio también destaca que esta ley se cumple en redes con hiperpárametros comúnmente utilizados, como la tasa de aprendizaje y el ruido, pero no en otras configuraciones. Este hallazgo abre la puerta a una mejor comprensión de cómo las DNN aprenden buenas características a través de diferentes modelos.
Los investigadores, al analizar este fenómeno, optaron por centrarse en los modelos de bloques y resortes, que ya se han utilizado para estudiar diversos fenómenos del mundo real, incluyendo terremotos y la deformación de materiales. A través de este enfoque, han logrado establecer similitudes entre el comportamiento de las DNN y el de los sistemas mecánicos.
Dokmanić señala que «la cantidad que una capa simplifica se corresponde con cuánto se extiende un resorte», y que la no linealidad de la red se relaciona con la fricción entre los bloques y la superficie. Esta analogía permite a los investigadores entender mejor cómo las DNN responden a la pérdida de entrenamiento, separando los datos capa por capa, de manera similar a cómo un sistema de bloques y resortes responde a una fuerza de tracción.
El modelo de teoría de bloques y resortes ha demostrado ser tanto simple como efectivo para comprender la capacidad de las DNN para generalizar en diferentes escenarios. En su estudio, los investigadores han logrado calcular las curvas de separación de datos de las DNN durante el entrenamiento, encontrando que la forma de estas curvas es indicativa del rendimiento de la red entrenada en datos no vistos.
Este enfoque teórico podría convertirse en una herramienta poderosa para acelerar el entrenamiento de redes neuronales muy grandes, especialmente modelos basados en transformadores como los modelos de lenguaje. La comprensión de cómo se puede modificar la curva de separación de datos variando el ruido y la no linealidad tiene el potencial de revolucionar el campo del aprendizaje automático.
Los investigadores tienen la intención de utilizar este modelo para desarrollar herramientas diagnósticas que ayuden a identificar áreas dentro de una red neuronal que necesitan mejoras. De esta manera, podrían optimizar el rendimiento de los modelos, al igual que se utilizan mapas de tensión en mecánica estructural para identificar regiones que podrían comprometer la seguridad de las estructuras.
En el horizonte se vislumbra un futuro donde la física y la inteligencia artificial converjan de manera aún más estrecha, permitiendo a los científicos y teóricos explorar nuevas dimensiones en el aprendizaje profundo y la inteligencia artificial.
