En los últimos años, los modelos que pueden predecir la estructura o función de las proteínas han encontrado un amplio uso en diversas aplicaciones biológicas, como la identificación de dianas para fármacos y el diseño de nuevos anticuerpos terapéuticos. Estos modelos, basados en grandes modelos de lenguaje (LLMs), son capaces de hacer predicciones muy precisas sobre la idoneidad de una proteína para una aplicación específica. No obstante, hasta ahora no ha sido posible determinar cómo estos modelos realizan sus predicciones o qué características de las proteínas desempeñan el papel más importante en dichas decisiones.
Desentrañando el «caja negra»
Un nuevo estudio realizado por investigadores del Instituto Tecnológico de Massachusetts (MIT) ha utilizado una técnica novedosa que permite abrir esa «caja negra» y determinar qué características considera un modelo de lenguaje de proteínas al hacer predicciones. Comprender lo que ocurre en el interior de esta «caja negra» puede ayudar a los investigadores a elegir mejores modelos para tareas específicas, lo que podría agilizar el proceso de identificación de nuevos fármacos o dianas para vacunas.
Bonnie Berger, profesora de Matemáticas y líder del grupo de Computación y Biología en el laboratorio de Inteligencia Artificial y Ciencias de la Computación del MIT, comenta: «Nuestro trabajo tiene amplias implicaciones para una mayor explicabilidad en tareas posteriores que dependen de estas representaciones. Además, identificar las características que los modelos de lenguaje de proteínas rastrean tiene el potencial de revelar nuevos conocimientos biológicos a partir de estas representaciones».
El estudiante graduado Onkar Gujral es el autor principal del estudio, que se publica esta semana en las Actas de la Academia Nacional de Ciencias. Junto a él, Mihir Bafna, también estudiante graduado en MIT, y Eric Alm, profesor de ingeniería biológica en MIT, son coautores del trabajo.
En 2018, Berger y el exestudiante graduado de MIT, Tristan Bepler, introdujeron el primer modelo de lenguaje de proteínas. Este modelo, al igual que otros modelos posteriores que aceleraron el desarrollo de AlphaFold, como ESM2 y OmegaFold, se basa en LLMs. Los modelos de lenguaje de proteínas utilizan un enfoque similar al de los LLMs, pero en lugar de analizar palabras, analizan secuencias de aminoácidos. Estos modelos han sido utilizados para predecir la estructura y función de las proteínas, así como para identificar aquellas que podrían unirse a fármacos específicos.
A pesar de los avances, hasta ahora no ha sido posible conocer cómo los modelos realizan sus predicciones. «Recibíamos una predicción al final, pero no teníamos idea de lo que sucedía en los componentes individuales de esta caja negra», señala Berger.
En el nuevo estudio, los investigadores se propusieron indagar en cómo los modelos de lenguaje de proteínas realizan sus predicciones. Al igual que los LLMs, estos modelos codifican información en representaciones que consisten en un patrón de activación de diferentes «nodos» dentro de una red neuronal. Estos nodos son análogos a las redes de neuronas que almacenan recuerdos y otra información en el cerebro.
Las redes neuronales de los LLMs no son fáciles de interpretar, pero en los últimos dos años, los investigadores han comenzado a utilizar un tipo de algoritmo conocido como autoencoder disperso para arrojar algo de luz sobre cómo esos modelos hacen sus predicciones. Este estudio del laboratorio de Berger es el primero en aplicar este algoritmo a los modelos de lenguaje de proteínas.
Los autoencoders dispersos funcionan ajustando cómo se representa una proteína dentro de una red neuronal. Típicamente, una proteína dada se representa mediante un patrón de activación de un número restringido de neuronas, por ejemplo, 480. Un autoencoder disperso amplía esa representación a un número mucho mayor de nodos, digamos 20,000. De este modo, la información sobre una proteína que se codificaba en 480 neuronas, donde cada nodo se activaba por múltiples características, se vuelve más clara cuando se expande a 20,000 nodos.
Una vez que los investigadores obtuvieron representaciones dispersas de numerosas proteínas, utilizaron un asistente de inteligencia artificial llamado Claude para analizar dichas representaciones, comparándolas con las características conocidas de cada proteína, como la función molecular, la familia de proteínas o la localización dentro de una célula. Este análisis permite a Claude determinar qué nodos corresponden a características proteicas específicas y describirlas en un lenguaje comprensible.
Este proceso hace que los nodos sean mucho más «interpretables», lo que permite a los investigadores identificar qué está codificando cada nodo. Los resultados revelaron que las características más propensas a ser codificadas por estos nodos eran la familia de proteínas y ciertas funciones, incluyendo varios procesos metabólicos y biosintéticos.
La comprensión de las características que un modelo de proteínas codifica podría ayudar a los investigadores a elegir el modelo adecuado para una tarea específica, o ajustar el tipo de entrada que se proporciona al modelo para generar los mejores resultados. Además, el análisis de las características que un modelo codifica podría, en el futuro, ayudar a los biólogos a aprender más sobre las proteínas que estudian.
