Identificar las propiedades de los aleaciones puede resultar un proceso costoso y prolongado. Los experimentos que involucran aleaciones a menudo requieren numerosos recursos, y calcular sus propiedades puede ser extremadamente complicado, dada la aparente infinitud de configuraciones posibles.
Tradicionalmente, las propiedades de las aleaciones se determinan mediante cálculos de Teoría de Funcional de Densidad (DFT), un método que, aunque preciso, se ve limitado por su tiempo de ejecución, especialmente en el caso de aleaciones complejas. Con el objetivo de reducir tanto el tiempo como el coste de este proceso, Amir Barati Farimani y su equipo han desarrollado AlloyBERT, una herramienta de modelado diseñada para predecir las propiedades de las aleaciones.
AlloyBERT: Un modelo transformador innovador
AlloyBERT es un modelo basado en transformadores que permite a los investigadores introducir descriptores en inglés simple para obtener los resultados deseados. Estos descriptores pueden incluir información como la temperatura de procesamiento de la aleación o su composición química. A partir de estos datos, AlloyBERT es capaz de predecir propiedades como el módulo de elasticidad o la resistencia a la fluencia de la aleación.
Barati Farimani, profesor asociado de ingeniería mecánica, y su equipo han diseñado AlloyBERT con el objetivo de reducir ambos, el tiempo y el coste requeridos para identificar las propiedades de las aleaciones. A diferencia de la mayoría de los modelos de aprendizaje de lenguaje, que requieren que los usuarios introduzcan información con una redacción extremadamente precisa, AlloyBERT ofrece una mayor flexibilidad en la forma de presentar los datos.
“Queríamos un modelo que pudiera obtener propiedades físicas específicas sin que el usuario tuviera que preocuparse demasiado por la información que tiene o su formato”, afirma Akshat Chaudhari, estudiante de máster en ciencia e ingeniería de materiales. “La información precisa y el formato son todavía importantes, pero AlloyBERT permite un nivel de flexibilidad mucho mayor”.
El modelo se basa en RoBERTa, un codificador preexistente que utiliza un mecanismo de autoatención. Esta característica permite al modelo evaluar la importancia de palabras específicas en una oración. Durante su entrenamiento, AlloyBERT se afinó utilizando dos conjuntos de datos sobre propiedades de aleaciones, mostrando así que los modelos transformadores pueden ser herramientas efectivas para predecir estas propiedades.
Sin embargo, AlloyBERT presenta dos desviaciones que el equipo espera investigar más a fondo. La precisión de las predicciones no siempre es consistente con el nivel de detalle de la entrada. Aunque se anticipaba que proporcionar más información a AlloyBERT resultaría en una salida más precisa, en algunos casos, introducir la menor cantidad de datos produjo los resultados más exactos. Este fenómeno podría deberse a que el modelo fue entrenado solo con dos conjuntos de datos.
“Entrenar el modelo con un corpus mucho más grande podría ofrecer resultados más consistentes”, señala Chaudhari.
La segunda desviación se observó al emplear dos estrategias de entrenamiento: una que involucraba preentrenamiento seguido de ajuste fino, y otra que solo incluía el ajuste fino del modelo. Aunque se esperaba que la primera estrategia ofreciera resultados más precisos, esta solo se verificó en una de cada ocho ocasiones en cada conjunto de datos. En algunos casos, el ajuste fino solo produjo mejores resultados en comparación con entradas más detalladas, lo que sugiere que el preentrenamiento pudo haber utilizado un Modelo de Lenguaje Enmascarado (MLM). Futuros estudios podrían explorar modelos de preentrenamiento alternativos.
El desarrollo de AlloyBERT ha abierto la puerta a múltiples posibilidades. Además de investigar las desviaciones mencionadas, el código de AlloyBERT podría adaptarse para identificar otros materiales más allá de las aleaciones. El equipo de Barati Farimani también contempla la creación de un modelo que, en lugar de predecir propiedades de aleaciones, reciba como entrada una propiedad específica y descomponga los elementos que la componen.
Los modelos basados en transformadores están demostrando ser herramientas valiosas para la investigación científica futura. “Para usos científicos, se requieren respuestas concretas y precisas, y la investigación existente muestra que hay un gran potencial para ello. Estos modelos pueden ser entrenados para ofrecer mejores resultados que los métodos actuales”, explica Chaudhari. Los hallazgos de este estudio se han publicado en el servidor de preprints arXiv, y el software de AlloyBERT ya está disponible en GitHub.
