Con el fin de visibilizar el trabajo en Investigación, ahora en nuestro sitio web, encontrarás papers publicados durante el primer semestre del 2025-1 de cada profesor ó profesora que a su vez son investigadores e investigadoras.
En esta oportunidad se publican investigaciones de Álvaro Soto, académico del Departamento Ciencia de la Computación – Escuela de Ingeniería de la Pontificia Universidad Católica de Chile y director del Centro Nacional de Inteligencia Artificial (CENIA).
- Data Distributional Properties As Inductive Bias for Systematic Generalization”.
Felipe del Rio, Alain Raymond-Saez, Daniel Florea, Rodrigo Toro Icarte, Julio Hurtado, Cristian B. Calderon, Álvaro Soto*
Disponible: https://openaccess.thecvf.com/content/CVPR2025/html/del_Rio_Data_Distributional_Properties_As_Inductive_Bias_for_Systematic_Generalization_CVPR_2025_paper.html
Esta investigación muestra que ciertas propiedades del conjunto de entrenamiento como la diversidad, la presencia concentrada de valores (burstiness) y la intervención latente mejoran significativamente la generalización sistemática en modelos de lenguaje multimodales basados en redes neuronales profundas. La diversidad, en particular, aumenta la precisión hasta en un 89 %. Además, una menor correlación entre atributos latentes, medida como Información Mutua Normalizada, promueve representaciones paralelas en el modelo, facilitando el razonamiento por analogía y la generalización fuera del dominio original.
- “Tracr-Injection: Distilling Algorithms into Pre-trained Language Models”.
Tomás Vergara-Browne, Álvaro Soto*
Disponible: https://scholar.google.com/citations?view_op=view_citation&hl=en&user=gOVVRk4AAAAJ&sortby=pubdate&citation_for_view=gOVVRk4AAAAJ:X0DADzN9RKwC
Esta investigación presenta tracr-injection, un método para incorporar directamente algoritmos simbólicos escritos en el lenguaje RASP dentro de modelos de lenguaje preentrenados basados en transformers. Al inyectar estos algoritmos, el método genera una subestructura interpretable en el modelo y mejora su desempeño en tareas fuera del dominio de entrenamiento, evidenciando un mecanismo simbólico interno que supera las limitaciones del aprendizaje no supervisado tradicional.
Te invitamos a revisar los Laboratorios de Investigación dentro del DCC UC:https://dcc.ing.uc.cl/investigacion/laboratorios/
Te invitamos a revisar los Centros de Investigación Asociados al DCC UC: https://dcc.ing.uc.cl/investigacion/centros-de-investigacion-asociados/
