Noticias de LLMs

Me pareció interesante leer este paper de los investigadores de Apollo Research donde evaluaron diferentes modelos de IA para ver si participarían en "maquinaciones" más simple si intentarían engañar o manipular a sus desarrolladores para lograr un objetivo específico.

Pero más allá de los resultados me pareció un paper interesante porque muestra los desafíos que existen al momento de entrenar un modelo de AI, encontrar los patrones para crear "guardas" de seguridad y/o entender como suceden estas cosas en lo que para muchos es una gran caja negra donde no se sabe con seguridad que es lo que pasa dentro.

Recuerdo en The Matrix cuando Neo llega a conocer a The Oracle: ahí se da cuenta de que no hay una cuchara, sino solo la representación mental de una cuchara. Es entonces cuando comprende que la realidad no es como la percibimos, sino una interpretación que hace nuestro cerebro: lo mismo nos pasa cuando imaginamos que un LLM alucina o que entiende inherentemente lo que le preguntamos.

La cita de The Matrix funciona aquí como una metáfora clave: “No existe la cuchara” en el sentido de que el modelo no tiene ninguna percepción o concepto inherente de la realidad; está imitando patrones estadísticos sin una comprensión o creencia subyacente. Por eso en lugar de tratar de “ver la cuchara” (o una realidad concreta), un LLM se limita a procesar y reproducir correlaciones.

El “fallo” en el sistema es de nuestra percepción humana cuando se espera una precisión o intencionalidad que el modelo no puede ofrecer, no es un fallo del modelo.