Llevo días escuchando a expertos, periodistas y políticos hablar de inteligencia artificial. De su capacidad para transformar el mundo, de los intereses de las empresas que la desarrollan y de la posibilidad de que termine suponiendo un riesgo existencial para la humanidad.
Hay motivos para discutir todo eso. Lo que me preocupa es la facilidad con la que se construyen argumentos sobre explicaciones equivocadas desde la base.
Oigo que una IA se comporta así porque está «mal programada». Que bastaría con conocer sus datos de entrenamiento para entender y controlar lo que hace. Que el salto ya no está en los modelos, sino en poner muchos agentes a trabajar juntos.
Entiendo que una entrevista no es una clase y que hay que simplificar. Pero para simplificar bien hay que entender lo que se está simplificando. Si al quitar detalle cambias el mecanismo, ya no estás ayudando a entenderlo. Estás explicando otra cosa.
Y después, sobre esa otra cosa, tomamos decisiones.
Cuánto tiene que saber quien decide
En Entaina llevamos años insistiendo en que los directivos necesitan entender algunos fundamentos de la IA para gestionar su impacto estratégico. La pregunta incómoda es cuánto tienen que saber.
Yo suelo plantearlo con otra pregunta: ¿cuánta mecánica cuántica tiene que saber un ministro de Energía?
No necesita resolver las ecuaciones. Pero sí entender los principios relevantes de aquello sobre lo que decide, distinguir una limitación física de una económica y saber cuándo le están vendiendo una solución imposible. Su trabajo exige criterio para escuchar a los especialistas, hacerles preguntas y decidir entre alternativas que tienen consecuencias.
Con la IA pasa algo parecido. Un directivo no necesita entrenar un modelo. Un periodista tampoco. Pero si van a tomar decisiones o a explicar lo que está pasando, necesitan distinguir un modelo de un agente, el entrenamiento del uso y una evaluación de una garantía.
No hace falta saberlo todo. Hace falta saber lo suficiente para reconocer qué no sabes y cómo afecta eso a la decisión que tienes delante.
Delegar la ejecución técnica tiene sentido. Delegar todo el criterio te deja a merced de quien mejor venda su explicación.
«Está mal programada» explica muy poco
Alrededor de un modelo hay mucho software programado de la forma habitual. Hay código que prepara datos, ejecuta el entrenamiento, conecta herramientas y permite utilizar el sistema. Ese código puede tener errores, como cualquier otro.
Pero el comportamiento de un modelo de lenguaje no se escribe respuesta por respuesta. Durante el entrenamiento se ajustan sus parámetros para mejorar respecto a unos objetivos. Lo aprendido no queda organizado como un manual de reglas redactado por una persona.
Por eso, cuando un modelo produce una respuesta falsa, decir que está «mal programado» puede ocultar justo lo que necesitamos averiguar. ¿El problema está en lo aprendido? ¿En el contexto que le dimos? ¿En una herramienta que devolvió datos incorrectos? ¿En haberle pedido una respuesta que no podía fundamentar? ¿En cómo construimos la aplicación?
No son preguntas intercambiables. Cambian el diagnóstico y cambian lo que hay que corregir.
Tampoco sirve el extremo contrario: «como aprende, ya no se puede hacer nada». Elegimos datos, objetivos, evaluaciones, instrucciones y condiciones de uso. Todo eso influye en el resultado. Lo que no tenemos es una traducción sencilla entre cada decisión de diseño y cada comportamiento posible.
Un modelo, un agente y una aplicación no son lo mismo
Cuando hablamos de «la IA» solemos meter en la misma bolsa piezas distintas. Luego discutimos sus capacidades como si fueran una sola cosa.
El modelo es el componente entrenado que procesa entradas y produce salidas. Un sistema agente utiliza un modelo, herramientas y un entorno para ir dando pasos hacia un objetivo. Una aplicación organiza esas capacidades para que alguien pueda usarlas. Y lo que en estos entornos llamamos una skill suele ser un paquete reutilizable de instrucciones y recursos para una tarea; el término varía entre herramientas.
Las fronteras no siempre están limpias, pero distinguirlas permite hacer preguntas mejores.
Por eso tampoco me convence explicar cualquier salto de capacidad diciendo que «ahora hay más agentes». Varios agentes pueden repartir trabajo o revisarse entre sí. También pueden repetir el mismo error. Contarlos no explica por sí solo por qué un sistema funciona mejor.
Los modelos tienen propiedades emergentes, los arneses también y la colaboración entre agentes también. Entender cada pieza no te permite entender el todo.
Si son ceros y unos, alguien tendrá que entenderlo
Esta es una de las intuiciones que más nos cuesta abandonar: si una máquina la hemos construido nosotros, alguien debe saber exactamente por qué hace todo lo que hace.
Conocemos las operaciones matemáticas que ejecuta un modelo. Podemos conocer su arquitectura y, cuando tenemos acceso, sus parámetros. Eso no equivale a disponer de una explicación comprensible de cada respuesta.
Poder registrar una secuencia de cálculos y entender qué mecanismo ha producido un comportamiento son cosas distintas. La explicación que buscamos tiene que permitirnos relacionar lo que ocurre dentro con lo que observamos fuera. Y hacerlo de una manera que podamos comprobar.
Hay avances. La investigación en interpretabilidad ya permite identificar y examinar algunos mecanismos internos. Los trabajos de trazado de circuitos de Anthropic muestran tanto posibilidades como limitaciones de ese enfoque. Sería falso decir que no entendemos absolutamente nada. También sería falso concluir que ya sabemos explicar de forma completa y fiable cualquier respuesta.
Además, preguntarle al modelo «¿por qué has dicho eso?» no resuelve el problema. Su contestación también es una salida generada: puede resultar convincente sin describir fielmente el proceso que produjo la respuesta anterior.
Una explicación que suena bien no es necesariamente una explicación verificada.
La transparencia hace falta, pero no hace magia
Conocer los datos y las condiciones de entrenamiento puede ayudar a investigar un sistema y exigir responsabilidades. Importa saber qué se ha utilizado, qué se ha evaluado y qué limitaciones se han encontrado.
Pero la transparencia sobre la construcción y la comprensión del funcionamiento interno no son equivalentes. Publicar los materiales y el procedimiento no convierte automáticamente en comprensible todo lo que ha aprendido el modelo.
Y la falta de comprensión completa tampoco significa ausencia de control. Podemos limitar permisos, exigir una aprobación antes de ejecutar determinadas acciones y comprobar resultados en casos definidos. Son controles sobre el sistema y su uso, aunque no expliquen todo lo que pasa dentro del modelo.
Esto tiene una consecuencia práctica: una buena evaluación aporta evidencia sobre las condiciones que has probado. No te entrega una garantía universal para todas las situaciones que puedan aparecer después.
Si confundimos estas cosas, acabamos comprando promesas imposibles o descartando medidas útiles porque no resuelven el problema entero.
Alineada con los humanos. ¿Con cuáles?
Después aparece otra frase que parece resolverlo todo: necesitamos que la IA esté alineada con los valores humanos.
De acuerdo. ¿Con los de quién?
No es una ocurrencia para esquivar el problema. Es parte del problema. Podemos compartir principios generales y discrepar profundamente cuando hay que aplicarlos. Nos pasa al repartir recursos, al decidir qué información debe circular o al elegir entre privacidad y comodidad.
Supongamos que una empresa quiere un agente que maximice las ventas. El cliente quiere comprar solo lo que necesita. Los trabajadores quieren que esa mejora no se consiga a costa de una presión imposible. No hay una instrucción neutral que haga desaparecer todas esas tensiones.
El alineamiento tiene una dimensión técnica: cómo conseguir que el sistema siga los objetivos y las restricciones establecidos. Y tiene otra normativa: quién decide esos objetivos, cómo se resuelven los conflictos y qué voz tienen los afectados. La investigación de DeepMind sobre valores y alineamiento plantea expresamente esa distinción.
Comprender mejor el funcionamiento del modelo puede ayudar a comprobar su comportamiento. No decide por nosotros qué comportamiento debemos pedirle. Y mejorar su alineamiento en una tarea tampoco exige haber explicado por completo todo su funcionamiento interno.
Son problemas relacionados. Ninguno desaparece por resolver el otro.
El criterio no viene incluido con la opinión
Hay mucho dinero alrededor de la IA. Hay intereses comerciales, políticos y personales. Conviene tenerlos presentes cuando escuchamos a alguien explicar lo que viene.
Pero detectar un interés no demuestra que una afirmación sea falsa. Del mismo modo, una credencial no la convierte en verdadera. Hay que mirar el argumento, las pruebas y lo que esas pruebas permiten concluir.
Podemos tener discusiones muy serias sobre los riesgos de la IA. Incluidos los de consecuencias extremas. Lo que no podemos es resolverlas saltando de «son ceros y unos» a «alguien lo controla», o de «no lo entendemos del todo» a «no hay nada que hacer».
Tampoco quiero una conversación pública reservada a especialistas. Quiero que el resto tengamos herramientas para participar sin depender de la confianza ciega en ellos. Que un periodista pueda detectar una explicación defectuosa. Que un directivo sepa qué está delegando. Que un ciudadano pueda distinguir entre un resultado observado, una hipótesis y una promesa.
Entender los fundamentos no garantiza acertar. Te permite reconocer qué se está discutiendo, qué evidencia falta y dónde empieza una decisión de valores que ninguna ecuación va a tomar por ti.
No sé si la IA acabará suponiendo una amenaza existencial. No voy a resolver esa pregunta con una frase rotunda mientras critico a quienes hacen precisamente eso.
Sí me preocupa que tomemos decisiones enormes sobre una tecnología que no nos hemos molestado en entender. Que confundamos tener una opinión con tener criterio. Y que pidamos a la tecnología que resuelva también nuestra responsabilidad de pensar.
La ignorancia ya está dentro de la conversación.
La buena noticia es que la ignorancia tiene solución.