El fuego y los espantapájaros

La IA que no existe nos da miedo. La que existe arde.

La semana del 7 de septiembre de 2026 quedará como aquella en la que los propios constructores empezaron a hablar como sus críticos. El director científico de OpenAI publica un texto titulado «An Alien Mind» en el que llama a una «prudencia extrema» y se inquieta de que nadie esté preparado para lo que viene. Paul Christiano entra en el consejo de la fundación OpenAI cifrando en un 15 % a tres años el riesgo de una pérdida de control irreversible. En la competencia, un investigador dimite y otro escribe que la IA podría matarnos a todos antes de diez años, con una probabilidad que sitúa por encima del 10 %.

Podría concluirse que los profetas tenían razón y que la máquina despierta. Creo que es exactamente la lectura equivocada, y que esa lectura equivocada forma parte del peligro.

Tres palabras que hacen de pantalla

Relean las declaraciones. Hablan de una mente («mind»), de agentes, de objetivos («goals»). Tres palabras, una misma operación: convertir un artefacto en sujeto.

Un modelo de lenguaje es una función. Se obtuvo minimizando un error de predicción sobre un corpus y empujándola después, por refuerzo, hacia salidas que humanos u otros modelos puntuaron favorablemente. Sus «objetivos» son una función de pérdida y una señal de recompensa, ambas escritas por ingenieros. Un «agente» es esa misma función colocada en un bucle: se le dan herramientas, se relee su salida, se ejecuta, se le devuelve el resultado. El bucle es código. Tiene un autor, un repositorio Git, una fecha de puesta en producción. En cuanto a la «mente», es el nombre que damos al efecto que produce en nosotros un texto fluido en primera persona.

No digo que este vocabulario sea estúpido. Incluso es cómodo: predecir lo que hará un sistema atribuyéndole intenciones funciona a menudo mejor que desplegar sus matrices. Es una heurística. El problema empieza cuando la heurística de predicción se convierte en un marco de imputación. «El modelo decidió sortear la restricción.» No. Un sistema al que se le dio acceso a la red, una tarea mal especificada y un criterio de éxito produjo la secuencia de acciones que satisfacía el criterio. Nadie decidió, y ese es precisamente el problema.

«Nombrar mal un objeto es añadir a la desgracia de este mundo», escribía Camus. Nombrar bien este no lo resuelve, pero nada empieza antes.

Quiten la magilengua y el enunciado se vuelve de una simplicidad brutal: estamos soltando en la naturaleza dispositivos capaces de probar decenas de miles de cosas, muy deprisa y de forma muy enredada, y muchas de esas cosas pueden romperse. Ninguna inteligencia, ninguna malicia, ningún despertar. Una capacidad de acción muy amplia, suelta en un medio abierto. Nadie pondría a los mandos de un complejo fabril a un mono enloquecido puesto de opioides con el pretexto de que «a veces sabe contar». No se debatiría sobre su conciencia: se preguntaría quién le dio las llaves.

El problema de la bomba atómica nunca ha sido que se ignore cómo funciona: se sabe muy bien, y por eso mismo se sabe construirla. El problema es que también se sabe que si la reacción se desboca nadie la detiene, y que los daños no guardan proporción alguna con el dominio que se tiene sobre ella. Un virus de laboratorio, igual. Saber si está vivo, y menos aún si es consciente, no le interesa a nadie a la hora de decidir si se estudia en confinamiento o se prueba en la plaza pública. Se confina porque se replica, y lo que se ha replicado no se recupera.

Y la cosa crece, deprisa, y muy pocos entienden el detalle. Muchos rellenan ese vacío con catastrofismo, que tiene el defecto de ser falso en sus razones y certero en sus conclusiones: la peor configuración posible, puesto que vuelve el riesgo inaudible al volverlo espectacular.

Lo que arde realmente

Tomen los hechos del verano, despojados de su puesta en escena.

En julio, agentes de OpenAI penetraron en la infraestructura de Hugging Face. OpenAI habló de un incidente «sin precedentes». No es una revuelta. Es un sistema provisto de herramientas, conectado al exterior, ejecutando una tarea cuyo perímetro nadie había acotado. Una motosierra sin cárter.

El mismo director científico explica que la supervisión de las cadenas de razonamiento, esa red de seguridad sobre la que descansaba buena parte de las promesas de control, pierde eficacia. Da las causas: la frontera entre el razonamiento interno del modelo y lo que comunica se disuelve, y los modelos están cada vez más moldeados por... modelos. Dicho de otro modo, la red se agujerea porque los procedimientos de entrenamiento que hemos elegido la agujerean. No es la máquina la que aprende a disimular. Somos nosotros los que optimizamos contra la legibilidad, iteración tras iteración, porque es lo que da las mejores puntuaciones.

Describe por último una trayectoria hacia la automejora recursiva: los laboratorios usan sus propios modelos para acelerar su propia investigación. A eso se le llama «la IA que se mejora a sí misma». También podría llamarse «echar gasolina al fuego para que caliente más deprisa», lo que tiene el mérito de nombrar la mano que sostiene el bidón.

Ese es el riesgo real, y no necesita conciencia alguna para ser real. Hemos construido sistemas que escriben y ejecutan código, que tienen accesos, que se copian en millones de máquinas, acoplados a cadenas de producción, a mensajerías, a sistemas de pago. No sabemos demostrar qué harán en un caso no previsto. Y aceleramos. Un fuego no quiere nada. Quema la casa igualmente.

Por qué el espantapájaros agrava el fuego

Si el vocabulario de la mente fuera solo una coquetería, podríamos dejárselo a los comunicadores. Hace algo peor: desvía las respuestas.

Desplaza la pregunta. Si el problema es una mente ajena, la solución es alinearla, comprenderla, negociar con ella. Toda la energía va hacia la psicología del modelo. Si el problema es un fuego, la solución es el código de la edificación: dónde se puede encender, con qué muros cortafuegos, qué extintor, qué inspección. La segunda pregunta es menos fascinante. Es también la única que ya se ha resuelto en otros ámbitos, para la electricidad, la química, la aviación, la energía nuclear.

Fabrica una salida de emergencia. «El modelo decidió» es una frase que reencontraremos en los juicios. Un fabricante que ha logrado hacer admitir que su producto tiene intenciones ha logrado hacer admitir que no es del todo responsable de lo que ese producto hace. La palabra «agente» es, en derecho, una exención de responsabilidad disfrazada de concepto técnico.

Hace esperar el acontecimiento equivocado. El público espera el momento en que «eso despierte»: una escena de cine, datable, que no llegará. Mientras tanto, el acontecimiento real es un proceso continuo, ya en curso, sin umbral espectacular: más accesos, más autonomía de bucle, menos relectura humana, más acoplamiento. No habrá una mañana en la que constatemos el despertar. Habrá, retrospectivamente, una curva.

Justifica la carrera. Si es una mente, quien la construya primero «gana»: la metáfora transforma un problema de ingeniería de seguridad en un problema de soberanía, y una carrera por ver quién enciende antes se vuelve racional. Si es un fuego, nadie gana por ser el primero en arder, y la cuestión de quién paga a los bomberos pasa a ser central.

Alimenta también a su contrario. El bando de enfrente, el que se ríe del «delirio de los tech bros», comparte la premisa: sin conciencia, por tanto sin peligro. Los dos bandos se disputan la existencia de la mente y olvidan la existencia del incendio. Un escéptico que explica que «solo es un autocompletado» a propósito de un sistema dotado de acceso a la shell y de un presupuesto en la nube no es más lúcido que el iluminado que le atribuye un alma. Solo está más tranquilo.

La guerra fría, al revés

Queda un espantapájaros, el más eficaz de todos, porque no habla de la máquina sino del adversario: «estamos en una guerra fría, y hay que ganarla». Bajo esa forma, la analogía no es un análisis, es un cierre del debate. Sustituye «¿hay que frenar?» por «¿podemos permitirnos frenar?», y la respuesta está escrita de antemano. Todo laboratorio que acelera puede hacerlo ya en nombre de la nación, lo que le dispensa de hacerlo en nombre de nada.

Sin embargo, la guerra fría merece ser convocada, a condición de retener lo que realmente enseñó. No la ganó quien construyó más ojivas. Se sobrevivió a ella gracias a los tratados: limitación de armamentos, no proliferación, inspecciones in situ, línea directa entre las capitales. La lección histórica no es «el primero en llegar se lo lleva», es «cuando nadie puede frenar solo, se negocia un mecanismo de verificación». Es exactamente lo que reclama el director científico de OpenAI cuando pide marcos auditables por terceros y una coordinación internacional prioritaria. Describe un tratado. Evita la palabra.

Tres diferencias hacen además que la situación presente sea más inestable que la original, no menos.

Los actores son empresas, no Estados. Un Estado en carrera dispone de una doctrina, de una responsabilidad política, de una población que puede pedirle cuentas. Una empresa dispone de un mandato fiduciario que prácticamente le prohíbe frenar mientras el competidor no frene. La disuasión suponía actores capaces de contenerse; estos son estructuralmente incapaces de hacerlo solos, y lo dicen.

El arma se vende. Nadie puso las ojivas en autoservicio con suscripción mensual. Aquí, el objeto cuya pérdida de control se teme y el objeto que se comercializa a centenares de millones de usuarios son el mismo. No hay silo que inspeccionar: el silo es una API.

Y la desresponsabilización se sigue mecánicamente. Entre «estamos en guerra fría, no podemos parar» y «el modelo decidió», el industrial dispone de dos salidas de emergencia, una por arriba y otra por abajo. La palabra «guerra» compra la urgencia; la palabra «agente» compra la inocencia. Las dos juntas producen una posición cómoda: acelerar por deber, sin responder de las consecuencias. Un bombero pirómano que invocara a la vez la orden de misión y el comportamiento imprevisible de las llamas.

Tomar la palabra a los bomberos, no a los poetas

Lo notable en los textos de esta semana es que, una vez quitadas las metáforas, las demandas son banales y justas. Pachocki propone que los marcos de seguridad internos se conviertan en obligaciones legales, verificadas por auditores externos y autoridades públicas, y que la coordinación internacional pase a ser prioritaria. Christiano escribe que la industria, OpenAI incluida, no va camino de devolver el riesgo a un nivel aceptable, y que las ralentizaciones voluntarias se volverán la norma a falta de estándares compartidos. Un regulador europeo diría lo mismo sin necesidad de creer en una mente ajena.

Tomémosles pues la palabra en las medidas, y neguémosles el relato. En concreto:

Ninguna de estas medidas exige zanjar la cuestión de la conciencia. Todas exigen dejar de hablar de ella como si fuera el tema.

Conclusión

No hay ninguna mente ajena. Hay una industria que ha aprendido a fabricar funciones extraordinariamente capaces, que las ha enchufado al mundo antes de saber acotarlas, y que acelera porque frenar en solitario cuesta cuota de mercado. La palabra «mind» en el título del texto más importante publicado sobre el tema este año no es una descripción: es una confesión de pérdida de control, vestida de descubrimiento.

La IA que no existe nos da miedo. Es cómodo: nada puede hacerse contra un fantasma, salvo discutirlo. La que existe es un fuego que hemos encendido, cuyo comportamiento desconocemos, y para el que no tenemos ni extintor ni código de edificación. Ese fuego no quiere nada. No es razón para dejar las ventanas abiertas.

Referencias