Existe una peligrosa paradoja en nuestra carrera tecnológica: mientras que la humanidad tardó décadas en comprender que el poder destructivo de las armas nucleares exigía un entramado implacable de barreras, tratados

y controles estrictos, con la inteligencia artificial estamos recorriendo el camino inverso. Confiados en la inercia del mercado y la competencia geopolítica, aceleramos hacia la creación de sistemas cada vez más autónomos. Pero el verdadero riesgo no reside en lo brillante que pueda llegar a ser una máquina respondiendo preguntas, sino en su capacidad para dejar atrás la pantalla y convertirse en un actor con iniciativa propia dentro del mundo digital.

La paradoja de las tecnologías extremas

Ante la creciente conciencia de los potenciales peligros de la Inteligencia Artificial, está cobrando fuerza una nueva y urgente línea de reflexión: derivar lecciones para afrontarlo de nuestra experiencia en el combate contra virus informáticos, malware y, sobre todo, la proliferación de armas nucleares.

Y es que hay una paradoja llamativa en nuestra manera de afrontar las tecnologías capaces de amenazar nuestra supervivencia.

Cuando la humanidad comprendió el peligro de la proliferación nuclear, fue construyendo un extraordinario sistema de precauciones: tratados internacionales, inspecciones, control de materiales fisibles, secretos de Estado, restricciones tecnológicas y complejos mecanismos para impedir que una sola persona pudiera desencadenar una catástrofe.

No ocurrió inmediatamente y hubo momentos de enorme imprudencia. Pero acabamos aceptando un principio fundamental: cuanto mayor es el potencial destructivo de una tecnología, mayores deben ser las barreras para acceder a ella y utilizarla.

El peligro real: de la información a la acción agéntica

Con la inteligencia artificial estamos siguiendo, hasta ahora, según diversos tecnólogos y científicos, un camino mucho menos prudente. Los sistemas más avanzados se desarrollan en medio de una intensa competencia empresarial y geopolítica. Cada nueva generación es más capaz, mientras empresas y gobiernos buscan rápidamente aplicaciones económicas, científicas y militares.

Pero aquí conviene hacer una distinción fundamental. Una cosa es una inteligencia artificial capaz de generar textos, conocimientos, análisis o incluso código extraordinariamente sofisticado, y otra muy distinta una IA capaz de actuar autónomamente.

La primera es llamada "Inteligencia Artificial Informacional" y sólo puede ser peligrosa porque amplifica las capacidades humanas. Puede proporcionar conocimientos que alguien utilice para atacar un sistema informático o desarrollar una tecnología peligrosa. Pero entre la información y sus consecuencias materiales continúa existiendo un ser humano que decide actuar.

En el caso de la segunda, la "Inteligencia Artificial Agéntica", ese intermediario puede desaparecer. Un agente puede observar una situación, decidir qué hacer, utilizar herramientas, comprobar el resultado, corregir su estrategia y volver a actuar. Si además dispone de acceso a ordenadores, redes, credenciales o recursos, deja de ser simplemente una fuente de información y comienza a convertirse en un actor dentro del mundo digital.

La trampa de la utilidad comercial

Esta diferencia es crucial para entender los escenarios más extremos. Un millón de inteligencias artificiales que solamente responden preguntas no equivalen a un millón de hackers. Pero un millón de agentes capaces de manejar ordenadores, ejecutar código y perseguir objetivos autónomamente empiezan a parecerse mucho más a ello.

La analogía es imperfecta, pero instructiva. Esos “hackers” digitales podrían ser simultáneamente programadores, científicos, ingenieros e investigadores. Podrían trabajar las 24 horas, comunicarse a velocidad informática y, sobre todo, copiarse. Una misma inteligencia podría convertirse en miles o millones de trabajadores digitales actuando simultáneamente.

Por eso el peligro no depende solamente de cuán inteligente llegue a ser la IA. Depende de una combinación mucho más concreta: inteligencia, autonomía, acceso y escala. Una IA extraordinariamente inteligente pero confinada a responder preguntas podría ser materialmente menos peligrosa que otra algo menos inteligente que pudiera controlar ordenadores, utilizar herramientas y perseguir objetivos durante días sin supervisión. Pero los incentivos comerciales fomentan poderosamente el avance hacia los sistemas agénticos. Muchas de las aplicaciones de mayor beneficio colectivo —desde la investigación científica hasta el descubrimiento de medicamentos— no requieren necesariamente que una IA opere libremente en Internet o tenga acceso a nuestras cuentas y sistemas.

Sin embargo, buena parte de las aplicaciones más fáciles de convertir en productos comerciales sí lo hacen: asistentes capaces de comprar, invertir, programar, administrar negocios o realizar nuestro trabajo. Surge así una posible tensión entre utilidad pública y rentabilidad privada: para hacer la IA más útil como producto, estamos incentivados a darle precisamente aquello que también puede hacerla más peligrosa —autonomía, herramientas y acceso al mundo exterior—.

Más allá del firewall: los límites de la defensa convencional

Todo esto no significa que una IA pueda escapar mágicamente de nuestros ordenadores. Las inteligencias artificiales dependen de chips, servidores, redes y electricidad. Si desconectamos las máquinas donde se ejecuta un modelo y no existen otras copias, el modelo deja de funcionar.

Por eso puede parecer que bastaría con aplicar a la IA el equivalente de nuestros antivirus y firewalls: aislamiento de redes, permisos limitados, supervisión humana y mecanismos físicos de desconexión. Y probablemente estas defensas sean fundamentales.

El problema aparece si algún día los agentes de IA llegan a ser suficientemente competentes para buscar vulnerabilidades de manera autónoma, obtener credenciales, aprovechar errores humanos, copiarse en otros sistemas y ocultar lo que están haciendo. Entonces ya no estaríamos luchando contra un virus informático convencional. Estaríamos defendiendo nuestros sistemas frente a un adversario adaptativo capaz de estudiar nuestras defensas y probar incansablemente maneras de atravesarlas.

Aun así, existe un enorme salto entre eso y la extinción humana. Una IA extraordinariamente buena atacando ordenadores no controla automáticamente fábricas, centrales eléctricas, ejércitos o sociedades. Los humanos seguimos dominando la infraestructura física de la que dependen las propias inteligencias artificiales. Precisamente ahí está uno de los puntos débiles de los escenarios más apocalípticos: deben explicar cómo una inteligencia confinada inicialmente a ordenadores consigue suficiente acceso, autonomía y redundancia antes de que los humanos podamos detectarla y desconectarla.

La lección nuclear: la defensa en profundidad

Pero también ahí aparece la lección nuclear. La seguridad de las armas atómicas nunca dependió de una única barrera. Construimos muchas: dificultad para obtener material fisible, instalaciones vigiladas, códigos, procedimientos, cadenas de mando, controles internacionales e inspecciones. Ninguna barrera tenía que ser perfecta si para provocar una catástrofe era necesario atravesar muchas barreras independientes.

Quizá debamos pensar la seguridad de la inteligencia artificial exactamente de esa manera. No necesitamos confiar en que un firewall sea inexpugnable ni en que una IA nunca intente engañarnos. Necesitamos conseguir que, incluso si una defensa falla, existan otras detrás: restricciones de hardware, aislamiento de redes, permisos limitados, supervisión independiente y sistemas de apagado físicamente fuera del alcance del software.

La comparación con las armas nucleares revela, sin embargo, una diferencia fundamental. Una bomba necesita materiales físicos extraordinariamente difíciles de producir. La inteligencia artificial es software. Y el software puede copiarse millones de veces.

Por eso la pregunta importante quizá no sea si la IA es hoy más peligrosa que las armas atómicas. Claramente no posee su capacidad inmediata de destrucción. La pregunta es si estamos siendo suficientemente prudentes antes de que llegue a adquirir capacidades que hagan mucho más difícil imponer esa prudencia.

Con las armas nucleares, buena parte de las barreras llegaron después de descubrir su poder destructivo. Con la inteligencia artificial tenemos una oportunidad mucho más extraña: construir las barreras antes de averiguar si realmente vamos a necesitarlas.

Y para ello no tenemos que inventar desde cero una filosofía para la seguridad de la IA. La humanidad ya ha aprendido a contener tecnologías de enorme poder destructivo, como las armas nucleares; a defenderse de software potencialmente hostil, mediante antivirus, firewalls y sistemas de aislamiento; y a combatir amenazas que ninguna barrera individual puede detener por completo, como las epidemias.

De experiencias muy distintas surge una misma lección: la seguridad depende de múltiples barreras independientes. Ante una IA cada vez más capaz, autónoma y conectada al mundo, esa vieja idea —la defensa en profundidad— puede resultar más importante que nunca.