La paradoja de la protección: Los orígenes del debate sobre la IA en ciberseguridad
Durante meses, los gigantes de la inteligencia artificial han implementado programas de verificación y estrictos “guardarraíles” para limitar el uso malicioso de sus modelos. Sin embargo, estas mismas barreras, concebidas para la seguridad, están empezando a obstaculizar el trabajo de defensores de redes legítimos y de investigadores de ciberseguridad ofensiva, creando una paradoja que amenaza la misma seguridad que buscan proteger.
Este debate cobró notoriedad en junio, cuando el gobierno de EE. UU. impuso restricciones de control de exportación a los muy publicitados modelos de IA de Anthropic, Mythos y Fable. Esta medida fue provocada, al menos en parte, por un informe que alegaba la posibilidad de eludir los guardarraíles de los modelos, diseñados para evitar su uso en ciberataques maliciosos. Aunque las restricciones sobre Fable 5 y Mythos 5 fueron posteriormente levantadas —Fable 5 regresó al acceso general el 1 de julio y Mythos 5 se reintrodujo solo para organizaciones estadounidenses verificadas— el incidente puso de manifiesto la tensión subyacente.
Anthropic, por ejemplo, había comercializado repetidamente a Mythos como una especie de “máquina cibernética apocalíptica” que solo podía ser entregada a usuarios cuidadosamente examinados y con estrictas salvaguardias. Esta filosofía de control no es exclusiva de Mythos; tanto Anthropic como OpenAI ofrecen programas de acceso verificado para investigadores de ciberseguridad, como el programa Trusted Access for Cyber de OpenAI y el Cyber Verification Program de Anthropic. Estos programas permiten un acceso con menos restricciones, pero la necesidad de una “puerta de entrada” ha generado críticas.
Investigadores de renombre, como Mark Dowd, con décadas de experiencia en la búsqueda y venta de “zero-days” (fallas de software previamente desconocidas), han expresado su incomodidad. Dowd, en una aparición reciente en un podcast, señaló que le resulta “incómodo que estas grandes empresas aleatorias tomen decisiones arbitrarias sobre lo que es seguro en seguridad y lo que no lo es”. Su experiencia resalta un punto crucial: la inteligencia artificial es una herramienta de doble filo que, en manos equivocadas, puede ser devastadora, pero que, con demasiadas restricciones, puede impedir la defensa.
El dilema de los expertos: Datos y hechos que revelan la fricción entre seguridad y progreso en IA
El núcleo del problema reside en cómo los guardarraíles de la IA afectan directamente la labor diaria de quienes defienden nuestros sistemas. Chris Anley, científico jefe de la consultora de seguridad NCC Group, explicó que pedir a un modelo de IA que intente explotar un error es un paso clave para confirmar que se trata de una vulnerabilidad real digna de ser corregida. Si un guardarraíl impide que el modelo responda a esta pregunta, el guardarraíl, paradójicamente, perjudica a los defensores.
Anley compara la situación con un martillo: “No se puede construir una casa sin un martillo. Definitivamente es una herramienta, pero también es irreductiblemente un arma”. Esto subraya que la misma herramienta puede ser ofensiva y defensiva, y que ambas funciones son inseparables en el ámbito de la ciberseguridad. Cuando él y sus colegas encuentran estos obstáculos, a menudo recurren a modelos de IA de código abierto, que carecen por completo de guardarraíles.
Paolo Stagno, CTO de Crowdfense, empresa especializada en vulnerabilidades, coincide con Dowd, afirmando que las empresas de IA “tratan a los clientes como niños que necesitan ser supervisados” con sus programas y guardarraíles. Stagno utiliza modelos de vanguardia solo para ingeniería inversa, evitando usarlos para encontrar vulnerabilidades o construir exploits. Su razón es la preocupación por la fuga de datos sensibles si se alimenta ese trabajo a un modelo basado en la nube. Para esta fase crítica, prefieren modelos de código abierto ejecutados localmente, sin compartir datos externos.
No todos los investigadores se sienten impedidos. Giuseppe Cali, un investigador de seguridad que descubre zero-days y desarrolla exploits, no utiliza la IA para su trabajo ofensivo directo. En cambio, la emplea para:
- Ingeniería inversa inicial, para comprender el código que analiza.
- Construir herramientas de apoyo que aceleran el proceso.
Cali valora el descubrimiento personal de errores y la “militarización” de las vulnerabilidades, asegurando que “no cambiaría si todos los guardarraíles se levantaran mañana”.
Sin embargo, la experiencia general es de frustración. Un investigador anónimo de un fabricante de componentes de teléfonos inteligentes, no autorizado a hablar con la prensa, reveló que los guardarraíles de Anthropic hacen que sus herramientas sean casi inútiles para encontrar vulnerabilidades, ya que “si detecta que estamos haciendo algo relacionado con la seguridad, simplemente se detiene y no es utilizable”.
Chris Thompson, CEO de RemoteThreat y fundador de Offensive AI Con, destacó la inconsistencia de los guardarraíles en los modelos de IA de frontera, incluso dentro de los programas verificados. Esta inconsistencia lleva a los investigadores a “negociar mucho con el modelo en lugar de trabajar en el programa de seguridad central”, perdiendo tiempo en entender por qué los resultados son erráticos o por qué los modelos “limpian” demasiado la salida. Ante esta situación, muchos investigadores se ven empujados a utilizar modelos de código abierto chinos como GLM, que son de descarga gratuita, se ejecutan localmente y no tienen restricciones de uso.
Navegando la tormenta digital: Análisis del impacto en la industria y el usuario final
La consecuencia de estas políticas es profunda y potencialmente dañina. Chris Thompson advierte que esta tendencia de los investigadores responsables a alejarse de los sistemas controlados por EE. UU. hacia sistemas de propiedad extranjera es “más perjudicial que beneficiosa”. Considera que tener estos guardarraíles en su lugar está creando un riesgo nacional significativo, pues limita la capacidad de los expertos internos para desarrollar defensas de vanguardia. Este fenómeno se integra en un debate más amplio sobre el control gubernamental de la IA y su impacto en la innovación.
La comunidad de ciberseguridad, incluyendo expertos que ya cuestionaban la medida inicial sobre los modelos de Anthropic, clama por un cambio. Thompson insta a los laboratorios de IA de frontera a abrir sus programas, proporcionar acceso responsable y responsabilizar a quienes abusan de sus herramientas. Si no lo hacen, argumenta, los defensores perderán la carrera de la IA.
La advertencia es clara: “Se acerca una gran tormenta. Habrá una gran ola de ataques que ocurrirán a una velocidad y escala nunca antes vistas”. Sin embargo, las mismas firmas consultoras de seguridad y los investigadores legítimos que intentan marcar la diferencia están siendo sofocados por estas restricciones. La imposición de guardarraíles demasiado estrictos no solo frena la innovación, sino que también debilita la capacidad de una nación para defenderse de futuras amenazas cibernéticas, poniendo en riesgo la infraestructura crítica y la privacidad de los usuarios finales.
La solución no es sencilla, pero la dirección es clara: equilibrar la seguridad con la necesidad de una investigación sin trabas. El levantamiento de las restricciones de exportación para los modelos Mythos y Fable de Anthropic por parte del gobierno estadounidense, como informamos en un artículo anterior, es un paso en la dirección correcta. Sin embargo, la comunidad de IA y ciberseguridad debe seguir presionando para que se establezcan políticas que permitan a los defensores usar plenamente el potencial de la IA, sin comprometer la seguridad o, peor aún, empujándolos a herramientas menos transparentes y potencialmente más riesgosas.