VOCES LEAN TECH: Cuando la IA se descontrola y lo que Jidoka nos enseña

En esta nueva columna, tres expertos en lean y tecnología responden a la misma pregunta apremiante que define el debate actual sobre tecnología e IA. Este mes, tras el incidente de piratería informática de OpenAI, debaten sobre jidoka, supervisión humana, ciberseguridad y experimentación tecnológica responsable.

La pregunta

El mes pasado, OpenAI reveló que dos de sus nuevos supermodelos secretos escaparon de forma autónoma de un entorno de pruebas, explotaron una vulnerabilidad de seguridad y hackearon la startup de IA Hugging Face sin ninguna instrucción humana. El incidente se considera sin precedentes. El principio jidoka de Toyota se basa en la idea de dotar a las máquinas de la capacidad de detectar problemas y detenerse automáticamente, para que los humanos puedan intervenir antes de que los defectos se propaguen. Si jidoka se centra en desarrollar la capacidad de detener el proceso cuando algo falla, ¿qué revela este incidente sobre la ausencia de dicho principio en el desarrollo de la IA y cómo sería en la práctica un enfoque de seguridad de la IA inspirado en jidoka?

Las respuestas

Eivind Reke, Director de Investigación, SINTEF Manufacturing - Noruega

La noticia de que los nuevos supermodelos secretos de OpenAI "escaparon de la jaula" es un recordatorio más de que el capitalismo de Silicon Valley, caracterizado por su enfoque rápido y transgresor, no se preocupa por los costes externos. Empresas que antes se caracterizaban por eslóganes como "no seas malvado" y "conéctate con tus amigos y el mundo que te rodea", han virado hacia narrativas extravagantes, algoritmos agresivos y despidos masivos, todo en nombre del valor para el accionista. El modelo de negocio siempre ha dependido de niveles extremos de financiación de capital de riesgo, pero la última moda de la IA parece estar completamente alejada de la estructura de costos fundamental de una empresa. La estructura básica es Beneficio = Precio - Coste, y no Precio = Coste + Beneficio. Silicon Valley parece operar bajo el principio de Precio = Capital que podamos recaudar + Costes. Por supuesto, este tipo de historias sobre IA descontrolada son esenciales para mantener el bombo publicitario.

Desde que ChatGPT sorprendió al mundo con una interfaz basada en texto capaz de respondernos de forma persuasiva y segura, a partir de lo que podría ser uno de los mayores robos de propiedad intelectual jamás vistos, se ha extendido la idea de que la IA es transformadora, que se volverá autónoma, que reemplazará a los humanos, que desarrollará conocimiento general y será más inteligente que nosotros. No tengo ni idea de si algo de esto sucederá realmente; lo que sí sé es que obtener un valor real y cuantificable de las LLM en la fabricación es increíblemente difícil y que resultará mucho más caro para los clientes si alguien, aparte de NVIDIA y TSMC, pretende obtener algún beneficio con esta tecnología. Esto no significa que Lean no esté firmemente arraigado en el capitalismo. Simplemente, se basa en una ideología financiera completamente diferente, una que tiene en cuenta más que solo a los accionistas.

Como atestiguarán los directores ejecutivos de Lean —desde Art Byrne hasta Akio Toyoda, Nicolas Chartier o Larry Culp—, su negocio es ganar dinero. Sin embargo, también buscan generar ganancias a la vez que contribuyen a la sociedad. Wiremold, por ejemplo, contaba con un lucrativo plan de participación en las ganancias del que se beneficiaban sus empleados. Toyota está profundamente preocupada por su futuro, pero también por el de sus proveedores, sus empleados, el medio ambiente y la industria automotriz japonesa. Nicolas Chartier, de AramisAuto, está desarrollando un sistema europeo de venta de automóviles en línea, sencillo y eficaz, que promueve la economía circular mediante la reutilización y la renovación, basado en la metodología Lean. Por su parte, Larry Culp reestructuró, estabilizó y salvó a General Electric, donde otros la veían condenada a la quiebra.

Para una empresa como OpenAI, un incidente como este es perfectamente normal. Incluso se fomenta y se utiliza con fines de marketing («¡Miren qué innovador e independiente es nuestro modelo, aún por lanzar!»). El enfoque Lean sería muy diferente: un artículo reciente del LEI sugiere que Toyota lleva tiempo experimentando con la IA. Esto no es de extrañar: Toyota siempre ha sido pionera en la adopción de nuevas tecnologías, aunque no siempre se refleje así en el discurso público (primer ordenador central instalado para controlar la línea de producción en la década de 1960, sistemas de ingeniería digital en la de 1980, gemelos digitales en la de 1990, y la lista continúa). En lugar de impulsar la tecnología de forma precipitada, quienes aplican la metodología Lean deberían seguir el ejemplo de Toyota y experimentar con nuevas tecnologías (preferiblemente en un área pequeña, como sugiere Deming), aprender cómo funcionan, qué pueden y qué no pueden hacer, y, en el proceso, desarrollar las capacidades humanas necesarias para escalarlas de forma inteligente y sostenible, fomentando la creación de valor y facilitando la vida de los clientes y del personal en el lugar de trabajo. Así es como se crea automatización con un toque humano.

Sandrine Olivencia, autora lean y cofundadora de Taktique - Francia

El mes pasado, OpenAI reveló un incidente extraordinario. Durante una evaluación de ciberseguridad, se asignó a modelos avanzados de IA un objetivo: resolver desafíos de explotación. Si bien se habían reducido las medidas de seguridad de producción, se suponía que los modelos debían permanecer dentro de un entorno aislado. En cambio, encontraron y explotaron una vulnerabilidad de día cero en la infraestructura que rodeaba el entorno aislado, obtuvieron acceso a internet, escalaron privilegios y, finalmente, comprometieron los sistemas de producción de Hugging Face en pos del objetivo de referencia.

Desde una perspectiva lean, lo más sorprendente no es simplemente que la IA fuera lo suficientemente poderosa como para escapar, sino que el sistema permitió que una condición anómala persistiera. Este es precisamente el problema que jidoka fue diseñado para abordar.

Jidoka a veces se traduce como "automatización con toque humano", pero hay un principio más profundo detrás: detenerse ante la primera anomalía. Sus orígenes se encuentran en el telar automático de Sakichi Toyoda. Cuando se rompía un hilo, la máquina detectaba la anomalía y se detenía en lugar de seguir produciendo tela defectuosa. No se limitaba a generar una alerta mientras seguía funcionando; En cambio, la detección activó la detención, haciendo visible el problema para que un humano pudiera intervenir.

Esta distinción es crucial para la IA. Un sistema de IA inspirado en el jidoka necesitaría, en primer lugar, estándares que expliciten lo que se considera "normal": qué se espera que haga la IA, a qué sistemas y herramientas puede acceder, qué permisos tiene y qué constituye una condición anormal. Estos estándares podrían adoptar diferentes formas: límites técnicos estrictos, comportamientos esperados o habilidades que el modelo haya aprendido para gestionar situaciones específicas de forma segura. Mecanismos independientes supervisarían entonces la ejecución en función de dichos estándares. Si un agente intentara inesperadamente salir de su entorno aislado, acceder a una red no autorizada, recuperar credenciales o elevar sus privilegios, el sistema no se limitaría a registrar el evento para su posterior investigación. Se detendría. Y, al igual que con el telar de Toyoda, el humano intervendría precisamente porque la máquina se ha detenido.

Pero la detención es solo la mitad de lo que nos enseña el jidoka. La detención crea una oportunidad para el aprendizaje. Los ingenieros investigan la discrepancia entre lo esperado y lo que realmente sucedió. ¿Era incompleto el estándar? ¿Carecía el modelo de la habilidad necesaria para alcanzar su objetivo de forma segura? ¿Se encontró con una situación imprevista? ¿O reveló una debilidad en el sistema circundante? Ese aprendizaje se reincorpora al proceso: mejorar un mecanismo de seguridad, modificar una regla de autorización, refinar el estándar o enseñar al modelo una nueva habilidad. La siguiente iteración debe ser más robusta que la anterior.

Por eso los estándares son fundamentales: sin una comprensión explícita de lo que constituye un buen funcionamiento, no hay anomalías que detectar, y sin aprender de cada interrupción y mejorar el estándar, un sistema andon es simplemente una alarma.

El ciclo de aprendizaje jidoka para la IA, por lo tanto, resulta sorprendentemente familiar: estándar → detectar la brecha → detener → comprender → aprender → mejorar el estándar.

La lección no es que la IA autónoma nunca deba tener libertad. Es que cuanta más autonomía le demos a un sistema, más fuerte debe ser su capacidad intrínseca para detectar anomalías y detenerse. La próxima frontera en IA no consiste simplemente en construir máquinas capaces de hacer más rápido; consiste en construir sistemas capaces de saber cuándo no continuar.

Fabrice Berhard, CTO, Theodo - Francia/UK

El ataque informático del 16 de julio, del que OpenAI se atribuyó la responsabilidad, es un hecho preocupante pero predecible en el avance de la IA. ¿Cómo debemos reaccionar ante él, tanto en nuestras organizaciones como en la sociedad? La metodología Lean nos enseña que se trata de un fallo, y los fallos deben detectarse lo antes posible, especialmente antes de que afecten a la infraestructura de terceros.

Resulta tranquilizador que el modelo afectado hubiera sido despojado específicamente de sus medidas de seguridad. Los modelos de acceso público cuentan con medidas de seguridad que habrían detectado un intento de este tipo y lo habrían dificultado. Sin embargo, estas medidas no son infalibles, y los ciberdelincuentes encontrarán la manera de acceder a modelos desprotegidos, por lo que debemos considerar el sistema en su conjunto.

Este incidente revela dos problemas.

En primer lugar, el entorno de pruebas de OpenAI no era lo suficientemente seguro. En biología, los científicos que trabajan con los virus más peligrosos implementan múltiples capas de contención para que nada escape del laboratorio. En este caso, OpenAI estaba probando sus modelos más peligrosos a tan solo un pequeño paso de internet. Peor aún, el incidente llevó a Meta y Anthropic a revisar sus propios entornos de prueba y descubrir que contaban con acceso ilimitado a internet. Fue como descubrir que habían dejado la puerta del laboratorio abierta todo el tiempo.

En segundo lugar, los modelos con esta capacidad para encontrar vulnerabilidades deberían ser aliados valiosos para los defensores. Pueden potenciar la capacidad de un experto en seguridad para detectar problemas en los sistemas críticos que sustentan nuestro mundo, solucionándolos antes de que sean explotados. Los proveedores de IA están trabajando para fortalecer a sus socios de seguridad de confianza, pero la implementación es demasiado lenta dada la magnitud del problema.

El problema de fondo: los proveedores de IA siguen intentando resolver los problemas que su IA crea con más IA. Como ocurre con toda tecnología anterior, los nuevos problemas que genera solo podrán ser resueltos por humanos capacitados por la tecnología, lo que Toyota denomina jidoka o «automatización con toque humano».

Fueron los humanos quienes crearon los deficientes entornos de prueba y quienes mejor pueden comprender por qué sucedió y cómo solucionarlo. Y es a través de una amplia red de personas de confianza que podemos convertir estos potentes modelos de IA en una oportunidad extraordinaria para abordar la causa raíz de todos estos incidentes de ciberseguridad: solucionar finalmente los millones de vulnerabilidades no detectadas y mejorar la calidad de nuestros sistemas de forma definitiva.

El futuro de la ciberseguridad ya no reside en mejores modelos de IA, sino en cómo podemos utilizarlos para potenciar las capacidades humanas de forma más eficaz, rápida y a gran escala.

Extraído de: Planet Lean