Así creó Microsoft uno de sus principales productos de IA generativa

Para hacerse una idea del potencial real y las dificultades prácticas de la IA generativa, basta con ver los primeros trabajos de Microsoft en su servicio Security Copilot.

El mayor fabricante de software del mundo presentó Security Copilot a principios de 2023. Se trata de uno de los nuevos productos de IA más importantes de Microsoft, que aprovecha la GPT-4 de OpenAI y un modelo propio para responder a preguntas sobre amenazas cibernéticas de forma similar a ChatGPT. 

El camino hasta su lanzamiento fue difícil, pero también incluyó esperanzadoras revelaciones sobre el poder de esta nueva tecnología, según una presentación interna de Microsoft de finales de 2023. Business Insider ha obtenido un extracto de la presentación, que revela algunos detalles sobre cómo se creó este importante producto de IA.

Problemas de suministro de GPU

En un principio, Microsoft estaba trabajando en sus propios modelos de aprendizaje automático para usar en casos de seguridad, según la presentación de Lloyd Greenwald, socio de Microsoft Security Research. 

La iniciativa, que incluía una cantidad inmensa de petabytes de datos de seguridad, se estancó por falta de recursos informáticos porque "todo el mundo en la empresa" estaba utilizando el limitado suministro de GPU de Microsoft para trabajar con GPT-3, el predecesor de GPT-4, explicó Greenwald.  

Acceso anticipado a GPT-4

Entonces, el gigante del software obtuvo acceso anticipado a GPT-4 como un "tented project" (en español, proyecto de carpa), dijo, según el audio obtenido por Business Insider. El término designa a aquellos proyectos a los que Microsoft restringe severamente el acceso. 

En ese momento, Microsoft dejó de enfocarse en sus propios modelos para ver qué podía hacer en el espacio de la ciberseguridad con GPT-4.

"Presentamos nuestras exploraciones iniciales de GPT-4 a clientes gubernamentales para conocer su opinión y también lo presentamos a clientes externos sin decir cuál era el modelo que estábamos utilizando", explicó Greenwald.

El discurso

El discurso se centró en las ventajas de utilizar un único modelo universal de inteligencia artificial en lugar de muchos modelos individuales.

Microsoft sigue disponiendo de varios modelos específicos de aprendizaje automático para resolver problemas concretos, como la atribución de campañas de ataques, la detección de cuentas comprometidas y la detección de ataques a la cadena de suministro, explicó Greenwald.

"La diferencia es que si tienes un gran modelo universal o un modelo fundacional como GPT-4, puedes hacer todo con un solo modelo", añadió. "Así es como se lo planteamos al Gobierno en su día y les mostramos un poco lo que intentábamos hacer".

Greenwald señaló que las capacidades que Microsoft mostró inicialmente al gobierno eran "infantiles comparadas con el nivel de sofisticación" que la empresa ha alcanzado ahora.

El portavoz de Microsoft, Frank Shaw, dijo que la reunión se refería a la tecnología construida sobre GPT 3.5 y es "irrelevante" para el actual Security Copilot construido sobre GPT-4.

"La tecnología que se discutió en la reunión era un trabajo exploratorio anterior a Security Copilot y se probó en simulaciones creadas a partir de conjuntos de datos públicos para las evaluaciones del modelo, no se utilizaron datos de clientes", dijo Shaw. "Hoy en día, nuestros clientes del Early Acces Program [Programa de Acceso Anticipado, en español] comparten regularmente su satisfacción con la última versión de Security Copilot".

Selecciones y alucinaciones

Según el audio obtenido por Business Insider, Microsoft empezó a probar las capacidades de seguridad de GPT-4 mostrando al modelo de IA registros de seguridad para ver si podía analizar el contenido y entender lo que estaba pasando.

Por ejemplo, pegaban un registro de seguridad de Windows en GPT-4 y luego pedían al modelo que se convirtiera en un "cazador de amenazas" y averiguara qué había ocurrido, explicó Greenwald en la presentación.

Todo ello sin ningún tipo de formación adicional sobre datos de seguridad específicos, simplemente con el modelo general de OpenAI. GPT-4 fue capaz de entender este registro, compartir algunas cosas interesantes sobre lo que había en el registro y decir si había algo malicioso. 

"Ahora bien, en cierto modo se trata de un ejemplo escogido, porque también nos diría cosas que no eran correctas en absoluto", afirma Greenwald. "La alucinación es un gran problema con los LLM [Large Lenguage Model, por sus siglas en inglés], y en Microsoft hacemos mucho para intentar eliminar las alucinaciones, y parte de ello es basarlo en datos reales, pero esto es simplemente tomar el modelo sin basarlo en ningún dato. Lo único que le enviamos fue este registro y le hicimos preguntas". 

"Tuvimos que seleccionar un poco para conseguir un ejemplo que se viera bien porque se desviaba y, como es un modelo estocástico, nos daba respuestas diferentes cuando le hacíamos las mismas preguntas", añadió. "No era tan fácil obtener buenas respuestas".

En el audio de la presentación no queda claro si Greenwald estaba diciendo que Microsoft utilizó estos ejemplos escogidos durante las primeras demostraciones al gobierno. Business Insider preguntó a la empresa específicamente sobre esto y no obtuvo respuesta.

"Trabajamos estrechamente con los clientes para minimizar el riesgo de alucinaciones, basando las respuestas en los datos de los clientes y proporcionando siempre citas", dijo Shaw, de Microsoft.

Profundizar en los datos de formación

Microsoft también indagó para ver de dónde sacaba GPT-4 la información que ya parecía conocer sobre temas de ciberseguridad como registros, situaciones comprometidas e inteligencia sobre amenazas.

Greenwald dijo que la experiencia de Microsoft en el desarrollo de Github Copilot demostraba que los modelos de OpenAI se entrenaban con código abierto. Pero estos modelos también se entrenaron con artículos de informática, datos de oficinas de patentes y rastreos de sitios web durante 10 años.

"Así que había datos razonables sobre seguridad, todo estático en el tiempo, todos los datos de seguridad anteriores a finales de 2021", explicó Greenwald.

Indicadores de Compromiso

Greenwald también compartió otro ejemplo de las preguntas de seguridad que Microsoft hizo a los modelos de OpenAI, diciendo "esto es justo lo que demostramos al gobierno", según el audio de su presentación.

Una vez más, Microsoft le dijo al modelo de IA que fuera un "cazador de amenazas", pero esta vez le dio un registro de seguridad diferente de un incidente específico y le pidió que explicara lo que estaba pasando e identificara cualquier Indicador de Compromiso (IOC, por sus siglas en inglés). Se trata de rastros digitales que los delincuentes digitales dejan en el interior de las redes informáticas durante los ataques.

El modelo fue capaz de averiguar los IOC, qué había pasado con el ataque y cómo remediarlo, con solo mirar el registro de seguridad, dijo Greenwald. Este resultado procedía de GPT 3.5, en lugar de GPT-4, que es más avanzado, señaló.  

"Pudimos presentar al Gobierno estos resultados de GPT 3.5, que son experimentos de lo que podemos hacer", añadió Greenwald. "Estas respuestas son bastante buenas y convincentes, pero las de GPT-4 eran aún mejores".

Eso es lo que entusiasmó al director técnico Kevin Scott, al consejero delegado Satya Nadella y a muchos otros en Microsoft, según Greenwald.

Un producto real, con datos de Microsoft

El esfuerzo salió entonces de la organización de investigación aplicada, a cargo de Eric Douglas, y consiguió un equipo de ingeniería para intentar convertirlo en lo que Greenwald llamó "algo más parecido a un producto real".

Microsoft ha incorporado sus propios datos al producto Security Copilot, lo que ayuda a la empresa a "aterrizar" el sistema con información más actualizada y relevante.

"Queremos incorporar datos de seguridad, no queremos limitarnos a hacerle preguntas basadas en lo que se le enseñó, tenemos muchos datos en Microsoft, tenemos muchos productos de seguridad", dijo Greenwald.

Se refirió a Microsoft Sentinel como un producto de ciberseguridad que tiene "conectores a todos esos datos". También mencionó los conectores de ServiceNow y la información de Microsoft Defender, el software antivirus de la empresa, junto con otras fuentes de datos de seguridad.

Una persona familiarizada con el proyecto dijo que la idea es interceptar las respuestas de los modelos generativos de IA y utilizar los datos internos de seguridad para apuntar en la dirección correcta. Eso permitiría crear un software más determinista para tratar de resolver los problemas de alucinación antes de que el producto esté disponible para el público general, lo que se espera para este verano.

Cuando Microsoft lanzó inicialmente Security Copilot a finales de marzo, la empresa dijo que el servicio "no siempre acierta en todo" y señaló que "el contenido generado por IA puede contener errores".

También se refirió al Security Copilot como un "sistema de aprendizaje en bucle cerrado", que recibe comentarios de los usuarios y mejora con el tiempo. "A medida que seguimos aprendiendo de estas interacciones, estamos ajustando sus respuestas para crear respuestas más coherentes, relevantes y útiles", dijo la empresa.