La llegada de ChatGPT (OpenAI) ha atraído mucha atención y dinero hacia las startups que trabajan para mejorar las capacidades de la inteligencia artificial.

De hecho, la IA ha sido uno de los pocos puntos brillantes en la inversión de capital riesgo este año, representando casi una quinta parte de los 144.000 millones de dólares invertidos en startups de todo el mundo en la primera mitad del año, según Crunchbase.

Pero la seguridad de la IA se ha descuidado mucho en comparación, a pesar de las advertencias de los agentes del sector. Los investigadores especializados en la alineación de la IA, un campo que se esfuerza por garantizar que la tecnología de vanguardia se ajuste a los valores humanos, prevén una tarea gigantesca.

Un informe sobre el Estado de la IA publicado en 2021 reveló que el 7% de las divisiones de OpenAI y el 2% de las de DeepMind se dedicaban a la alineación de la IA, estimando que menos de 100 personas trabajaban en este campo en siete organizaciones punteras.

Los cofundadores de la startup Aligned AI —Stuart Armstrong, investigador de la Universidad de Oxford, y Rebecca Gorman, experta en amenazas de IA a corto plazo— han pasado la mayor parte de los últimos dos años preparándose para un escenario en el que la IA acabe con la humanidad.

"La forma en que abordamos la alineación en Aligned AI consiste en ayudar a la IA a comprender conceptos de manera sólida como lo hacen los seres humanos", explica Gorman. "No se puede decir a los robots qué es el daño para un ser humano, así que estamos trabajando para rectificar ese problema".

Un gran número de científicos especializados en IA y figuras notables, como Sam Altman, de OpenAI, Demis Hassabis, CEO de DeepMind, y Bill Gates, han firmado una carta abierta sobre la necesidad de mitigar los riesgos de que la IA no se controle.

Los investigadores han explicado a Business Insider que alinear a los inversores sería crucial para evitar una catástrofe de la IA.

El increíble mundo de Sam Altman, donde la realidad supera a la ficción: ha jugado al ajedrez con Peter Thiel, discutido con Elon Musk y, supuestamente, evitado un accidente aéreo

Asegurarse de que la IA está alineada es tarea de las startups

Connor Leahy, fundador de una startup londinense llamada Conjecture, reconoce que la alineación de la IA "no es un tema de rentabilidad claro", ya que a la mayoría de las personas que construyen IA les gusta hacerla "más fuerte y más rápida", optando por productos llamativos.

Sin embargo, afirma que Conjecture está adoptando un enfoque "agnóstico" más ambicioso para lograr la alineación, lo que incluye construir sistemas inteligentes que se ajusten a las órdenes humanas e informar a los responsables políticos para ayudarles a impulsar una mejor regulación de la IA.

"Queremos evitar un escenario catastrófico en el que la IA avance más allá del control humano", afirma Leahy, quien añade que el hecho de funcionar como una startup es fundamental para lograrlo. "Es la mejor manera de acceder a los fondos necesarios", afirma. "Sería más difícil hacerlo a través de una entidad pública".

En parte, la ardua tarea de alinear la IA se debe a que es una cuestión tan filosófica como científica, según los investigadores. No todas las personas tienen los mismos sistemas de valores, por lo que la alineación de la IA puede tener un aspecto diferente según dónde funcione y se despliegue.

Aligned AI también quiere abordar el problema de las capacidades de la IA sin control. La empresa cuenta con herramientas diseñadas para garantizar que la IA haga realmente lo que debe hacer, como la navegación autónoma de los vehículos, y menos lo que no debe hacer, como generar contenidos tóxicos.

A pesar del creciente interés de las empresas de capital riesgo, la inversión en seguridad de la IA es escasa en comparación con la inyección de dinero que reciben las startups de IA generativa e inteligencia artificial general. Los inversores invirtieron 29.000 millones de dólares en startups de IA en los seis primeros meses de 2023. No está claro qué parte de esos fondos se ha destinado a la alineación, pero los investigadores afirman que se necesita mucho más.

Impulso para financiar la seguridad de la IA

Los investigadores de IA también están atentos a la procedencia de los fondos para la seguridad y la alineación de la IA.

Gran parte de la financiación de la alineación de la IA procede de fuentes que promueven el altruismo efectivo, lo que inevitablemente limita la agenda de la investigación, según explica a Business Insider un investigador que ha publicado artículos sobre IA y que ha pedido permanecer en el anonimato debido al pequeño tamaño del sector de la alineación.

El altruismo efectivo, a menudo llevado a cabo por ejecutivos tecnológicos de prestigio, pretende sacar el máximo partido de las donaciones benéficas y suele centrarse en problemas específicos como la crisis climática. Según el investigador, este tipo de modelo de financiación podría acabar limitando la forma en que se lleva a cabo la alineación: podría, por ejemplo, garantizar que la industria siga un modelo con ánimo de lucro.

Aligned AI recibió una subvención de 146.000 dólares de Alameda Research, la firma de inversión en criptomonedas ahora en quiebra fundada por Sam Bankman-Fried, que se enfrenta a cargos penales por el colapso de su plataforma de intercambio de criptomonedas, FTX.

Los investigadores abogan por una mayor inversión pública en el sector. Salla Westerstrand, experta en ética de la inteligencia artificial, afirma que si la dominan agentes privados se corre el riesgo de que "la tecnología se haga para beneficiar a los accionistas": una carrera por crear beneficios eclipsaría la necesidad de mitigar los riesgos derivados de la desalineación.

"Tenemos que asegurarnos de que contamos con el marco para la innovación en IA, que tiene que venir de otros motivos más allá de hacer dinero para los accionistas", sentencia.

El furor por una IA sin límites éticos está levantando nuevas barreras a la igualdad: así se enquista el machismo entre los algoritmos

Necesidad de ayuda gubernamental

Mientras las entidades públicas y privadas se debaten sobre la mejor manera de lograr la alineación de la IA, los investigadores afirman que se necesita un organismo supranacional más grande para impulsar la labor.

"En un mundo ideal en el que todo el mundo estuviera cuerdo, los Gobiernos del mundo se reunirían y dirían: 'Oh, mierda, no podemos dejar que los sistemas de IA sobrehumanos campen a sus anchas'", afirma Leahy. "Crearían un proyecto intergubernamental, lo financiarían y harían que las mejores mentes se reunieran para trabajar en el difícil problema de la seguridad hasta que estuviéramos seguros de haberlo resuelto".

Ian Hogarth, inversor cofundador de Plural Platform, sostiene que los Gobiernos son capaces de impulsar este marco regulador y que deben actuar en consecuencia.

"Los Gobiernos pueden asumir la supervisión" de las empresas que corren hacia desarrollos punteros en IA y "aplicar normas de seguridad estrictas", afirma.

La inteligencia artificial es el desesperado último intento de Silicon Valley por evitar el descalabro en bolsa

Hogarth añade que la inversión en startups de alineación es sólo "una parte de la solución" y que se podría avanzar más mediante el desarrollo de estructuras de investigación público-privadas o totalmente públicas.

Los investigadores afirman que un enfoque pluralista, con entidades públicas y privadas repartiéndose la carga de trabajo, podría ser el camino a seguir.

"Hay espacio para que se lleve a cabo en distintos lugares", explica el investigador a Business Insider. "El trabajo exploratorio está ligado al mundo académico, y luego tiene sentido que las empresas auditoras sean privadas".