A medida que la inteligencia artificial se van asentando más en tu vida diaria personal y laboral, la siguiente fase es la exigencia, el sacarle el máximo partido y todo el jugo, y a para ello hay investigaciones de cómo hacerlo, como esta que concluye tras unas exhaustivas pruebas cómo un truco sencillo basta para marcar la diferencia a la hora de sacar el máximo partido a la IA. 

Las pruebas bajo el nombre de FinanceBench han sido publicadas en la web de Cornell University y compartidas en la red X, mostrando los resultados tras evaluar el desempeño de los LLM en respuesta a preguntas financieras a libro abierto, pero que se pueden extrapolar al resto de disciplinas o necesidades del usuario. La clave, dar primero todo el contexto y luego completar con una pregunta y no al revés. 

Así ha sido el estudio

El análisis ha sido profundo, puesto que ha constado de 10.231 preguntas sobre empresas que cotizan en bolsa, con sus correspondientes respuestas y cadenas de evidencia. Las preguntas de FinanceBench cubren un conjunto diverso de escenarios y su objetivo es que fueran claras y sencillas de responder para que sirvan como estándar mínimo de desempeño. 

Probaron 16 configuraciones de modelos de última generación (incluidas GPT-4-Turbo, Llama2 y Claude2, con almacenes de vectores y mensajes de contexto largos) en una muestra de 150 casos de FinanceBench y revisaron manualmente sus respuestas. Los casos además los han dejado disponibles en código abierto para poder replicarlos.

Las conclusiones

Las pruebas mostraron que los LLM existentes tienen limitaciones claras para el control de calidad financiero. En particular, el GPT-4-Turbo utilizado con un sistema de recuperación respondió incorrectamente o se negó a responder el 81% de las preguntas.

Si bien las técnicas de aumento, como el uso de una ventana de contexto más larga para incorporar evidencias más relevantes, mejoraron el rendimiento, resultaron poco realistas para entornos empresariales debido a la mayor latencia y a no poder admitir documentos financieros más grandes. 

Concluyeron que todos los modelos examinados presentan debilidades, como alucinaciones, que limitan su idoneidad para su uso por parte de las empresas, pero sí al menos mejora sustancialmente el desempeño con ese orden de contexto y pregunta en vez de preguntar directamente a la IA y luego darle explicaciones de contexto para que mejore su respuesta y desempeño, como se ve claramente en los gráficos. 

La longitud del contexto también tiene bastante efecto, con lo que es mejor ir al grano y decirle a la IA de forma lo más esquemática posible lo que se quiere. 

Otros consejos para formar un gran equipo con tu IA y una guía básica

Aparte de esta nueva conclusión basada en un estudio muy riguroso y completo, tienes otras claves para sacar el máximo partido a la inteligencia artificial y así obtener los mejores resultados en menor tiempo y con menos esfuerzo.

• Incluye detalles específicos: asegúrate que las instrucciones sean claras y detalladas para obtener resultados precisos.
• Especifica claramente la petición: evita enunciados genéricos para reducir ambigüedades.
• Proporciona contexto: indica el público objetivo y la plataforma donde se publicará el contenido.
• Determina el formato y tono: especifica el tipo de respuesta esperada y ajusta el tono del lenguaje según sea necesario.
• Y siempre experimenta: anima a probar diferentes enfoques y ajustes para encontrar la configuración ideal a través del método de ensayo y error.

Respecto al último punto, al margen de pruebas y estudios, tú mismo debes de probar en todo momento nuevas formas de dirigirte a la IA y de prueba y error de prompts para ver cuál funciona mejor, aprovechando la flexibilidad de un lenguaje natural y no de programación, y teniendo en cuenta que continuamente la IA va avanzando y mejorando. 

La habilidad para manejar eficientemente la IA generativa será cada vez más relevante, representando una brecha digital similar a la que existe entre diferentes generaciones con respecto a la tecnología en general.