Ir al contenido principal

Cómo Bertelsmann Construyó un Sistema Multi-Agente para Impulsar la Creatividad


Cómo Bertelsmann Construyó un Sistema Multi-Agente para Impulsar la Creatividad

Bertelsmann, una de las compañías de medios más grandes del mundo, con una larga trayectoria produciendo contenido influyente, desde las biografías de Barack Obama y el Príncipe Harry, hasta producciones ganadoras de premios Emmy y Óscar como Poor Things y The Young Pope, se enfrentaba a un desafío interno crítico: la fragmentación de la información. Cuando un creativo o investigador de Bertelsmann hacía una pregunta aparentemente sencilla como "¿Qué tipo de contenido tenemos sobre Barack Obama?", la respuesta podía estar dispersa en docenas de sistemas, bases de datos y plataformas diferentes.

Para abordar este problema, el equipo de AI Hub de Bertelsmann desarrolló la Bertelsmann Content Search, un sistema multi-agente impulsado por LangGraph, que ha pasado de prototipo a una implementación completa en producción. Este sistema permite la búsqueda y el descubrimiento de contenido en toda la compañía, potenciando la creatividad en toda la organización.

El Desafío: Búsqueda Unificada en un Imperio Mediático

El principal obstáculo que enfrentaban los equipos creativos de Bertelsmann era la dificultad de navegar por un ecosistema de contenido vasto y descentralizado. La compañía produce y gestiona:

  • Libros y audiolibros
  • Programas de televisión, películas y documentales
  • Archivos de noticias y contenido periodístico
  • Comentarios de terceros y tendencias web

Cada división de Bertelsmann operaba con sus propios sistemas, bases de datos y flujos de trabajo de contenido. Para entender qué contenido existe sobre un tema de tendencia o identificar oportunidades interplataforma, los equipos necesitaban saber exactamente dónde buscar y tener acceso a cada sistema relevante. Esta fragmentación conducía a la pérdida de oportunidades, la duplicación de esfuerzos de investigación y a que los equipos creativos pasaran más tiempo buscando información que creando.

La Solución: Descubrimiento de Contenido Multi-Agente

La Bertelsmann Content Search adopta un enfoque diferente: en lugar de centralizar todos los datos en un único sistema (una tarea titánica dada la magnitud del portafolio de Bertelsmann), el equipo construyó un sistema multi-agente que orquesta las búsquedas a través de las plataformas y fuentes de datos existentes.

Así es como funciona:

  1. Interfaz en Lenguaje Natural: Los usuarios pueden hacer preguntas en lenguaje natural, como "¿Qué documentales tenemos sobre energías renovables?" o "Muéstrame contenido relacionado con artistas emergentes en la música electrónica".
  2. Enrutamiento Inteligente: Un "coordinador" analiza cada consulta y determina qué agentes especializados deben manejar la búsqueda. Un agente podría consultar los archivos de documentales, otro buscar en el catálogo libros relacionados y un tercero verificar los archivos de noticias internas para obtener cobertura periodística. Es como tener un director de orquesta que asigna a cada instrumento (agente) la parte de la melodía que mejor puede interpretar.
  3. Agentes Especializados en el Dominio: Cada agente está diseñado para su dominio específico, comprendiendo los metadatos, los patrones de búsqueda y los tipos de contenido únicos de ese sistema. Por ejemplo, el agente especializado en noticias sabe cómo buscar y filtrar artículos por fecha, autor y tema.
  4. Generación de Respuesta Unificada: Las respuestas de los agentes individuales se combinan en una sola respuesta coherente.
  5. Implementación Flexible de Agentes: Con la arquitectura flexible de LangGraph, los agentes pueden implementarse directamente dentro de los sistemas que poseen los datos. Por ejemplo, un agente que busca en el archivo de noticias propietario puede implementarse como una API independiente que los equipos internos pueden integrar directamente en sus sistemas existentes. Esto significa que las divisiones obtienen capacidades de búsqueda "agentic" mejoradas dentro de sus propias plataformas, mientras que la organización en general se beneficia de la búsqueda interplataforma a través del sistema unificado.

Dentro de la Arquitectura

En el corazón de Bertelsmann Content Search se encuentra una arquitectura multi-agente impulsada por LangGraph que coordina el descubrimiento de contenido complejo y entre dominios en producción.

Enrutamiento Inteligente de Consultas a través de un Coordinador

El sistema comienza con un agente coordinador que analiza las preguntas del usuario y las envía a los agentes respectivos. Esto no es una simple coincidencia de palabras clave: el enrutador comprende el contexto, la intención y la relevancia del dominio para garantizar que las consultas lleguen a los especialistas más adecuados. Imaginen un sistema de correo interno de una gran empresa: el coordinador actúa como la recepcionista que redirige cada carta al departamento correcto basándose en el remitente y el asunto.

Agentes Especializados en el Dominio Paralelizados

Estas consultas se envían luego a un nodo central y paralelizado, activando los agentes relevantes para cada dominio de contenido específico. Por ejemplo:

  • Agente de Publicación: Busca en catálogos, comprendiendo los metadatos del libro, la información del autor y las líneas de tiempo de publicación.
  • Agente de Radiodifusión: Consulta archivos con conocimiento de formatos de programas, fechas de emisión y clasificaciones de contenido.
  • Agente de Noticias: Navega por los archivos periodísticos con la comprensión de los metadatos del artículo, las fechas de publicación y la categorización del contenido.
  • Agente de Inteligencia Web: Supervisa las tendencias y los comentarios externos para proporcionar contexto desde fuera del contenido propio de Bertelsmann.

LangGraph ayudó a Bertelsmann a acceder a estas diversas fuentes de datos de varias maneras. Los agentes interactuaron con:

  • Bases de datos vectoriales (por ejemplo, Qdrant) para una búsqueda semántica rápida.
  • API para consultas estructuradas.
  • Bases de datos de gráficos para la búsqueda basada en relaciones.
  • Herramientas personalizadas para simplificar interacciones complejas y aumentar la confiabilidad.

Síntesis de Respuesta

La capa final combina las respuestas de los agentes individuales en información coherente y procesable. El sistema comprende las relaciones entre los diferentes tipos de contenido y puede identificar oportunidades interplataforma. Los usuarios también pueden profundizar en cualquier contenido chateando directamente con un agente individual.

Potenciando el Uso de Agentes a través de API Modulares

Una de las características más poderosas de LangGraph para el caso de uso de Bertelsmann es la facilidad con la que los agentes individuales pueden implementarse como API independientes. Esta flexibilidad arquitectónica permitió al equipo ofrecer el mismo agente que impulsa su búsqueda interplataforma directamente a la división que posee la fuente de datos subyacente. Por ejemplo, los equipos pueden integrar su agente de noticias especializado directamente en sus sistemas de gestión de contenido, manteniendo al mismo tiempo la disponibilidad de los agentes para la plataforma de búsqueda unificada más amplia.

Como resultado, el sistema multi-agente puede matar dos pájaros de un tiro: las unidades de negocio pueden recoger y utilizar la búsqueda inteligente "agentic" para las fuentes de datos que se implementan en Content Search. Pueden utilizar estos agentes para ayudar a sus propios equipos y colocarlos directamente en los flujos de trabajo de las personas, por ejemplo, en la interfaz de usuario de los archivos de noticias.

¿Por Qué LangGraph?

El equipo de AI Hub de Bertelsmann comenzó a trabajar con LangGraph la primera semana de su lanzamiento, cuando los "agentes" estaban lejos de ser la palabra de moda que son hoy en día. Esta adopción temprana resultó crucial, y sus sistemas multi-agente están implementados en producción en la actualidad.

Según Moritz Glauner, Jefe de Ciencia de Datos de Bertelsmann Data Services, "Comenzamos a explorar un enfoque multi-agente para potenciar el descubrimiento creativo a finales de 2023. Y lo que inicialmente se destinó como un piloto para explorar el potencial de la tecnología 'agentic' aún temprana, evolucionó hacia un desarrollo de producto interno en toda regla, dado lo que resultó ser posible con LangGraph y la tecnología 'agentic'". Lion Schulz, Jefe de Aprendizaje Automático del Bertelsmann AI Hub, añade: "Al mirar hacia atrás, comenzamos explorando muchos de los que entonces eran marcos de investigación en todo el mercado. Rápidamente nos dimos cuenta de que LangGraph era exactamente lo que estábamos buscando, ya que ofrecía fiabilidad y predictibilidad para nuestros sistemas de producción, así que nos comprometimos a construir nuestro sistema multi-agente sobre él, y no hemos mirado atrás".

En particular, el equipo de Bertelsmann se benefició de LangGraph y de su:

  • Diseño Modular: La arquitectura basada en nodos permitió al equipo construir agentes especializados para cada dominio de contenido, manteniendo interfaces limpias entre los componentes.
  • Infraestructura Lista para la Producción: La madurez del ecosistema de LangChain proporcionó las capacidades de observabilidad y depuración necesarias para llevar el sistema del prototipo a la producción y mantener un sistema multi-agente complejo a escala.
  • Orquestación Escalable: A medida que el universo de contenido de Bertelsmann se expandió, el sistema pudo acomodar fácilmente nuevos agentes y fuentes de datos sin cambios arquitectónicos.

Impacto: Empoderando la Creatividad a Escala

Construido sobre LangGraph, la Bertelsmann Content Search ha transformado la forma en que los equipos creativos encuentran información en toda la organización:

  • Descubrimiento de contenido más rápido: Lo que antes requería horas de búsqueda en múltiples sistemas ahora toma segundos. Los equipos creativos dedican menos tiempo a buscar información y más tiempo a crear con ella.
  • Información interplataforma: El sistema revela conexiones y oportunidades que podrían perderse al buscar sistemas individuales de forma aislada. Un productor de documentales podría descubrir libros relacionados que podrían informar su investigación, o un editor de libros podría encontrar inspiración en los archivos de noticias.
  • Acceso democratizado: Los equipos ya no necesitan saber qué sistema contiene qué información, ni tener acceso a todas las bases de datos. La interfaz unificada hace que todo el universo de contenido de Bertelsmann sea accesible para los usuarios autorizados.
  • Colaboración mejorada: Al mostrar contenido entre divisiones, el sistema fomenta la colaboración e identifica oportunidades para iniciativas entre marcas.

El resultado es una organización creativa más ágil e informada que puede responder rápidamente a las tendencias y oportunidades, aprovechando al máximo el vasto portafolio de contenido de Bertelsmann.

Mirando Hacia el Futuro: El Futuro de los Sistemas de Contenido Agentic

La Bertelsmann Content Search representa más que una implementación exitosa: es una prueba del futuro de la IA en los medios y las industrias creativas. Al comenzar temprano con LangGraph y enfocarse en la confiabilidad de la producción desde el primer día, el equipo ha construido un sistema que continúa evolucionando con las necesidades de la organización.

A medida que los sistemas multi-agente se vuelven más comunes, la Bertelsmann Content Search se erige como un ejemplo de lo que es posible cuando la tecnología de vanguardia se une a la ingeniería reflexiva y las necesidades creativas del mundo real. Incluso más allá de la Content Search, el equipo de Bertelsmann AI Hub ahora emplea LangGraph en sus desarrollos "agentic", por ejemplo, apoyando la ideación o el guion gráfico.

Referencia:

Entradas populares de este blog

Event Driven Architecture & Big ball of mud

EDA Una arquitectura event-driven (EDA) es un estilo de diseño que se basa en la producción, detección y reacción a eventos. Un evento es un cambio de estado significativo en el sistema o en el entorno que puede ser notificado a otros componentes interesados. Una arquitectura event-driven permite una mayor desacoplamiento, escalabilidad y resiliencia entre los componentes del sistema, así como una mejor adaptabilidad a los cambios y a las necesidades del negocio. Sin embargo, una arquitectura event-driven también puede tener sus desafíos y riesgos, especialmente si no se aplica una buena gestión de los dominios y los boundaries. Un dominio es un conjunto de conceptos, reglas y procesos relacionados con un aspecto del negocio o del problema que se quiere resolver. Un boundary es una frontera lógica que separa y protege un dominio de otros dominios o de influencias externas. Un buen diseño de dominios y boundaries facilita la comprensión, el mantenimiento y la evolución del sistema, así ...

¿Qué es el patrón Circuit Breaker y cómo se puede implementar con AWS Step Functions?

En el desarrollo de software, es común que las aplicaciones se comuniquen con servicios o recursos externos, como bases de datos, APIs o microservicios. Sin embargo, estos servicios o recursos pueden fallar o estar temporalmente indisponibles por diversas razones, lo que puede afectar el rendimiento y la disponibilidad de la aplicación. Para manejar estos escenarios de falla, se puede utilizar el patrón Circuit Breaker, que consiste en detectar y prevenir que una operación que tiene alta probabilidad de fallar se ejecute repetidamente, causando más problemas o consumiendo recursos innecesarios.  El patrón Circuit Breaker tiene tres estados posibles: cerrado, abierto y medio abierto. Cerrado : En este estado, el circuito está funcionando normalmente y la operación se ejecuta sin problemas. Si se detecta una falla, se incrementa un contador de fallas y se calcula un umbral de fallas, que puede ser un número o un porcentaje de fallas permitidas. Si el contador de fallas supera el u...

¿Cómo usar Lambda con Amazon SQS para procesar mensajes de forma asíncrona y escalable?

Amazon Simple Queue Service (Amazon SQS) es un servicio de colas de mensajes que permite enviar y recibir mensajes entre componentes de una aplicación de forma fiable y duradera. Con Amazon SQS, se puede desacoplar la lógica de negocio de la fuente de los eventos, y procesarlos de forma asíncrona y en paralelo.   En este artículo, vamos a ver cómo usar Lambda con Amazon SQS para procesar mensajes de una cola de forma eficiente y flexible, aprovechando las características de concurrencia, escalamiento y procesamiento del event source mapping de Lambda, así como la estrategia de backoff que implementa Lambda para manejar errores y reintentos.   Concurrencia del event source mapping Un event source mapping es una configuración que le dice a Lambda qué fuente de eventos debe monitorear y qué función debe invocar cuando se produzca un evento. En el caso de Amazon SQS, el event source mapping se encarga de leer los mensajes de la cola y enviarlos a la función Lambda en lotes. La con...