Construcción de un Sistema de Generación de Categorías a Gran Escala por GoDaddy con Inferencia por Lotes en Amazon Bedrock

Elena Digital López

GoDaddy, reconocido registrador de dominios y proveedor de servicios de comercio electrónico, ha introducido una innovadora solución de inteligencia artificial generativa con el propósito de optimizar su sistema de categorización de productos. Esta iniciativa tiene como meta proporcionar insights personalizados de negocio a más de 21 millones de clientes, acceso que previamente estaba limitado a grandes corporaciones.

La rápida expansión del uso de modelos de lenguaje grande (LLMs) en el ámbito de la inteligencia artificial ha traído consigo ciertos desafíos en su implementación, especialmente en lo que respecta a la escalabilidad. En respuesta a estos retos, GoDaddy ha decidido implementar enfoques de inferencia por lotes, que permiten procesar múltiples solicitudes de manera asíncrona, mejorando la eficiencia en el manejo de grandes volúmenes de datos.

Este nuevo sistema fue desarrollado en colaboración con el Generative AI Innovation Center y utiliza Amazon Bedrock para procesar datos de productos mediante el modelo Meta Llama 2. GoDaddy se enfrentó inicialmente a la titánica tarea de categorizar cerca de seis millones de productos basándose en sus nombres. Los primeros resultados no cumplieron con las expectativas, ya que las categorías generadas solían ser incompletas o incorrectamente etiquetadas, lo que incrementaba los costos operacionales.

La solución implementada se basa en un proceso estructurado que inicia con la transferencia de archivos JSONL a un bucket de S3. Este procedimiento activa funciones Lambda para el procesamiento en lote, permitiendo la lectura de nombres de productos y la generación de salidas categorizadas que se almacenan para análisis futuros. La arquitectura también cuenta con medidas de seguridad integradas gracias a los servicios de AWS, lo que asegura la confidencialidad y la integridad de los datos.

Con esta nueva implementación, GoDaddy no solo mejora la categorización de productos, sino que también establece un marco integral para generar insights útiles para sus clientes. Esta solución es compatible con diversos modelos de LLM disponibles en Amazon Bedrock, lo que otorga flexibilidad y escalabilidad para futuras actualizaciones.

Además, la adopción de técnicas de “n-packing”, que agrupan múltiples nombres de productos en una única consulta a la máquina, ha contribuido a optimizar tanto la latencia como los costos asociados, evidenciando que esta innovación podría resultar en un ahorro significativo para GoDaddy.

Con la intención de elevar la calidad del servicio ofrecido, la empresa también planea expandir su base de datos de ejemplos verificados y aumentar los controles de calidad. La colaboración entre GoDaddy y el equipo de innovación en inteligencia artificial no solo promete transformar la experiencia del cliente, sino que también busca hacer más accesibles los recursos de comercialización para emprendedores. Las proyecciones iniciales sugieren que esta solución será capaz de procesar miles de productos en un tiempo considerablemente reducido, mejorando así la eficiencia y la satisfacción del cliente.