En el ámbito del análisis de video e imagen, numerosas empresas enfrentan el reto de detectar objetos que no estaban presentes en el conjunto de entrenamiento de un modelo específico. Esta situación se complica en entornos dinámicos donde emergen objetos nuevos, desconocidos o definidos por el usuario. Por ejemplo, los editores de medios pueden querer rastrear marcas o productos emergentes en contenido generado por usuarios; los anunciantes necesitan analizar la aparición de productos en videos de influencers, a pesar de las variaciones visuales; los proveedores minoristas buscan facilitar búsquedas flexibles y descriptivas; los vehículos autónomos deben identificar escombros inesperados en la carretera; y los sistemas de manufactura necesitan reconocer defectos novedosos o sutiles que no han sido etiquetados previamente.
Los modelos tradicionales de detección de objetos de conjunto cerrado (CSOD), que solo reconocen una lista fija de categorías predefinidas, resultan poco efectivos en estas situaciones. Este tipo de modelos tiende a mal clasificar los objetos desconocidos o a ignorarlos, limitando así su utilidad en aplicaciones del mundo real. En este contexto, la detección de objetos de conjunto abierto (OSOD) se presenta como una solución que permite detectar tanto objetos conocidos como aquellos que no han sido observados antes, incluidos los que no fueron incluidos en el entrenamiento. OSOD admite la entrada de indicaciones flexibles, desde nombres de objetos específicos hasta descripciones abiertas, adaptándose a objetivos definidos por el usuario en tiempo real y sin necesidad de reentrenamiento.
Amazon Bedrock Data Automation surge como un servicio en la nube capaz de extraer conocimientos de contenido no estructurado, como documentos, imágenes, videos y audio. En lo que respecta al contenido de video, Bedrock Data Automation ofrece funcionalidades avanzadas como la segmentación de capítulos, la detección de texto a nivel de fotograma, clasificación conforme a las taxonomías del Interactive Advertising Bureau (IAB), y detección de objetos a nivel de fotograma mediante OSOD.
Las plantillas de video de Amazon Bedrock Data Automation son compatibles con OSOD a nivel de fotograma. Al introducir un video junto a un texto que especifica los objetos a detectar, el modelo genera un diccionario que incluye coordenadas en formato XYWH de los cuadros delimitadores, así como etiquetas y puntajes de confianza. Además, los usuarios pueden personalizar la salida conforme a sus necesidades, filtrando por detecciones de alta confianza cuando es prioritario mantener la precisión.
Esta funcionalidad presenta múltiples aplicaciones. Por ejemplo, los anunciantes pueden analizar la efectividad de diversas estrategias de colocación de anuncios y realizar pruebas A/B para identificar el enfoque publicitario más eficaz. También se puede emplear OSOD para desarrollar estrategias de redimensionamiento inteligentes, asegurando la conservación de información visual importante al detectar elementos clave en el video. En sistemas de seguridad en el hogar, los productores pueden aprovechar las capacidades de comprensión y localización del modelo para garantizar un entorno seguro. Adicionalmente, es posible definir etiquetas personalizadas y realizar búsquedas en videos para recuperar resultados específicos. Con la detección flexible basada en texto, los editores pueden eliminar o reemplazar objetos con precisión, reduciendo la necesidad de máscaras dibujadas a mano que suelen requerir múltiples intentos.
La integración de OSOD en Amazon Bedrock Data Automation mejora significativamente la capacidad de extraer conocimientos procesables del contenido de video. Al combinar consultas flexibles impulsadas por texto con localización de objetos a nivel de fotograma, OSOD capacita a los usuarios en varias industrias para implementar flujos de trabajo de análisis de video inteligentes, que abarcan desde la evaluación de anuncios específicos hasta la vigilancia de seguridad y el seguimiento de objetos personalizados. Esta integración no solo optimiza la comprensión del contenido, sino que también reduce la necesidad de intervención manual y esquemas rígidos predefinidos, convirtiéndose en un recurso valioso para aplicaciones en el mundo real.
