Los desarrolladores de aplicaciones de inteligencia artificial enfrentan un desafío significativo al momento de transformar datos no estructurados en formatos que se puedan estructurar. Esta capacidad es crucial para la comunicación entre máquinas, ya que facilita el procesamiento y consumo de resultados generados en diferentes casos de uso. Actividades como la extracción de información de documentos, la creación de asistentes que obtienen datos de APIs, o el desarrollo de agentes que llevan a cabo acciones requieren modelos bien diseñados que produzcan salidas en formatos específicos.
Para abordar esta problemática, recientemente se ha introducido la técnica de decodificación restringida, que permite utilizar los modelos base Amazon Nova para extraer datos según esquemas complejos. Esta innovación ha demostrado reducir los errores en el uso de herramientas en más del 95%, ofreciendo una solución confiable para la generación de salidas estructuradas.
Existen dos enfoques prevalentes para implementar estas salidas. Uno consiste en modificar el aviso del sistema, mientras que el otro implica aprovechar la llamada a herramientas. Por ejemplo, en un escenario de soporte al cliente, el modelo podría ser instruido para generar respuestas en formato JSON, incluyendo tanto la respuesta al usuario como el sentimiento actual. Esto se lograría ajustando el aviso del sistema para incluir una estructura ya prevista.
El segundo enfoque, que involucra la configuración de herramientas, se traduce en proporcionar al modelo un API, función de código o esquema mediante el esquema de solicitud. Esta técnica se vuelve especialmente valiosa para desarrollar aplicaciones que requieren salidas estructuradas, ya que permite definir claramente el esquema que el modelo debe seguir.
Aunque ambos métodos pueden resultar efectivos, sigue existiendo un grado de indeterminación en las salidas, lo que puede generar errores. Las observaciones en colaboración con clientes han indicado que la precisión del modelo tiende a disminuir a medida que la complejidad del esquema aumenta.
Con la implementación de la decodificación restringida, se introduce una gramática que limita los posibles tokens que un modelo puede generar en cada etapa, cambiando el conjunto de opciones a partir del cual puede seleccionar al producir una salida.
Un componente esencial para utilizar salidas estructuradas con los modelos Amazon Nova es la creación de una configuración de herramienta, que proporciona un contexto estándar para definir el esquema de salida esperado. Este proceso es crítico para asegurar que el modelo comprenda cómo deben ser completados los distintos campos.
Una vez establecida la configuración de herramienta, se puede enviar a través de la API junto con la receta requerida, la cual será incorporada en el aviso del usuario. La combinación del soporte nativo para herramientas con la decodificación restringida permite al modelo generar un esquema JSON completo y complejo, listo para ser utilizado en la aplicación.
Esta evolución en la generación de salidas estructuradas con Amazon Nova representa una herramienta valiosa para los desarrolladores, quienes ahora tienen la oportunidad de construir sistemas de inteligencia artificial más fiables y eficientes.
