Un estudio de la Electronic Frontier Foundation (EFF) ha levantado inquietudes sobre la reciente implementación del Draft One de Axon Enterprise, una herramienta de inteligencia artificial generativa diseñada para redactar informes policiales a partir del audio de las cámaras corporales de los oficiales. Esta investigación alerta sobre cómo el sistema podría estar configurado para evitar auditorías que ofrezcan una rendición de cuentas efectiva ante el público.
La revisión de documentos de agencias policiales que ya utilizan esta tecnología revela que a menudo es imposible determinar qué partes de un informe fueron generadas por la IA y cuáles fueron redactadas por agentes. Esta falta de claridad plantea serias preocupaciones, dado que puede obstruir la evaluación de la efectividad y los riesgos vinculados a su uso.
El Draft One emplea una variante de ChatGPT y procesa únicamente el diálogo registrado en las cámaras, lo que suscita preguntas sobre la precisión y el contexto de la información generada. Aunque los agentes deben revisar y editar el texto, el borrador original no se guarda, lo que dificulta cualquier intento de auditoría o revisión independiente.
La falta de transparencia en el sistema ha sido destacada por un administrador del Departamento de Policía de Frederick, Colorado, quien comentó que «nos encanta tener juguetes nuevos hasta que el público se entera». Este entorno de secreto puede resultar problemático, ya que cualquier sesgo o error en los informes podría ser difícil de atribuir a la IA o al agente responsable.
Además, Axon no mantiene registros de las versiones originales generadas por la IA, lo que complica aún más los esfuerzos de auditoría en caso de errores o malas interpretaciones en los informes. En este contexto, el estado de California está considerando un proyecto de ley que exigiría la divulgación de informes generados parcial o totalmente por inteligencia artificial. Sin embargo, la incapacidad del Draft One para guardar versiones iniciales plantea dudas sobre su capacidad para cumplir con este requerimiento.
Varios fiscales, incluidos aquellos del Condado de King en Washington, han recomendado encarecidamente que no se use este tipo de tecnología, argumentando que la confiabilidad de los informes generados por IA aún no está garantizada. La EFF ha instado a los responsables de los departamentos policiales a considerar los posibles daños y los desafíos que esta tecnología podría introducir en un sistema de justicia ya sometido a escrutinio por su falta de transparencia y equidad. Así, la implementación del Draft One plantea cuestiones fundamentales sobre la naturaleza de los informes policiales y la rendición de cuentas en la aplicación de la ley.
