Un informe reciente ha revelado la implementación secreta de una herramienta algorítmica por parte de los Servicios de Niños y Familias de Nueva York (ACS), la cual clasifica a las familias como «de alto riesgo». Este sistema, que utiliza diversos factores como el vecindario y la edad de la madre, permite a ACS someter a ciertas familias a un control intensificado sin la debida supervisión o justificación.
La sola posibilidad de que ACS se presente en la puerta de un hogar genera un gran malestar, ya que cualquier error en el uso de este algoritmo podría resultar en la separación de los hijos, llevándolos al sistema de acogida. Este tipo de vigilancia no debería considerarse ligera ni ser utilizada como un método experimental para decisiones que afectan a las familias.
Desarrollada por la Oficina de Investigación y Análisis de ACS, la herramienta evalúa a las familias a través de 279 variables. Sin embargo, la falta de transparencia en su funcionamiento suscita preocupaciones, ya que el algoritmo se basa exclusivamente en datos de 2013 y 2014, lo que cuestiona la validez de su análisis. No se tiene claro si la inclusión de información más reciente alteraría los resultados.
Un dato inquietante es que las familias negras en Nueva York enfrentan investigaciones por parte de ACS a una tasa siete veces mayor que las familias blancas. Además, personal de la agencia ha reconocido que suele adoptar un enfoque más punitivo hacia estas familias, lo que algunos padres y defensores han calificado como «predatorio». Esto sugiere que el algoritmo podría servir para amplificar estas desigualdades existentes.
A pesar de las evidentes deficiencias en el sistema, aquellas familias clasificadas como «de mayor riesgo» son sometidas a un escrutinio adicional que incluye visitas domiciliarias y consultas con expertos externos. Sin embargo, las familias y sus defensores no tienen acceso a la información que justifica estas decisiones, lo que complica cualquier intento de impugnar los resultados y la vigilancia que sufren.
La problemática no es exclusiva de Nueva York. Estudios anteriores en el condado de Allegheny en Pensilvania han mostrado tendencias similares de sesgo, donde un 32.5% de los niños negros fue marcado para investigaciones obligatorias, en comparación con el 20.8% de los niños blancos. Los trabajadores sociales a menudo no coinciden con las puntuaciones generadas por estos algoritmos.
Este contexto de falta de claridad en el sistema neoyorquino refleja problemas detectados en otras jurisdicciones. Los datos generados por el algoritmo no son accesibles para las familias, lo que impide que puedan cuestionar decisiones que pueden tener un impacto devastador en sus vidas.
A pesar de que en otros contextos estas herramientas han sido desafiadas con éxito, su continua implementación es motivo de preocupación. Los gobiernos deben abstenerse de utilizar tecnologías que afecten derechos fundamentales sin una evaluación rigurosa y auditorías independientes que garanticen la confianza pública en las decisiones gubernamentales.
