Un sistema que analiza datos de personas en situación de vulnerabilidad tiene que poder explicarse solo. Acá está lo que un asesor legal necesita para decidir, incluida la parte que nos juega en contra: en qué se puede equivocar, qué no podemos garantizar y qué dato incómodo procesa.
Riesgo Alto autodeclarado0 decisiones automáticasDatos de la institución
La ficha, sin vueltas
Qué es y bajo qué marco
Clasificación de riesgoAltoNos la asignamos nosotros. Afecta derechos de personas vulnerables, así que no hay otra categoría honesta.
Marco que se aplicaResolución 9/2025 PBAMás Ley 25.326 de datos personales y Ley 27.275 de acceso a la información.
Decisiones automáticasNingunaTodo lo que sale es un borrador. Sin firma de un profesional no llega a nadie.
Quién es dueño de qué
Dueño de los datosLa instituciónNosotros somos encargados de tratamiento. No adquirimos titularidad ni podemos usarlos para otra cosa.
Qué sale, qué se guarda
Identidad hacia el proveedorNo saleSe reemplaza por seudónimos en una máquina de la institución. Si eso falla, el registro no viaja.
Razonamiento fuera del paísSíSobre texto ya seudonimizado. Es una transferencia internacional y se declara como tal.
Dato biométricoSí, de funcionariosPara entrar al panel, con consentimiento expreso. Ninguno de vecinos.
Registro de accesosActivoQueda anotado quién abrió el padrón, quién buscó qué término y quién exportó.
Cuánto viven los datosLO DEFINE La instituciónLa ley obliga a destruirlos cuando dejan de ser necesarios. El plazo lo fija quien es dueño de la base.
Qué dice cada norma que citamos
Resolución 9/2025 PBA
El marco bonaerense para usar inteligencia artificial en la administración pública. Pide evaluar el riesgo del sistema antes de ponerlo a andar e inscribirlo en un registro provincial.
Ley 25.326
Datos personales. Define para qué se pueden usar, quién responde por la base y cuándo hay que destruirlos. De acá sale que la institución es dueña y nosotros encargados.
Ley 27.275
Acceso a la información pública. Cualquier vecino puede pedir explicaciones sobre un sistema que usa el Estado, así que la evaluación de riesgo ya está publicada.
Ley 26.485
Protección integral contra la violencia hacia las mujeres. Es la que fundamenta buena parte de las intervenciones, y la que el auditor revisa artículo por artículo.
Código de Ética CATSPBA
El código del colegio de trabajadores sociales bonaerense: secreto profesional y criterio para escribir una intervención. El especialista social redacta dentro de él.
Cuánto viven los datos lo decide la institución
La Ley 25.326 pide, en su artículo 4, que los datos personales se destruyan cuando dejan de ser necesarios para el fin con el que se recolectaron. Lo que la ley no hace es fijar el plazo: eso le corresponde a quien es dueño de la base.
Por eso el sistema no trae una política de retención de fábrica. La institución define cuántos meses vive un foco cerrado antes de pasar a archivo histórico, y cuánto vive un registro de campo antes de borrarse. Nosotros implementamos lo que se decida y lo dejamos escrito en el convenio.
Por qué no lo decidimos nosotros. Un proveedor que fija por su cuenta cuándo se borran los datos de un vecino está tomando una decisión que no le corresponde. El criterio de cuánto tiempo un registro social sigue siendo útil es profesional y local: depende del tipo de caso, de la normativa que aplique y de cómo trabaja ese equipo. Lo que sí ponemos es la obligación de que el plazo exista y quede por escrito.
Por qué Alto y no Inaceptable
La pregunta la va a hacer el asesor legal, así que la contestamos primero. Un sistema entra en la categoría prohibida cuando puntúa personas para asignarles un trato, cuando clasifica por características protegidas, o cuando decide sin intervención humana.
Agatha no puntúa personas. Agrupa registros por zona, tema y fecha, y lo que queda marcado es una zona. Las características protegidas no están en el análisis, así que tampoco puede clasificar por ellas. Y no decide nada: produce un borrador que un profesional firma o descarta.
Esto no nos deja tranquilos y no debería dejar tranquilo a nadie. Que la categoría sea Alto y no Inaceptable no significa que el riesgo sea bajo. Significa que es un riesgo administrable con controles, y que los controles hay que poder mostrarlos.
Qué toca y qué no toca
Lo que entra al análisis
Zona, con la precisión que hace falta para agrupar y sin altura de calle
Fecha del registro, para medir ritmo y no solo cantidad
Texto libre ya seudonimizado, que es donde está el criterio profesional
Menciones de instituciones: la escuela, el centro de salud, la comisaría
Lo que nunca entra
Etnia, origen o nacionalidad
Religión
Opinión política o afiliación
Orientación sexual
Salud como categoría de clasificación de la persona
Nombre, documento, teléfono o cualquier identificador
Esto es todo lo que ve
Un conjunto de registros agrupados sobre una zona, con su tema y su fecha. No hay una ficha por persona porque el sistema no la construye: no existe un padrón de vecinos marcados.
Cuando el borrador llega al escritorio, el funcionario sí ve nombres, porque son los de su propia base y ya estaba autorizado a leerlos. Los seudónimos son para el código, no para él.
El dato incómodo, dicho por nosotros. El panel donde un funcionario acepta o descarta borradores se abre con reconocimiento facial. Es el único dato biométrico del sistema, es de funcionarios y nunca de vecinos, se pide con consentimiento expreso como condición del rol, no se guarda la imagen sino un identificador opaco, y se elimina dentro de los treinta días de terminada la relación laboral. El personal de campo, que solo carga datos, entra con usuario y contraseña: la exigencia sube con lo que cada rol puede afectar.
En qué se puede equivocar
Una evaluación de impacto que solo enumera fortalezas no es una evaluación. Estos son los modos de falla que reconocemos, con lo que hace el sistema para acotarlos.
Marcar donde más se releva
Sesgo de muestreo
El riesgo
Una zona visitada con más frecuencia genera más registros, y puede parecer más problemática solo por estar mejor documentada.
El control
Cada agrupamiento se compara contra la actividad total de su zona ampliada y se penaliza si es una fracción chica de mucha actividad general.
Falsos positivos
Calibración
El riesgo
Un detector que se dispara de más gasta tiempo de un equipo que ya está desbordado, y además molesta a familias que no lo necesitaban.
El control
La tasa se mide por detector, no en general, y se cruza con cuántos borradores se descartan sin firmar. Un descarte alto y sostenido es la misma alerta.
Texto que suena bien y es falso
Alucinación del modelo
El riesgo
Un modelo puede citar una norma que no dice lo que la recomendación afirma, con una redacción impecable.
El control
La pasada adversarial: otro modelo intenta refutar cada cita contra el corpus cargado. Reduce el riesgo, no lo elimina.
Dependencia de lo que se carga
Calidad del dato
El riesgo
Si un registro no se carga, el sistema no lo ve. Un barrio poco visitado puede quedar invisible y parecer que está bien.
El control
Ninguno técnico alcanza. Lo que corresponde es que el equipo sepa que la ausencia de focos no es evidencia de ausencia de problemas.
Lo que no podemos prometer
Si alguna de estas frases le resulta un problema, conviene saberlo antes de firmar y no después.
Que no se equivoque
Un borrador puede estar mal. Por eso la regla dura es que lo lea una persona antes de que exista.
Que no haga daño
Cualquier sistema de priorización produce algún daño por error. El objetivo es que sea menor que el del sistema actual, y decirlo cuando pasa.
Cobertura completa
Solo ve lo que la institución escribe. No sabe nada de quien nunca fue registrado por nadie.
Comprensión
No entiende una situación social como la entiende un profesional: encuentra coincidencias en un texto.
Y una más, sobre nuestras propias pruebas. Las suites de test que corren antes de cada cambio usan casos que escribimos nosotros. Sirven para detectar que algo se rompió, no para probar que el sistema acierta en la calle. Eso solo lo puede decir el trabajo real de un equipo, y todavía no lo tenemos.
Quién responde por qué
La institución es responsable de la base de datos y designa formalmente a la persona que autoriza el uso del sistema y recibe los pedidos de acceso, corrección o supresión que haga cualquier vecino. Nosotros somos encargados de tratamiento: mantenemos el motor y respondemos por el diseño de las salvaguardas descriptas acá.
El razonamiento corre sobre modelos de frontera alojados fuera del país, sobre texto ya seudonimizado. Eso es una transferencia internacional de datos y se declara como tal, no se esconde en una cláusula. El motor no está atado a un proveedor: si la institución exige otro por política de compras, cambia el proveedor y no el sistema.
¿Falta algo acá?
Si sos asesor legal de una institución y esta página no contesta tu pregunta, escribinos y la contestamos. Si la pregunta es buena, además la agregamos.
