La biblioteca pymetrics/audit-ai, construida sobre pandas y sklearn, implementa algoritmos de aprendizaje automático conscientes de la equidad. Esta herramienta es fundamental para medir y mitigar los efectos de patrones discriminatorios en los datos de entrenamiento y las predicciones de los algoritmos de aprendizaje automático utilizados en procesos de toma de decisiones socialmente sensibles.
Audit-ai toma datos de una población conocida y los ejecuta a través del modelo en cuestión. Compara las tasas de aprobación proporcionales de los grupos demográficos más y menos exitosos para cada categoría demográfica. Determina si los grupos son diferentes según un estándar de significancia estadística y práctica.
Además, ofrece herramientas para verificar diferencias a lo largo del tiempo o en diferentes regiones. Implementa varias técnicas de prueba de sesgo y auditoría de algoritmos, como en tareas de clasificación y regresión.
Para instalar, el código fuente está disponible en GitHub y se puede instalar la versión más reciente con pip. También se requieren ciertas bibliotecas como scikit-learn, numpy y pandas. Además, se proporciona un ejemplo de cómo utilizar este paquete y enlaces a recursos adicionales.
