pymetrics/audit-ai : Un outil pour l'évaluation de la justice algorithmique
pymetrics/audit-ai est une bibliothèque Python basée sur pandas et sklearn. Son objectif est de mettre en œuvre des algorithmes d'apprentissage automatique soucieux de l'équité. Cette bibliothèque est développée par l'équipe de Data Science chez pymetrics.
L'outil est conçu pour mesurer et atténuer les effets des modèles d'apprentissage automatique qui peuvent présenter des biais. Il s'intéresse particulièrement aux données d'entraînement et aux prédictions qu'ils produisent, en vue de processus de décision sensibles sur le plan social.
L'un des aspects importants de audit-ai est son approche en matière de conformité réglementaire. Selon les directives uniformes sur les procédures de sélection des employés, tous les outils d'évaluation doivent respecter des normes équitables pour tous les groupes protégés. Audit-ai étend cette exigence aux méthodes d'apprentissage automatique.
Par exemple, en prenant des données d'une population connue et en les soumettant au modèle, audit-ai compare les taux de réussite des groupes démographiques. Il détermine si les groupes sont différents en fonction d'un seuil de signification statistique et pratique.
La bibliothèque implémente plusieurs techniques de test de biais et d'audit d'algorithmes. Pour les tâches de classification, elle propose des tests tels que 4/5ème, Fisher, z-test, facteur de Bayes, test du khi carré, etc. Pour les tâches de régression, elle inclut également des tests similaires.
L'installation de audit-ai est relativement simple. Le code source est hébergé sur GitHub et on peut installer la dernière version publiée avec pip. Il est également nécessaire d'installer scikit-learn, numpy et pandas.
Pour utiliser ce package, il existe des papiers d'implémentation disponibles. On peut également obtenir des graphiques des différents tests à différents seuils.
En somme, pymetrics/audit-ai offre une solution pour détecter les différences démographiques dans les sorties des modèles d'apprentissage automatique et autres évaluations, contribuant ainsi à une meilleure justice algorithmique.
