audit

audit-AI é uma biblioteca Python construída sobre pandas e sklearn que implementa algoritmos de aprendizado de máquina com consciência de equidade. Foi desenvolvida pela equipe de Data Science da pymetrics. Essa ferramenta tem como objetivo medir e mitigar os efeitos de padrões discriminatórios nos dados de treinamento e nas previsões feitas por algoritmos de aprendizado de máquina usados em processos de tomada de decisão socialmente sensíveis. Ela permite identificar potenciais vieses nos conjuntos de dados de treinamento e, consequentemente, nos algoritmos treinados neles. Por exemplo, ao construir um modelo que faz previsões sobre pessoas, como previsões de pontuação de crédito, probabilidade de reincidência prisional, custo de um empréstimo imobiliário, etc., o audit-AI pega dados de uma população conhecida e os executa no modelo em questão. Em seguida, compara as taxas de aprovação proporcionais do grupo demográfico com a maior taxa de aprovação com a do grupo com a menor taxa de aprovação para cada categoria demográfica (gênero e etnia). Essa proporção é conhecida como a razão de viés. O audit-AI determina se os grupos são diferentes de acordo com um padrão de significância estatística (dentro de uma margem de erro estatisticamente diferente) ou significância prática (se a diferença é grande o suficiente para importar em um nível prático). Além disso, a biblioteca oferece ferramentas para verificar diferenças ao longo do tempo ou em diferentes regiões, usando o teste Cochran-Mantel-Hanzel, um teste comum em círculos regulatórios. A biblioteca implementa várias técnicas de teste de viés e auditoria de algoritmos, como tarefas de classificação e regressão. O código-fonte está hospedado no GitHub e pode ser instalado com o pip. Além disso, existem requisitos de versão para bibliotecas como numpy, scipy e pandas. Para usar o pacote, é possível consultar o papel de implementação disponível no GitHub. Existem também exemplos de conjuntos de dados e como obter um gráfico dos diferentes testes em diferentes limiares.