pymetrics/audit-ai：机器学习模型中的公平性检测工具
pymetrics/audit-ai 是一个构建在 pandas 和 sklearn 之上的 Python 库，它实现了公平感知的机器学习算法。这个工具旨在测量和减轻训练数据以及用于社会敏感决策过程的机器学习算法预测中存在的歧视性模式的影响。
在一个越来越多的决策由人工智能自动化的世界中，我们理解和识别算法的公平性或偏见程度的能力是朝着正确方向迈出的一步。audit-ai 将《员工选拔程序统一指南》（UGESP）中所有评估工具应符合对所有受保护群体公平待遇标准的要求扩展到了机器学习方法中。
例如，我们构建一个对人进行某种预测的模型，如信用评分、监狱再犯的可能性、住房贷款成本等。audit-ai 从已知人群（例如，多种性别和种族的人的信用信息）中获取数据，并通过相关模型进行处理。然后，将最高通过率的人口群体与每个人口类别（性别和种族）的最低通过率进行比较，这个比例被称为偏差比率。
audit-ai 会根据统计显著性（在统计上不同的误差范围内）或实际显著性（差异是否大到在实际层面上有影响）的标准来确定群体是否不同。该工具还提供了使用 Cochran-Mantel-Hanzel 测试来检查不同时间或不同地区的差异的功能。
此库实现了一些偏差测试和算法审计技术，如分类任务中的 4/5 法则、费希尔检验、z 检验、贝叶斯因子、卡方检验等，以及回归任务中的相应测试。
安装方面，源代码托管在 GitHub 上，用户可以通过 pip 安装最新版本，但需要安装 scikit-learn、numpy 和 pandas。使用该工具时，可参考其实现论文及相关文档。
