audit-AI は pandas と sklearn の上に構築された Python ライブラリで、公平性を意識した機械学習アルゴリズムを実装しています。このツールは、訓練データと機械学習アルゴリズムの予測における差別的パターンの影響を測定および緩和するためのものです。この研究の全体的な目標は、機械学習アルゴリズムをより公平にするための合理的な方法を考え出すことです。訓練データセットとそれに基づいて訓練された機械学習アルゴリズムにおける潜在的なバイアスを特定することは、差別問題を解決するための十分条件ではありませんが、人工知能によってより多くの意思決定が自動化される世界では、アルゴリズムがどの程度公平またはバイアスがあるかを理解し、特定する能力は正しい方向への一歩です。
audit-AI は、すべての評価ツールがすべての保護グループに対して公平な待遇基準に従うべきであるという Uniform Guidelines on Employee Selection Procedures (UGESP; EEOC ら, 1978) を機械学習方法に拡張しています。たとえば、人々に関する予測を行うモデルを構築するとします。このモデルは理論的には何でもかまいません。クレジットスコアの予測、刑務所再犯の可能性、住宅ローンのコストなどが考えられます。audit-AI は、既知の人口（たとえば、複数の性別と民族のクレジット情報）からデータを取得し、問題のモデルに通します。各人口統計学的カテゴリ（性別と民族）について、最も高い合格者グループの比例合格率と最も低い合格者グループの比例合格率を比較します。この比率はバイアス比と呼ばれます。audit-AI は、統計的有意性（p <.05 などの基準内）または実用的有意性（差が実際的に重要なレベルに達するかどうか）の基準に従ってグループが異なるかどうかを判定します。
このライブラリでは、分類タスクと回帰タスクにおけるいくつかのバイアステストとアルゴリズム監査技術を実装しています。また、ソースコードは GitHub でホストされており、pip を使用して最新バージョンをインストールできます。インストールには scikit-learn、numpy、pandas などのライブラリが必要です。パッケージの使用方法については、実装提案のドキュメントを参照できます。
