What-If Tool 是一个创新的AI工具,旨在通过最小化编码需求,让用户能够直观地探测训练好的机器学习模型的行为。开发和部署负责任的机器学习系统的一个关键挑战是理解它们在各种输入下的表现。使用What-If Tool,您可以在假设情况下测试性能,分析不同数据特征的重要性,并可视化多个模型和输入数据子集的模型行为,以及不同的机器学习公平性指标。
What-If Tool 支持从任何工作流程中进行模型探测,包括Colaboratory笔记本、Jupyter笔记本、Cloud AI笔记本、TensorBoard、TFMA和公平性指标。它兼容的模型和框架包括TF Estimators、由TF serving提供的模型、Cloud AI平台模型以及可以包装在Python函数中的模型。支持的数据和任务类型包括二分类、多分类、回归以及表格、图像、文本数据。
此外,What-If Tool 还允许用户提出和回答关于模型、特征和数据点的问题。它是一个开源项目,欢迎任何人参与开发和改进。通过查看开发者指南,您可以了解如何贡献代码。What-If Tool 的最新更新、新功能和改进都可以在发布说明中找到。
在IEEE VAST '19上,我们发表了关于What-If Tool的系统论文,详细介绍了其背后的技术和理念。此外,通过阅读相关文章,您可以了解What-If Tool如何让您尝试五种不同类型的公平性,以及它们的意义。Google Research团队鼓励大家通过Github参与进来,共同推动这一工具的发展。