验证AI系统需要基准测试——模拟真实条件的数据集和评估工作流——来度量准确性、可靠性和安全性。然而,使用真实数据构建基准测试常常面临隐私法规限制、数据稀缺和标注成本高昂的挑战。NVIDIA提出了一种基于合成数据构建隐私保护评估基准的方法,使组织能够在不暴露敏感信息的前提下进行严格的AI系统评估。
该方法的核心是使用生成式AI创建与真实数据分布一致但不包含任何真实个体信息的合成数据集。NVIDIA NeMo Safe Synthesizer提供了一种可控的合成数据生成框架,能够在保护隐私的同时保持数据的统计特征和相关性结构。生成的合成数据可用于模型评估、红队测试和公平性审计等多种场景。在金融机构的欺诈检测模型评估中,使用合成基准测试获得的模型性能排名与使用真实数据获得的排名高度一致(相关系数>0.95)。对于在医疗、金融和政府等隐私敏感领域开发和部署AI系统的组织来说,基于合成数据的隐私保护评估基准提供了一种合规且有效的模型验证方案。
WeChat
Profile