一 背景概述

当前，人工智能技术加快演进，深刻改变人们的生产生活方式，随之而来的数据隐私、算法歧视、安全风险等人工智能治理问题也引起各方的共同关注，尤其人工智能大规模应用催生了对AI安全更迫切的要求。

人工智能安全是能够获取、处理、创建和应用知识，模拟人类感知、学习和决策，以系统的形式完成一个或多个既定任务的理论、技术、方法和应用。人工智能安全定义为两个方面，其一为“safety”，更强调功能的安全，指免于不能容忍的安全风险，如受控设备和控制系统相关的整体安全；其二为“security”，指除了信息的保密性、完整性和可用性外，也强调其他属性，如真实性、可问责性、不可否认性和可靠性等。

二 人工智能安全发展环境

中国发布《新一代人工智能发展规划》《中华人民共和国国民经济和社会发展第十四个五年规划和2035远景目标纲要》等多项政策文件，提出加快人工智能安全技术创新，强调安全监管与评估。人工智能安全已成为未来国家战略、政府工作的重要组成部分。

我国人工智能取得长足进展，安全检测发展需求迫切。我国人工智能技术在计算机视觉、语音识别、自然语言处理等方面已经取得了巨大进展，在自动驾驶、智慧金融、智能医疗等重点民生领域深入应用，并且正在向军事装备快速转移，这就对人工智能的安全、可靠、可控有极高的要求，频发的安全事件引发了大众对人工智能安全的担忧。

三 人工智能安全检测分类与技术

1.人工智能安全定义

通常意义下的人工智能安全是指人工智能系统全生命周期的智能水平、可靠性、安全性等风险。包括：⑴由于人工智能自身在鲁棒性、可解释性等方面存在的安全隐患或问题；⑵应用人工智能技术的系统产生新的安全威胁，攻击者可利用对抗样本或数据投毒技术，对智能系统开展攻击造成功能失效；⑶传统安全问题借助人工智能技术得到解决或人工智能技术加剧传统攻击的效率。

2.人工智能安全检测分类

人工智能安全分为4类。

⑴数据安全测评：数据安全是组织机构信息安全体系的重要环节，通过统一标准《数据安全能力成熟度模型》来评估机数据安全能力，用组织的能力成熟度来进行安全风险评估，技术维度对数据生存期安全过程维度进行测评，管理维度对组织各数据安全过程应具备安全能力的评估；

⑵算法安全测评：算法安全是人工智能系统应用安全的核心要求,提出算法安全标准《 机器学习算法安全评估标准》，《信息技术人工智能机器学习模型及系统的质量要素和测试方法》、《信息安全技术人脸比对模型安全技术规范》覆盖人工智能算法全生命周期的安全测评指标和测评体系；

⑶基础设施安全测评：基础设施安全是人工智能系建立的根基保障，参考国际标准《深度学习软件框架评估方法》、国家标准《服务器安全技术要求和测评准则》、联盟标准《绿色计算服务器可信赖技术要求》，对学习解和算力设施的安全稳定性评估，降低人工智能基础设施遭受的攻击风险；

⑷系统应用安全测评：系统应用安全是人工智能安全最佳实践验证，依据法律法规、行业规范、标准指南进行符合性评估，依据产品计文档对人工智能系统进行功能和预期功能的使用范围、潜在受影响的人员数量、应对外部攻击能力、对结果依赖性和损害的不可逆转性等风险性评估。

3.人工智能安全检测技术保障

主要技术保障方面包括：

⑴深度伪造检测方法（基于待定特征的方法、基于特定特征的方法）防御方法（c爱用联合深度学习方法、使用区块链技术）；

2对抗样本检测方法（构建对抗样本检测器、提取神经网络不同层输出的局部本征维数）防御方法（对抗训练技术）；

⑶算法后门检测方法（神经元清洁检测方法、ABS模型检测方法）防御方法（启发式后门防御、可验证后门防御）；

⑷数据劫持检测方法（网络劫持检测、应用篡改检测等）防御方法（符合商用密码认证要求、程序的自我保护）；5框架缺陷检测方法（静态分析技术、动态分析技术）防御方法（开发流程引入DevSecOps、强化关键点防御）。

四 国内人工智能检测技术发展现状

1.国内典型的人工智能安全检测技术发展方向

⑴百度：对抗攻击技术、黑白盒攻击技术；⑵华为：鲁棒性增强技术、对抗攻击技术；⑶瑞莱：黑盒查询攻击技术、黑盒迁移攻击技术、漏洞检测技术、模型安全性测评、模型鲁棒性提升；⑷360：云端机器学习框架安全性评估技术、终端机器学习框架安全评估技术。

2.近期国内人工智能安全检测领域发展动态

⑴2022年9月，在上海“2022 世界人工智能大会”现场，中国信通院、清华大学、蚂蚁集团联合发布AI安全检测平台“蚁鉴”。

⑵⑵中国信通院华东分院和京东探索研究院联合共建可信AI联合实验室；

⑶2022年10月，邦盛科技智能决策平台通过中国信通院2022年组织的“可信AI”评测。

⑷2022年10月，中国信通院启动人工智能调研工作，调研对象为人工智能使用方的相关专家等，调研内容包括AI能力建设(算法/算力/数据)、研发运维、技术应用等内容。

⑸2022年8月16日,由中国信息通信研究院、深度学习技术及应用国家工程研究中心、人工智能关键技术和应用评测工信部重点实验室主办的2022可信AI峰会(主论坛)成功召开。

⑹2022年第六批可信“AI”评测共有33款产品(应用)通过了评测。

⑺中国信息通信研究院（以下简称“中国信通院”）中国泰尔实验室自2018年启动人工智能第三方评测工作以来，围绕人工智能在工程化落地的过程中，形成了“可信AI” 评测体系。

五 在人工智能安全检测方面的发展建议

1. 加深交流、跟踪进展

在我国提出技术创新与安全发展并重的人工智能发展理念下，我国相关科研机构正在加快AI安全检测技术研发和实施推进的力度，与这些机构建立并加深联系，密切跟踪其AI安全攻防、安全检测等关键技术进展，及时掌握攻击和检测原理，学习现有安全检测技术；

2. 加快研发、建立体系

加快人工智能安全检测基础技术、共性技术、应用技术研究，研发智能产品和服务的可靠性、安全性等检测工具，统筹规划人工智能安全标准体系，建立人工智能测试评估体系，解决人工智能存在的不可解释、鲁棒性差、不安全、不可靠等问题；

3. 建立能力、打造平台

建立完善可对智能设备设计、开发、测试、运营全生命周期进行安全测评能力，打造人工智能装备检验检测和试验验证的产业技术服务平台。