吴文俊人工智能科学技术奖
上海分论坛 - 可信AI

《由“深”入“微”人工智能可信评测技术演进与展望》

2021年05月20日   来源:中国人工智能学会     

8995

2021年4月10日-12日,吴文俊人工智能科学技术奖十周年颁奖盛典暨2020中国人工智能产业年会在北京和苏州同期圆满成功举办。上海交通大学教授,上海市网络安全综合管理技术研究重点实验室名誉主任李建华受邀在上海中谷小南国花园酒店,2020中国人工智能产业年会—可信AI专题论坛上发表主题报告《由“深”入“微”人工智能可信评测技术演进与展望》。


以下为演讲实录:


图片

人工智能发展趋势分析及其安全挑战

图片

当前,人工智能在各行各业都是非常热的话题,比如人工智能的伦理、法律问题等问题,今天我讲边缘智能的问题趋势。



目前人工智能应用最常见的是人脸识别,机器翻译、文本摘要也在大量使用。在智能手机上语音识别、语音转换也有大量的应用场景,但是他们都面临着数据安全和隐私保护问题。


大家现在讨论的不仅仅是人工智能典型应用,很多学术机构纷纷在人工智能自身理论上,包括新算法、新模型方面开展探索,其中有一个非常重要的就是边缘智能安全的问题,如何把边缘计算和智能体安全融合


一些边缘智能如深度迁移学习用于月球探测,加州大学的研究团队基于微型机器学习对虚拟组织染色进行分类和识别,另外包括德国科学家将深度网络用于地球摇感,分布式处理地球科学的大数据,实现了对极端天气监测,这些对我们研究这AI方面的内容是很有趣的方向。


今天我们讲大家都在看得“深”的时候,AI还有“微”的概念,MIT评论将微型人工智能放在了2020年全球十大突破性技术了,所以我们看到了这种开放式的、开源的架构体系,从大量的脑计算系统中,芯片、神经网络元的规划,包括它的突破规模、神经元的模型等等。它现在数据上看是千亿级。同时,我们也看到还有一个趋势,像谷歌的团队,在设计低于100kb的小型人工智能模型,这也是一个趋势,轻量级。


这种微型化主要是几方面在深入探讨,一个是模型剪枝,减少神经元之间的连接,修建冗余的、信息量低的权重,使部分神经元失活。还有模型蒸馏:旨在把一个大模型或者多个模型学到的知识迁移到另一个轻量级单模型上。低秩分解:将权重参数按SVD分解, 减少模型参数。


在国家大战略上家觉得人工智能大越复杂越庞大越好,但同时可能轻量化、高效便捷的也会成为下一代人工智能发展的方向。而且无论是大规模复杂的应用场景还是轻量级的场景,都面临着很大挑战。


我们看到无论我们今天讲到了人脸识别这种海量的应用,还是智能手机等终端AI应用都面临着如何有效构建安全可信AI的问题,简单说起来就是可信可度量的应用生态。在公平、透明、可解释的层面上来讲,当把微型化的边缘智能嵌入到各类应用当中的时候,我们也面临着你的决策和输出结果是不是可信,是不是可以接受。这当中对抗人工智能具有一定的普适性问题,比如说对抗攻击、透明攻击,在各个层面上都需要有合理、有效的控制。


这是一些案例,从伦理的难题,包括人工智能可解释性的难题,和鲁棒决策的难题。

图片

微型边缘智能可信性评测的内涵与外延

图片


我们也看到广泛应用的,包括近期的阿塞拜疆和亚美尼亚的智能机器人的战策,包括无人机的作战场景,包括从人工智能,我们也有很多工作在做的,包括图灵测试、鲁棒性测试、隐私性测试、侧信道测试,基于各种各样的安全保障测试,大家都在进行探索。

这当中来讲,我们也知道关于对抗欺骗,对抗欺骗主要几种方式一个是样本毒化,还有后门,以及梯度泄露等这几种方式,大家都在寻找很好的防护机制。

还有隐私窃秘,它主要是基于推理攻击,包括定向和非定向两种。

我们可以看到很多国际标准,以及国内我们在做的工作方面一直都非常关注这个领域的进展,但是我感觉进展还有一点慢,一些工作还需要加大力度做,从可信度量的角度方面来讲,它有多个维度,从泛化、对抗鲁棒性角度,隐私和数据安全以及科学体系构建的角度进行展开,比如如何认证。另外从公平性的角度对于算法模型的偏差进性优化也是永恒的话题。

图片

微型边缘智能的可信测评关键技术

图片


从可认证鲁棒性测评,特别是对数据的隐私安全管理,包括隐私模型训练和隐私服务的布局角度来讲,这都是很重要的研究点。我们也在做一些工作,一个是从可视化鲁棒性测试,还有动态隐私保护测试等。可视化鲁棒决策来讲,基于权重的方式研判输入特征对目标类别贡献度,进行量化。

比如我们下面的例子,通过遮挡头像的设置,它可以对目标的敏感性进行鲁棒性测试。还有动态剪枝,我们希望通过梯度剪枝,这样也是为了研究基于微型化的考虑,使得我们做鲁棒性测试的环境,包括对于整个逆向过程等方面,提高效率。

还有差分隐私,目前它是最容易和密码学,包括访问控制学形成可认证的鲁棒构造方案,这也是一个热点,它是可以通过控制向数据或模型中的添加噪声量来调节模型鲁棒性。在这里面,我们非常关注一件事儿,去年国家正式公布《密码法》,就是说密评成为业界关注的非常重要的一点。尽管在等保2.0,没有把人工智能加进去,但是未来在等保3.0里面这会成为非常热门的话题,因为今天的人工智能应用越来越广泛,我们的等保检测体系,不可能不把这样重要的应用环境放进去,所以这当中基于深度学习的多方计算,它当中如何保证模型使用安全,包括5G的切片问题,这是它底层的技术能力。如何使得微型的边缘智能数据模型平台安全,构建这种安全的屏障,这有几个研究的角度。

我们知道在这个当中,边缘计算是未来在密码学系统应用当中来讲,特别是云管端边的发展,对于云、边、端的可信评测将显得更显重要。包括大家一直讲特斯拉有问题,问题在什么地方,是否能够给合理的解读和解释,从功能安全和信息安全角度来讲,是否能够支撑国家安全的需要。

图片

开放性问题与对策

图片


另外我们在整个密码层面的应用,包括同台、门限、函数以及PASSGAN等,在大量的结合人工智能、大数据的应用的密文空间,你是否能开展可信测评。我们在各种各样的人工智能体的部署应用当中,其实还有很多值得研究的,包括它的部署复杂性以及捷径学习、突变理论,我们如何构建可信的,可以演进的动态评测指标体系,我觉得都是非常重要的方向,也是我们希望为国家开展工作有一些贡献。

组织机构

主管单位
中华人民共和国科学技术部
国家科学技术奖励工作办公室
主办单位
中国人工智能学会

奖励资质