6115
2021年4月10日-12日，吴文俊人工智能科学技术奖十周年颁奖盛典暨2020中国人工智能产业年会在北京和苏州同期圆满成功举办。复旦大学计算机学院院长姜育刚受邀在上海中谷小南国花园酒店，2020中国人工智能产业年会—可信AI专题论坛上发表主题报告《人工智能算法治理》。
以下为演讲实录：
各位领导、各位专家大家好，非常荣幸今天来参加人工智能学会可信AI专题论坛，非常高兴看到在何院士推动下，可信AI受到更多专家学者以及业界的重视，今天报告的题目是人工智能算法治理，我是按照20分钟准备的，所以我讲短一些。
现状与问题
内容分三个部分：首先是现状与问题。大家知道现在人工智能在很多应用领域都取得了初步成功，不管安防、医疗、自动驾驶、生物信息处理、智能制造、智慧金融等各方面，都看到越来越多AI方法和技术，包括系统，都在逐步的使用。
人工智能算法也存在很多问题，包括不透明、不可解释、不公平、不安全、不友好、隐私泄露、算法滥用等等。
大家看一下不透明，这个例子是IBM沃森爆出的致命BUG，开错药给病人，医死人算谁的责任？内部文件显示：许多医生在使用沃森时，发现AI给出了多个不安全、不正确的治疗意见，甚至在极端的诊断案例中，沃森给有出血症状的癌症病人开了容易导致出血的药品，严重时可致患者死亡。然而，医生却并不知道为啥沃森会给出这样的治疗意见。基于这样的背景下，决策过程确实是很多时候难以理解，导致出了问题追责比较困难。
第二不公平。人工智能系统由于数据集、设计者、工程师等多方面因素，可能导致其在决策过程中带有性别歧视、种族歧视等偏见。下面也是相关的报道，亚马逊AI简历筛选系统被发现对女性有偏见，最终被关闭。此外，还有一些商家被曝出来存在大数据受杀熟的问题。比如根据手机类型的不同，可能会推荐不同类型的商品，甚至打车的时候推荐不同价格、档次的车辆。
不安全。现在普遍基于深度学习的人工智能系统比较容易受到对抗样本的欺骗，而产生错误的决策。上面是我们实验室的例子，我们提出了第一个在视频识别模型上做黑盒对抗样本攻击的工作。左边和右边两个视频大家视觉看起来没有差别，但是右边的视频我们加入了非常细微的改动，左边的模型可以正确识别，到了右边就会识别错误，这就是现在模型本身存在的局限导致的。目前，抗样本攻击已经可以达到非常高的攻击成功率。同时，目前的对抗攻击不仅可以让模型识别错，还可以识别成任何想要识别的类别。这种类型的例子在现实中还有很多，例如误导图片识别、文本识别等。在文本里面改一些字母，就可以使模型对文本分类形成错误的结果。
不友好。目前的智能算法还存在给出的决策不符合伦理道德要求的问题，也就是说智能算法的决策没有从改善人类生活的角度、服务人类的社会的角度出发。比如智能音响劝主人自杀，聊天机器人骂脏话、种族攻击等。而这些不友好的决策都是模型从数据中学习而来，不是我们对模型设置的目标。
隐私泄露。人工智能算法需要海量的数据驱动，训练数据可以被算法恢复，个人隐私存在泄露和侵犯的风险。这是美国公司泄露了客户超过三十亿的人脸数据，国内其实这种情况也是非常多，我没有具体举例子。
人工智能算法的问题已经引起了国内外广泛的重视，中国科技部推的新一代人工智能治理专业委员会发布《新一代人工智能治理原则-发展负责人的人工智能》，提出人工智能治理框架和行动指南，强调和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理八项原则。2019年8月，我国人工智能产业发展联盟发布了《人工智能行业自律公约》，旨在树立正确的人工智能发展观，明确人工智能开发利用基本原则和行动指南。
美国也比较重视，在他们国家人工智能发展战略计划中，提到人工智能系统必须是值得信赖的，并确定了可信人工智能三个组成部分：合法性，伦理性和鲁棒性，以及三层框架：四大基本伦理原则、七项基础要求、可信人工智能评估清单。
2020年2月，欧盟《人工智能白皮书-通往卓越和信任的欧洲之路》中提出构建信任的生态系统。德国在《自动驾驶伦理准则》，提出了自动驾驶汽车的20项道德伦理准则，主要针对自动驾驶这种特定的场景。由于自动驾驶跟我们生命是息息相关的，所以各个国家比较重视。
进展与局限
下面给大家汇报一下进展的局限，主要是结合这几个方面，首先是透明性和可解释性方面，目前吸引了很多人的关注，我们陆陆续续看到一些成果出来，但是其实这里面每一块儿目前的进展都没有那么理想。大家都在关注并持续在做的有基于可视化的可解释性研究。也就是以热力图的形式可视化类别的激活图，模型的梯度和敏感度，来实现模型的可解释性或者部分可解释性。左边是基于类别的激活图（音）的可视化，右边是基于梯度的可视化。在可解释性研究问题上，我们希望取得理论的突破，可能要从根本上改进学习的机制，使得整个学习过程可解释性更强、更透明。在可解释性研究方面，目前各个公司都很重视，例如谷歌，脸书，IBM都相继推出了多个可解释的工具箱。但是目前这些成果都还比较初步，可能针对某一些算法，某一些特定的场景做的一些事情。
公平性方面。相关的文章陆陆续续出来，例如性别偏见消除。最近有工作通过去除训练样本中的性别属性消除性别偏见。这块我们也觉得训练过程中需要加入更多社会学知识。这个我后面会讲，这块儿不只是搞技术的人做，很多知识会有相关领域的常识来解释什么样是公平，怎么处理这些问题才算是公平。因此我们需要人文社科的人，给我们提供建议，确保技术研发过程中数据以及模型的公平性。
安全性方面。我举一个例子，关于对抗样本的防御。目前对抗样本的防御已经有一些研究工作，但是目前来看，也都存在一些问题。目前效果比较好的就是基于对抗训练的防御方法，在模型训练的时候，把对抗样本加进去，提高模型的鲁棒性。对抗训练的缺点就是计算复杂度十分高，因此在这块儿急需研究计算复杂度更低一些的对抗样本防御方法。甚至也需要考虑是不是有可能在深度学习的学习过程中，通过与数学结合，进行理论上的创新，看看能不能从根本上改变现有的学习方法，使得至少目前比较流行的对抗样本攻击方法，在新的学习框架下就不work了。
后门攻击防御。这里两个例子，左边是通过模型剪枝与微调：通过模型剪枝与利用少量干净数据进行模型微调，实现后门攻击防御。右边是从数据角度，直接从输入数据的角度做后门检测与移除：通过后门位置检测定位测试图片中的后门区域，并通过图像重建移除后门。模型使用的时候，数据进来，通过后门检测和移除，实现后门攻击的防御。目前这块儿也急需研究统一的标准评测方法，能够评测人工智能模型是不是安全。
安全性方面，鲁棒性评估平台大家也在推动，跟前面一样，都是在某些特定问题上，某些特定场景下，大家尝试做一点初步的工作，比如说左边是IBM的鲁棒性评估工具包，中间是复旦大学的自然语言处理团队推出的工作，也针对自然语言处理的鲁棒性做了评估，发现其实很多在标准数据上，尤其是发文章很好的结果那些问题上，如果通过大范围的测试，包括安全性，发现这些模型都很差，这也是我们不愿意看到的结论，这个问题是特别值得重视。右边是清华的鲁棒性评估的工作。
隐私保护也有很多相关的方法，前面周总提到加密的方法，还有一个就是在联邦学习目前也是很多人在推的方案，利用分布式学习保证数据隐私的安全和合法合规基础上，实现共同建模，提升智能模型学习的效果，左边是横向联邦学习的框架，意思就是说不同的数据，来源于不同的人，采集的特征是一样的，我们通过分布式的训练模型，最后进行模型聚合，在不传输原始数据的情况下，实现保护隐私情况下的模型训练。右边是纵向联邦学习框架，也就是同一组样本，不同的节点采集到不同的特征，我们通过纵向的联邦学习，进行特征共享，实现比较好的模型训练。目前在这一块研究上，也是亟需有效的融合方法有效处理来自不同设备、不同数据分布的训练数据。
滥用检测，现在各个国家都重视这块，因此相关的项目陆续都在推出来。科技部最近启动了定向的研发项目，主要是做换脸视频的检测。在换脸视频的检测上，目前看还是没有特别好的方法。这个例子中展示的是我们的工作，我们在网上自己搜集了一些换脸视频数据，这些视频的换脸方法未知，收集来以后测了一些常见的方法，发现精度都掉了很多。一般来讲，在做换脸视频鉴别上，如果换脸方法是已知的，那这种换脸鉴别会比较容易做，同时能够取得非常高的精度。但是在实际使用场景中，往往换脸方法是未知的。由于目前鉴定方法的泛化性比较弱，因此在真实场景的鉴别效果还比较差。所以目前这块儿还需要投入更多的研究。
总结与展望
人工智能治理或者人工智能算法治理这块儿，需要“技术+规则”的双轮驱动。在座可能都是搞技术的人，实际上这块儿离开制定规则的也不行，制定规则的时候脱离了技术也不好做，所以技术与规则联动特别重要。一方面研究更符合规则的人工智能算法，发展评估技术以度量现有人工智能算法的合规程度；另一方面通过规则自顶向下的约束人工智能技术活动，牵引其健康发展。总而言之，就是要从技术角度保障，规则角度牵引人工智能发展。不管技术研发还是规则制定，都需要大家坐在一起深度探讨，这一点非常重要。
