1.1.3 人工智能带来的安全问题

技术是一把“双刃剑”，人工智能技术也不例外，在造福人类及给人们的生活带来便利的同时，也会产生一些安全方面的问题[13]。

1.在社会安全方面

人工智能带来的主要社会安全风险涉及国家安全、社会治安、产业和职业结构变化及就业等方面，可能对社会的局部乃至整体稳定形成新的挑战，并容易使人民群众对这些伴生风险的质疑上升到技术本身，制约相关高技术产业的发展。

美国 DARPA 于2017年7月发布的《人工智能与国家安全》认为，人工智能将会是国家安全领域的颠覆性力量，未来的人工智能技术有可能与核武器、飞机、计算机和生物技术一样，成为给国家安全带来深刻变化的颠覆性技术。《人工智能与国家安全》还强调，人工智能通过变革军事优势、信息优势和经济优势影响国家安全。2019年8月，亨利·基辛格等人在《大西洋月刊》上发表文章《蜕变》，其中提到，人工智能在未来存在令人担忧的影响，包括：由于人类把越来越多探求知识的工作交给人工智能而导致好奇心下降；不真实的新闻和视频导致信任减少；人工智能为恐怖主义提供了新的可能性；由于人工智能的操纵，导致民主制度被削弱；或许还会因自动化而减少人类的工作机会等。

人工智能给产业、职业结构变化及就业带来的风险，源于人工智能（特别是智能机器人）对第一、第二产业岗位的替代，这会导致大量体力劳动者和简单脑力劳动者的结构性失业、转业，增加人民群众的生活压力和政府的行政压力。2017年，美国兰德公司在关于人工智能安全的一篇报告《人工智能对安全及未来就业的风险》中指出，由于人工智能越来越多地替代人力完成任务，如车辆驾驶、医疗诊断及新闻报道撰写等，预计未来20年，人工智能会对就业问题造成较大的影响。Forrester Research 预测，人工智能技术将在2025年之前取代美国7%的工作岗位，其中16%的美国工人将被人工智能系统取代。在新的社会分工模式建立之前，人工智能对就业的冲击可能引发社会安全风险。《未来简史》作者尤瓦尔·赫拉利于2017年7月预测，未来二三十年内超过50%的工作会被人工智能取代，人工智能的产业化推进将使部分现有就业岗位减少甚至消失，导致结构性失业[1]。

2.在经济安全方面

人工智能会给实体经济安全带来一定的风险。在实体经济中，人工智能技术将逐步渗透到更多行业和环节中，推动经济、社会各领域从数字化、网络化向智能化加速跃升，人工智能产业将逐步成为实体经济中不可或缺的支柱产业和经济发展的重要驱动力，关乎国家经济安全命脉，一旦人工智能的某个环节受制于人，国家经济安全将受到冲击。尽管当前国产化替代加速，但自主可控领域依旧存在较大的成长空间，我国核心算法、芯片及基础元器件的掌握与国外还存在一定的差距，缺乏重大原创科技成果。人工智能硬件领域仍缺乏顶尖级创新型资深人才。“中兴事件”表明，只有把关键核心技术掌握在自己手中，才能够摆脱受制于人的局面。在高成本的精密工业和大型工业中，如果基于人工智能的模型泛化能力差，算法不完善，数据不精确，对抗能力不足，或某一环留有“后门”，使人工智能平台发生误判，则可能造成较大的经济损失。

同时，人工智能也会给货币金融安全带来一定的风险，主要体现在身份认证安全性风险、信用评估可靠性风险和基于人工智能的新型国家金融威胁等方面。第一，由于生成对抗神经网络技术的飞速发展，人工智能辅助的身份验证可能存在欺骗，同时，“换脸”和“换声”等技术也给货币金融系统的远程安全身份认证带来了新的难题。第二，在人工智能信用评估中，如果人工智能评估算法不完善，模型泛化能力不足，则可能产生一定规模的金融风险，并且不容易在初期发现。在基础技术研究和领先性上，我国和技术先进国家也存在差距。从业务形态来看，在金融风险评测及基于对抗学习的识别技术、抗干扰技术等方面，我国基本上还是参照国外的算法模型，向技术先进国家学习、迁移的情形居多。第三，人工智能金融决策模型发展到一定阶段后，将可能具备“索罗斯式”的冲击力，要对未来基于人工智能的“资本怪兽”保持充分的警惕，防范其对货币金融体系的入侵，确保能够在技术和非技术手段上予以反制。

3.在基础设施、网络安全及设计研发方面

在“新基建”（新型基础设施建设）的推动下，人工智能技术将加快融入生活中的基础设施，向社会全行业、全领域赋能。然而，人工智能基础设施潜藏安全风险。以机器学习开源框架平台和预训练模型库为代表的算法基础设施，因开发者蓄意破坏或代码实现不完善而面临算法后门嵌入、代码安全漏洞等风险。2020年9月，安全厂商“360”（北京奇虎科技有限公司）公开披露谷歌开源框架平台TensorFlow存在24个安全漏洞。开源数据集及提供数据采集、清洗、标注等服务的人工智能基础数据设施面临训练数据不均匀、训练数据投毒、训练数据泄露等安全风险。2020年，美国麻省理工学院的研究人员通过实验证实CIFAR-100-LT、ImageNet-LT、SVHN-LT等被广泛应用的数据集存在严重的不均衡问题[11]。

网络和大数据的发展推动了人工智能的进步，网络攻击智能化趋势也给网络安全保护提出了更高的要求。有关人工智能与网络安全关系的研究表明，一旦人工智能被运用到网络攻击活动中，将使网络攻击活动更加难以预警和防范，关键信息基础设施也将面临新的安全风险。例如，将人工智能技术运用到木马病毒的制作传播中，将会出现难以防御的超级病毒木马，传统应对方法将无法控制这些恶意程序传播扩散的速度。

人工智能的技术研发与应用也存在一些具有不确定性的安全风险。联邦学习、迁移学习等人工智能新技术的应用，使跨机构的人工智能研发协作进一步增多。由于遵循了不同的规范，因此，人工智能设计研发阶段的安全风险更加复杂且难以检测发现。一是人工智能算法自身存在技术脆弱性。当前，人工智能尚处于依托海量数据驱动知识学习的阶段，以深度神经网络为代表的人工智能算法仍存在弱鲁棒性、不可解释性、偏见歧视等尚未突破的技术局限。二是人工智能新型安全攻击不断涌现。近年来，对抗样本攻击、算法后门攻击、模型窃取攻击、模型反馈误导、数据逆向还原、成员推理攻击等破坏人工智能算法和数据机密性、完整性、可用性的新型安全攻击快速涌现，人工智能安全性受到全球学术界和工业界广泛关注。三是因算法设计实施有误而产生非预期结果。人工智能算法的设计和实现有可能无法完成设计者的预设目标，导致产生偏离预期的不可控行为。例如，设计者为算法定义了错误的目标函数，导致算法在执行任务时对周围环境造成了不良影响[11]。

4.在军事安全方面

直接利用人工智能的强大能力来赋能安全，以提高对敌攻击的水平，这本身就会给人类带来危险，而且这种赋能攻击的方式是蓄意的，会给军事安全带来重大影响。

作为军事大国，美国的人工智能军事作战赋能的目标非常清晰，强力推动其顶尖人工智能研究实现新的技术突破，促进科学新成果的发现，增强经济竞争力，巩固国家安全。2019年3月，美国参议院军事委员会举行主题为国防部人工智能计划的听证会，美国国防部高级研究计划局（DARPA）、国防创新小组（DIU）、国防部联合人工智能中心（JAIC）等机构主管分别介绍所在部门的人工智能项目及运行机制等，巩固并强化了人工智能技术及应用与军方之间的联系，推动美国的人工智能军用化步伐进一步加快。以 DARPA 为例，DARPA 正将投资和研发重点转向第三代人工智能技术，致力于创建能在特定语境下进行推理的机器。资助的主要项目包括终身学习机器（L2M，于2017年启动）、可解释人工智能（XAI，于2018年启动）和机器常识（MCS，于2018年启动）等，目的是探索提高人工智能技术水平的方法，实现语境推理能力。DARPA 认为，将这些技术集成到与军事作战人员合作的军事系统中，将有助于在对空间敏感的复杂战场环境中做出及时决策，分析不完整或者相互矛盾的海量信息，并使用无人系统安全自主地执行关键任务[14]。

在当前的俄乌冲突中，俄乌双方均较大规模地使用了以无人机为主的无人装备，以实施战场情报侦察和目标打击任务：乌军使用土耳其制造的“旗手”TB-2摧毁俄方防空系统与装甲部队，俄军使用“前哨-R”察打一体无人机摧毁乌方多管火箭炮系统。此外，有分析认为，乌军无人机通过综合识别俄方将领并进行打击，造成多位俄方高级将领阵亡。无人装备依托自身传感装备获取战场情报，凭借搭载的通信系统实现战场态势信息的实时传输，并接受指控平台的打击命令，实现侦、控、打、评的信息闭环，未来无人/反无人装备在现代战争中的应用范围会越来越广。同时，在网络空间战场中，双方通过深度学习、多语言模型、人脸识别等人工智能手段进行“舆论战”，开展认知域的对抗，瓦解敌方斗志，增强己方信心[15]。