吴世忠:不做“局外人”,对新一代人工智能发展与安全问题的思考

作者：吴世忠 中国信息化百人会执委、中国信息安全测评中心党委书记

人工智能的迅速发展将深刻改变人类社会生活、改变世界。为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国，、，制定本规划。

人工智能发展进入新阶段。经过60多年的演进，特别是在移动互联网、大数据、超级计算、传感网、脑科学等新理论新技术以及经济社会发展强烈需求的共同驱动下，人工智能加速发展，呈现出深度学习、跨界融合、人机协同、群智开放、自主操控等新特征。大数据驱动知识学习、跨媒体协同处理、人机协同增强智能、群体集成智能、自主智能系统成为人工智能的发展重点，受脑科学研究成果启发的类脑智能蓄势待发，芯片化硬件化平台化趋势更加明显，人工智能发展进入新阶段。当前，新一代人工智能相关学科发展、理论建模、技术创新、软硬件升级等整体推进，正在引发链式突破，推动经济社会各领域从数字化、网络化向智能化加速跃升。

人工智能成为国际竞争的新焦点。人工智能是引领未来的战略性技术，世界主要发达国家把发展人工智能作为提升国家竞争力、，加紧出台规划和政策，围绕核心技术、顶尖人才、标准规范等强化部署，力图在新一轮国际科技竞争中掌握主导权。当前，，必须放眼全球，把人工智能发展放在国家战略层面系统布局、主动谋划，牢牢把握人工智能发展新阶段国际竞争的战略主动，打造竞争新优势、开拓发展新空间，。

人工智能成为经济发展的新引擎。人工智能作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎，重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式，引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。我国经济发展进入新常态，深化供给侧结构性改革任务非常艰巨，必须加快人工智能深度应用，培育壮大人工智能产业，为我国经济发展注入新动能。

人工智能带来社会建设的新机遇。我国正处于全面建成小康社会的决胜阶段，人口老龄化、资源环境约束等挑战依然严峻，人工智能在教育、医疗、养老、环境保护、城市运行、司法服务等领域广泛应用，将极大提高公共服务精准化水平，全面提升人民生活品质。人工智能技术可准确感知、预测、预警基础设施和社会安全运行的重大态势，及时把握群体认知及心理变化，主动决策反应，将显着提高社会治理的能力和水平，对有效维护社会稳定具有不可替代的作用。

人工智能发展的不确定性带来新挑战。人工智能是影响面广的颠覆性技术，可能带来改变就业结构、冲击法律与社会伦理、侵犯个人隐私、挑战国际关系准则等问题，将对政府管理、经济安全和社会稳定乃至全球治理产生深远影响。在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展。

我国发展人工智能具有良好基础。国家部署了智能制造等国家重点研发计划重点专项，印发实施了“互联网+”人工智能三年行动实施方案，从科技研发、应用推广和产业发展等方面提出了一系列措施。经过多年的持续积累，我国在人工智能领域取得重要进展，国际科技论文发表量和发明专利授权量已居世界第二，部分领域核心关键技术实现重要突破。语音识别、视觉识别技术世界领先，自适应自主学习、直觉感知、综合推理、混合智能和群体智能等初步具备跨越发展的能力，中文信息处理、智能监控、生物特征识别、工业机器人、服务机器人、无人驾驶逐步进入实际应用，人工智能创新创业日益活跃，一批龙头骨干企业加速成长，在国际上获得广泛关注和认可。加速积累的技术能力与海量的数据资源、巨大的应用需求、开放的市场环境有机结合，形成了我国人工智能发展的独特优势。

同时，也要清醒地看到，我国人工智能整体发展水平与发达国家相比仍存在差距，缺少重大原创成果，在基础理论、核心算法以及关键设备、高端芯片、重大产品与系统、基础材料、元器件、软件与接口等方面差距较大；科研机构和企业尚未形成具有国际影响力的生态圈和产业链，缺乏系统的超前研发布局；人工智能尖端人才远远不能满足需求；适应人工智能发展的基础设施、政策法规、标准体系亟待完善。

面对新形势新需求，必须主动求变应变，牢牢把握人工智能发展的重大历史机遇，紧扣发展、研判大势、主动谋划、把握方向、抢占先机，引领世界人工智能发展新潮流，，带动国家竞争力整体跃升和跨越式发展。

历史上每一次工业革命都会助推强国崛起，引发国力转变，重塑世界格局。人工智能（AI）技术的发展应用同样正在孕育着一场革命，为我国提供了重大历史机遇。“抢抓机遇，乘势而上”已成官商学界的高度共识。而世界大国对人工智能安全问题的担忧则要比过去历次科技革命的利害权衡都更为深入、广泛和尖锐。在发展人工智能的全球竞争中能否成为这一新兴技术的引领者，很大程度上取决于对“发展与安全”问题的了解、认识和应对。

一、充分了解人工智能技术隐含的安全风险

人工智能是典型的军民两用技术，利弊并存，其智能化程度越高，双刃剑特征就越突出。已故的英国科学家斯蒂芬·霍金教授认为人工智能可能会毁灭人类，直接将“能否掌握对人工智能的控制权”这一拷问，提到人类战略的高度。目前，世界各国在竞相发展人工智能的同时，都高度重视其安全风险。政界、军界、。归结而言，人工智能技术应用的安全风险突出体现在三个方面：

。人工智能技术使机器拥有越来越高级的智能，力图突破人力的局限，甚至改变人类与技术的深层联系，给国家发展带来深层变革，其“威力之大，堪比核武”，。如果管控不当，、、经济、金融、网络、文化等国家重要行业和核心领域的安全与稳定。：一是担心对这一新兴战略能力的缺失。普遍认为，新一代人工智能会成为重要的战略威慑力量，类似于“拥核自重”。不在人工智能上占据制高点，就难以在未来的国际舞台上掌握主动权、拥有话语权。2018年4月，兰德公司发布报告《人工智能对核战争风险的影响》指出，到2040年人工智能有可能颠覆核威慑战略的基础。二是担心对人工智能技术滥用的失控。人工智能这种赋能极强的技术手段获得容易，管控极难，滥用门槛极低，容易落入极端个人或犯罪团伙之手，。三是担心对人工智能应用中重大安全风险的失察。人工智能技术应用推广隐含着诸多不确定性，，。没有预测、预警和预防能力，智能化时代的系统性、灾难性风险在所难免。

二是军事安全风险。两用技术，最受军方的青睐。一方面，越来越多的国家试图研发“致命性自动武器”，而个人或非国家行为体则越来越容易获得这种“四两拨千斤”的“远程精确打击能力”“机器自动杀人”可能不再是科幻。另一方面，有的国家或非国家实体可能将商业团体开发的工业机器人转化成接近实用的“机器人战士”。更值得关注的是，西方军界对智能化武器装备、战场战法、战争理论等的研究越来越多，且日益深入，引发有识之士的普遍担忧。，强烈呼吁制止“智能武器”的军备竞争，将其纳入国际公约的管制。今年四月初，30个国家和地区的50多名专家学者联合抵制韩国科学技术院与军工企业合作的机器人武器研发项目。英国政府的一份报告明确表示：永远不能给人工智能系统伤害人的权力。

三是社会安全风险。人工智能技术的创新和推广，将不断突破现有法律法规、社会规范和道德伦理的限制，直接给社会生活带来多维度的安全挑战。一是智能社会的经济生产与生活模式高度自动化，具有智能的机器对传统人工的替代在解放人力劳动者的同时，直接带来对就业的冲击，给本来就存在就业压力的发达国家带来社会风险。尤其是人工智能越来越多地应用于大数据环境下的决策，由于机器系统无法像人那样解释或合理化其所作的决定，所谓的“算法偏见”会带来更为复杂的社会问题。二是当智能技术无处不在，万物互联成为常态，大量的个人隐私会直接暴露给智能设备，构成日益尖锐且相当普遍的网络信息安全问题。三是人工智能主要靠软件与算法驱动，而软件与算法皆是人为编写，难免出现技术漏洞和人为缺陷。人工智能与物联网的深度融合，使得智能产品成为网络攻击新的风险点和突破口。人工智能既普遍又敏感，正用反用，存乎一念，善恶之间，天壤之别。美国有研究表明，虚设假场景、伪造音视频会直接引发股市动荡、。在近两年的世界黑客大会上，具有人工智能的“神器”“杀器”纷纷亮相。，专门讨论技术标准、安全规范和道德伦理等问题，以防机器人作恶，表达了国际社会的集体焦虑。近期，谷歌公司3100多名员工联名抗议为五角大楼开发相关高端人工智能技术，也是这种社会忧虑的反应。

二、辩证认识人工智能应用面临的安全问题

回顾人类文明史，在利弊并存的技术革命和社会创新面前，人类总能凭借自身的智慧探索出一条趋利避害的发展道路，从而在适应发展、改造自然的进程中化险为夷，转危为安。相对前述多方面的风险隐患，新一代人工智能带给人类的发展机遇更为现实和明显。随着计算能力的提高，大规模数据的积累和学习算法的进步，人工智能正在重塑我们的世界、社会和生活。日新月异的人工智能应用不仅使我们的生活更加便捷和高效，而且能为我们应对和解决重大社会性、全球性难题提供新的方法和手段。尤其重要的是，人工智能的发展将给全球带来巨大的经济发展机会。普华永道2017年的一项研究表明：在人工智能技术的推动下，2030年全球GDP将增长14%，相当于15.7万亿美元。发展与安全的利害关系，不言而喻。回顾我国近代史，在多次重大的世界性技术变革面前，由于在风险感知、安全预判上的纠结与失据，让我们痛失多次历史发展机遇，留下苦涩的遗憾。四十年的改革开放生动地证明了“发展是硬道理”，也辩证地揭示了“不发展是最大的不安全”。因此，对人工智能发展中面临的安全问题，应当要有辩证的认识。

首先，要树立科学的安全观念。要立足发展讲安全，权衡利弊讲安全，防止安全问题绝对化的认识和安全风险扩大化的倾向。不能让安全问题成为发展路上的拦路虎和绊脚石，而是要以有效的法律法规、管理手段和技术措施主动应对，让安全保障成为确保发展的底板和垫脚石。只有对安全问题有了全面科学的认识，才会不纠结、不惧怕，才敢张开双臂拥抱人工智能技术，才能紧紧抓住这一历史机遇。

其次，要确立有效的治理策略。从蒸汽机到电力，从计算机到网络，任何一项技术创新都经历一个从不完善到完善，从不可控到可控的过程，其中的治理之道基本上应了“两利相较取其重，两害相较取其轻”的古训。因而是发展在先，治理在后，只是随着时空关系的变化，发展与治理的时间差在不断缩短，直到近十年的互联网发展，我们仍然走的是先发展后治理的路子。实践表明，由于技术发展太快，应用涉及太广，作用影响太大，对于颠覆性超强的新兴科技，治理滞后越来越显得力不从心。而对新一代人工智能的自主、智能和自适应等鲜明特征，发展与治理并举的紧迫性更加凸显。欧美各国均在人工智能发展战略中同步考虑安全管控和风险治理，加大了对安全问题的研究力度和安全措施的投入强度，为有效把控安全风险预作准备。这是处理应对颠覆性技术带来的安全风险的新动向，值得我们重视和借鉴。在新一代人工智能的发展中要做到趋利避害，就必须不回避安全挑战，以科学的态度，务实的精神，同步考虑和解决安全保障措施，为人工智能又好又快地发展提供可靠的安全保证。

再次，要建立良好的社会环境。良好的社会环境是科技创新最好的土壤，任何技术进步和科技创新都是有成本的，要享用人工智能带来的发展机遇，就要为其可能带来的社会变革付出代价。政府、企业和公众都要有为人工智能发展付出成本的心理准备。人工智能应用越广，这个问题会越突出，我们不仅要在人工智能技术的研发、试验和推广应用中包容失误，宽容出错，而且要在安全保密的文化和观念上走出 “绝对安全”的认识误区，，靠发展化解隐患，以动态管控风险。

三、有效应对人工智能发展提出的安全挑战

我国已正式发布新一代人工智能的发展规划，凭借规模庞大的市场和技术应用优势，坚持发展这个硬道理，抓住创新这个牛鼻子，我们就能抢占先机，获得主动。在安全管控这个关键问题上，只要坚持发展与治理并举，趋利避害，就可以走出具有中国特色的一条新路。

（一）强化战略引领，发挥体制优势，争取技术领先。，完善人工智能发展战略，尤其要充分考虑新一代人工智能技术的新特点和应用的新领域，处理好发展与安全的辩证关系，同步布局、设计和安排与安全相关的工作内容。二是面向国防、安全等国家战略需求，统一建设人工智能国家实验室、安全风险测评基地、模拟试验场等技术基础设施。防止各行业、各部门一哄而上，重复投入，避免同质竞争造成资源浪费。三是设立重大科技专项，研发人工智能积极防御关键技术，抢占战略制高点，提高国家在该领域的核心竞争力。

（二）强化军民融合，推动商业应用，促进创新发展。一可增加人工智能安全相关的基础研究投入，针对我国在交通、医疗、金融、教育、智慧城市、工业控制等方面大规模人工智能的应用需求，研究有针对性的安全技术，促进原始创新。二可将人工智能商业应用创新作为军民融合的重要内容，激发技术创新和成果转化，鼓励科研成果的实际应用，在应用中改进，在改进中完善和提高，形成良好的产业生态。三可支持跨部门、跨界的数据共享和业务配合，推动机制创新，让我国的信息化红利、网络化红利和大数据红利有效转化成人工智能发展与应用的直接动力。

（三）强化安全治理，提高防范能力，管控重大风险。一宜结合深化改革，明确人工智能安全治理的责任部门，防止“九龙治水”，政出多门，减少企业经营负担和公众政策困扰。二宜与国家人工智能发展战略相适应，持续加大投入力度，着力建设防故障、防干扰、防破坏、防控制等技术标准、治理体系和治理能力，努力跻身人工智能强国之列。三宜贯彻人类命运共同体理念，支持科研团体、专家学者、企业广泛开展国际合作，主动搭建人工智能国际合作平台，积极参与国际标准和规则制定。针对机器人异化和安全风险管控、治理等重大国际共性问题，加强研究，提出中国方案，贡献中国智慧，发挥中国作用。