上海：立法促进人工智能产业发展

本刊特约记者 巨云鹏

10月1日起，《上海市促进人工智能产业发展条例》（以下简称《条例》）正式施行。作为人工智能领域在国内的首部省级地方性法规，早在制定阶段，《条例》就受到了产业界、法律界等多方关注。

谈起人工智能，很多人的最初印象是电影里的场景：具备超级智慧的计算机系统无所不知，“钢筋铁骨”的人形机器人无所不能，人类和人工智能产生巨大的矛盾……

而在上海这部法规中，明确《条例》所称人工智能，是指利用计算机或者计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统；人工智能产业，则是指人工智能技术研发和应用所涉及的软硬件产品开发和生产、系统应用、集成服务等，包括关键基础元器件产业、智能软件产业、智能终端产业，以及人工智能技术在经济、生活、城市治理等领域融合应用带动的相关行业。

从立法的角度看，这些定义是制定法律条文的必然逻辑要求，但透过这些条文也可以一窥立法者对人工智能及相关产业的未来期待：更好地为人类服务。

明确人工智能产业发展相关行为底线

在许多有关人工智能的文学、电影作品中，人工智能与人类的关系往往是推动情节发展的主要因素，如电影《终结者》系列中的人工智能防御系统“天网”，《黑客帝国》系列中的“矩阵”，它们对人类的统治和威胁成为许多影迷心中的梦魇。

当下的人工智能技术虽还不像电影中那样“无所不能”，但智能家居、智能客服、人脸识别、广告个性化推荐等应用早已“飞入寻常百姓家”，无人驾驶、智能机器人等技术也愈发成熟。

“上海此次立法不是为人工智能立法，而是促进人工智能产业发展的条例，立足点是促进产业发展”，上海市人大常委会财经委立法监督处处长张震说，针对人工智能，在国际上暂时没有综合性单独的立法，因为人工智能太难、太新了，比如电子人格，能不能承认出现了“智能人”？比如高阶段的无人驾驶，如果出了车祸，算运营商、制造商还是乘坐人的责任？“这些问题都很值得探讨，对于地方立法来说可能超出了权限。”

虽然如此，但《条例》兼顾人工智能产业发展与安全可控，仍在条款中明确了人工智能产业发展相关行为底线，以保障人工智能产业健康、安全发展。

《条例》提出设立人工智能伦理专家委员会，履行6项职责，包括制定人工智能领域伦理规范指南，指导高校等开展人工智能领域伦理理论研究和探索，推动人工智能企业探索建立伦理安全治理制度，对涉及生命健康、公共安全等重点领域人工智能应用的潜在风险开展评估等。

“成立人工智能伦理专家委员会，制定伦理规范指南，开展伦理安全教育和宣传，促进人工智能产业在规范中发展，在发展中规范。”上海市经信委副主任张英说。

《条例》还明确相关主体开展人工智能研发和应用，应当遵守法律、法规规定，增强伦理意识，并不得从事6类禁止行为，包括提供危害国家安全或社会公共安全的产品和服务，提供危害用户人身或者财产安全、侵害个人隐私或个人信息权益的产品和服务，提供因民族、种族、性别、年龄、职业和宗教信仰等歧视用户的产品和服务，利用算法技术实施价格歧视或者消费者欺诈等侵害消费者权益的行为，利用深度合成技术实施国家禁止的行为，以及其他违反有关法律、法规和公序良俗的行为等。

为我国人工智能治理贡献“上海方案”“上海智慧”

集成电路、生物医药、人工智能，是上海正在着力打造的三大先导产业。2021年，上海人工智能规上产值3056.8亿元，同比增长17.2%，是2018年的2.28倍，产业人才也从2018年的10万人提升到23万人。

“上海通过制度供给引领新发展，发布人工智能五年规划、算法行动计划、标准体系等政策举措，建设人工智能创新应用先导区，开创了国内多个‘第一’”，张英说，此次《条例》的表决通过，既为上海人工智能发展提供了有力保障，也为我国人工智能治理贡献了“上海方案”“上海智慧”。

从《条例》具体内容看，“上海方案”对人工智能产业发展有着清晰的路径规划和支持举措。在“产业发展”一章，除一般性规定外，专设了“重点促进”一节，针对芯片、智能机器人、智能网联汽车、无人机、无人船等领域设计了一系列促进措施：

——支持相关主体开展基于先进架构的高效能智能芯片设计创新，研制云端芯片和云端智能服务器，布局类脑芯片等，上海市发展改革、经济信息化部门应当推动自主技术智能芯片在算力基础设施等重大项目中的应用。

——推动智能机器人软硬件系统标准化和模块化建设，支持培育智能机器人系统集成商，鼓励相关企业、产品使用方与金融机构采用产品租赁、服务采购等方式，拓展智能机器人应用场景。

——支持相关主体开展人工智能医疗器械关键技术研发，在智能辅助诊断算法、手术定位导航、融合脑机接口等方面加强攻关突破；加强人工智能医疗器械注册审批相关指导服务，支持相关创新产品进入国家创新医疗器械特别审批程序；支持探索符合条件的人工智能医疗器械在临床应用中的收费模式。

上海市人大常委会法工委主任阎锐介绍，《条例》还围绕提高经济发展质量、城市生活品质和现代化管理能力，进一步加强人工智能在经济、生活、城市治理等领域的规模化应用，明确经济信息化部门组织制定人工智能示范应用清单，并指导和督促相关各方予以落实；深化人工智能在制造、金融、商务、物流等经济领域的应用；深化人工智能在互联网、教育、医疗、养老等生活领域的应用；深化人工智能在城市治理领域的应用，加强智能感知、智能中枢和智慧司法建设，全面推进城市治理中的人工智能场景应用等。

注重促进创新与防范风险相统一，探索分级治理和沙盒监管

上海在此次《条例》的制定和出台过程中，听取了包括人大代表、政协委员、法学专家、企业代表等多方面的意见。

“‘人工智能+’是个好事情，但我们也要考虑到，如果走偏了对于行业的负面影响，所以在促进的同时，一定要划出底线”，上海市政协委员、安杰律师事务所合伙人陈贵说，在产业扶持上，一定是扶持那些秉持“科技向善”的企业，而不是那些造成隐私泄露、危害人类安全的应用。

据新华社报道，在欧盟委员会于2021年4月提出的一套人工智能法律框架中，按照风险高低，将人工智能应用场景分为“最低、有限、高、不可接受”4个风险等级，等级越高的应用场景，受到的限制越严格。

报道称，高风险应用场景指可能对人们生命、生活造成严重影响的场景，如交通设备、教育培训、医疗辅助、信用评级等。欧盟委员会强调，所有远距离生物识别系统都被认为具有高风险，禁止执法部门在公共场合使用这一技术，只有少数情况例外，如寻找失踪儿童或防止个别恐怖袭击、甄别犯罪分子和可疑人员等，这类应用需得到司法部门或独立机构授权；而某些明显威胁人们安全和生活以及侵犯人们权利的系统被划为不可接受风险的场景，包括利用人类行为来误导用户、违反其自由意志的应用，如使用语音助手诱导未成年人做出危险行为的玩具等，这类应用须禁止。

在上海这部《条例》的具体条款中，同样也出现了不同风险等级的表述：要求对高风险的人工智能产品和服务实行清单式管理，遵循必要、正当、可控等原则进行合规审查；对中低风险的人工智能产品和服务采用事前披露和事后控制的治理模式，促进先行先试。具体办法由上海市人民政府另行制定。

张英说，围绕《条例》提出的“以人为本、科技向善”发展原则，上海将进一步注重促进创新与防范风险相统一，探索分级治理和沙盒监管，针对技术创新探索柔性监管制度，研究出台高风险人工智能产品和服务清单等。“《条例》的出台，对上海加快打造人工智能世界级产业集群具有标志性意义。我们将在上海市人大的指导监督下，会同各部门抓好贯彻落实，也希望大家继续关心人工智能产业发展。”张英说。