基于专利数据的全球深度学习技术创新态势

2019-07-17 11:26赛迪智库
中国计算机报 2019年23期
关键词:专利神经网络领域

赛迪智库

人工智能的应用和落地场景越来越宽泛,图像识别、语音识别、机器翻译、AI 医疗和自动驾驶等领域不断有新产品落地,深度学习技术则是促进这些产品落地的关键。以深度学习领域相关技术术语为关键词进行 12 门语种跨语言检索,获取截至 2019 年3 月底的中、美、韩、日、德等 17 个国家专利局及 PCT(国际专利合作协定)相关专利信息,形成深度学习领域 16335 项专利文本数据集。通过对该样本数据集进行 LDA 主题挖掘,可以分析把握全球深度学习技术的创新态势。

全球深度学习技术创新

态势分析

从新增专利数量看,目前全球深度学习领域技术创新正处于蓬勃发展期。2018 年全球深度学习领域新增专利 7429 项,是 2017年的 2.34 倍。2018 年 PCT 新增专利 429 项,是 2017 年的 3.67倍。中国、美国与韩国专利局的新增专利数量位居全球前三,其中,2018 年中国为 5638 项,美国为 736 项,韩国为 315 项。从深度学习领域新增专利数量的变化看,中国目前是深度学习创新全球最活跃的国家。

从申请主体构成看,企业与科研院所的研发能力大致相当。2018 年,全球以公司为申请主体的深度学习技术专利有 3496 项,以高校科研院所为申请主体的有 3416 项,大致呈现平衡格局。根据专利数量排名,2018 年全球排名前五的企业主要有 IBM、平安科技、三星电子、谷歌和英特尔,分别新增 62、53、52、46和 45 项相关发明专利。

我国全球排名前五的科研院所主要有华南理工大学、电子科技大学、天津大学、浙江工业大学和清华大学,分别新增 140、114、93、79 和 78 项相关发明专利。

从算法角度上看,卷积神经网络算法占比最高,生成式对抗网络算法使用量快速增长。从深度学习算法角度看,卷积神经网络(CNN)、循环神经网络(RNN)、生成式对抗网络(GAN)、长短期记忆网络(LSTM)等成为深度学习的热门算法,使用频率逐年增高。2018 年,全球涉及 CNN、RNN、GAN、LSTM 算法专利数量为 3061、239、38 和 31 项,分别比上年增长 122.7%、94.3%、533.3%和 416.7%。可见,卷积神经网络算法占绝大部分比重,生成式对抗网络(GAN)算法增长势头迅猛。

从技术应用领域看,深度学习技术在机器视觉领域的应用比重较大,自动驾驶领域应用创新热度较高。深度学习技术目前主要应用于机器视觉、自然语言、自动驾驶等领域,其中机器视觉创新热度最高。在机器视觉领域,2018 年全球涉及图像、视频等机器视觉领域的深度学习技术专利分别有 3674 项和 673 项,两者合计约占 2018 年全球深度学习技术专利总量的 58.5%。在自然语言领域,2018 年相关专利技术有 495 项,比上年增长约104.5%,充分表明自然语言领域应用深度学习技术的创新热度较高。在自动驾驶领域,深度学习技术应用创新最热,2018 年相关专利技术有 133 项,比上年增长约 182.9%。

我国深度学习技术创新

现状分析

我国在深度学习技术应用层具有较强的拓展能力,但基础层深耕不足。我国创新涉及的应用方向较为广泛,已涉及行人识别、能耗预测、中医文本命名实体识别,以及眼底图像的视网膜血管分割等很多不同的领域。例如,百度在线公司把深度学习技术应用于语音识别、图像生成、人脸图像识别、端到端自动驾驶系统等领域,商汤科技公司把深度学习技术应用于人物识别、三维人体姿态预测、实例分割、图像分割神经网络、视线追踪等领域。而美国在深度学习领域的技术创新大多聚焦于基础层的效率提升。例如,IBM 公司研发了一种应用于大规模深度学习的多方向缩减技术,能够较大限度地减少系统节点间通信所需的传输数据量,从而提高计算效率。整体而言,我国更偏向于应用创新,计算、存储与传输优化方面的专利相对较少。

我国深度学习专利增长迅速,但以企业为主体的创新较少。从增速上看,2016~2018 年,我国深度学习领域的新增专利数量分别为 701、2487 和 5638 项,平均年增速达到 183.6%。从构成上看,我国的研发力量集中于高校科研院所,而美国主要集中于企业。2018 年,美国以企业为申请主体的新增专利数占到其总量的 81.5%,而中国以企业为申请主体的比重仅为 40.8%。

我国使用深度学习技术的企业高度聚集于广东省、北京市等地,区域分化趋势加大。从空间分布格局看,京津冀地区和珠三角地区创新活跃度最为显著。2018 年,我国深度学习领域技术创新最活跃的前 30 家企业(按新增专利数排序),分布在北京市、广东省的数量占比分别为 46.7%和 20%。从空间分布变化看,对比 2017 年和 2018 年最活跃的前 30 家企业分布格局,广东省从 4家上升至 6 家,北京市从 13 家上升至 14 家,上海市从 4 家下降至 0 家。可见,广东省、北京市在人工智能(深度学习技术领域)领域的活跃度在上升,而上海等地的活跃度有所下降。

深度学习技术创新要素

打造平台,统筹协调促进研发资源聚合。美国近 81.5%的人工智能(深度学习方向)研发创新力量集中于企业,有很强的商业目标性。我国研发主力则大多集中在科研院所,且研究力量比较分散,研发方向不够聚焦(多数是技术在某些新领域的应用),研发经费碎片化,难以聚集力量解决重点问题。建议借鉴美国成立国防高级研究计划局、Google X 实验室、Facebook 人工智能研究院的经验,成立我国的人工智能国家实验室和人工智能产学研协同创新中心,打通政、产、学、研、用各环节,促进研发资源的聚合,聚焦难点环节展开重点攻关。

加强引导,推动计算、存储、传输等共性技术发展。不管人工智能应用如何拓展,其数据存储、信息传输、高性能计算等共性技术还是相通的。美国很多企业已经认识到这一点,谷歌、IBM、英特尔、英伟达等企业,大都围绕计算效率、数据传输等人工智能的基础层进行专利布局,而把应用创新交给了研发社区。这种做法既抓住了人工智能产业的关键核心,又能够确保创新活跃度。从我国的专利布局看,目前还主要集中于深度学习技术应用层,只有通过引导资源投入通用与共性技术领域,才能使我国人工智能产业走出“专利成果数量多但关键技术少”的怪圈。

构建产业生态,加强人工智能新基础设施建设,辐射更多应用领域。从谷歌公司的专利创新看,一些是围绕 TPU 云服务方向布局。其近期开源的 Tensorflow 框架、云化 TPU 计算资源,就降低了深度学习模型部署难度,大大促进了人工智能的大众化与普及。不管未来应用如何变化,计算和存储都是核心领域,只有掌握这些领域,才能成为智能时代的基石。目前我国人工智能产业生态尚不完善,特别是基础硬件(芯片)领域。

在未来,一方面要加快补齐基础层软硬件短板,围绕一些特定应用场景(如智能手机、无人机、智能驾驶等),从硬件实现角度颠覆性地突破类脑神经芯片,如深度卷积神经网络芯片等。另一方面,要加快建设人工智能新基础设施,发展高性能、高安全的异构计算服务集群及邊缘计算,通过开源深度学习框架、云化计算资源等,促进人工智能普及,辐射更广更深的应用领域。

猜你喜欢
专利神经网络领域
专利
神经网络抑制无线通信干扰探究
领域·对峙
发明与专利
基于神经网络的拉矫机控制模型建立
复数神经网络在基于WiFi的室内LBS应用
新常态下推动多层次多领域依法治理初探
基于支持向量机回归和RBF神经网络的PID整定
肯定与质疑:“慕课”在基础教育领域的应用
3D 打印:先进制造领域的必争之地