马宏江
摘要:人类社会进入信息革命4.0时代,国家把光电子技术产业列为战略性新兴产业,在光电子没有科学的正式分类1前,本文自行对光电子分成8个门类,同时面对光电子资源匮乏,一些行业资料尚处于商业机密,规划师如何利用网虫爬取互联网数據,展开特定行业的调查研究提供一些参考。
关键词:网络爬虫,中国光电子行业分布特征;规划研究
1项目背景
光电子产业是21世纪的支柱产业,光电子技术不仅全面继承兼容电子技术,而且具有微电子无法比拟的优越性能和更广阔的应用范围。光电子学和光电子技术在信息、能源、材料、航空航天、生命科学及国防军事领域中得到广泛应用。在国家实施“一带一路”战略的指引下,随着东部产业转移,新一轮科技革命和产业变革兴起与经济发展方式转变,光电子技术产业被国家列为战略性新兴产业。
本文着重介绍第一小组研究方法,规划师在遵守网络道德和爬虫协议(Robots)下,利用网络爬取技术,对国内光电子信息网页进行数据收集、分析、整理,并提出国内光电子行业分布特征,为所做玉溪光电子产业园的发展方向和重点、规划思路和目标提供支撑,也进一步引导省内外光电子产业重点企业向园区集聚,形成拳头力量,有效拓展玉溪市乃至云南省光电子产业领域,实现产业升级。
2爬取目标导向和路径
据工信部发布《中国光电子器件产业技术发展路线图(2018-2022年)》,国家将光电子产业纳入国家发展战略,大力支持光电子产业发展,同时国家加大对光电子芯片共性关键技术的研发资金的支持,迅速提高核心器件国产化率,培育具有国际竞争力大企业等。2018年4月26日,国家信息光电子创新中心在武汉烽火科技集团正式挂牌成立。承载着解决我国信息光电子制造业“关键和共性技术协同研发,实现首次商业化”的战略任务。
目标导向有三项:一是摸清中国光电子整体发展情况?二是中国光电子8个行业状况?三是对于中西部典型地区光电子行业状况是什么?
爬取路径:选择爬虫、爬取框架、源数据分析处理、IP拦截处理、成果。
3数据分析与成果
3.1数据挖掘技术
通过脚本编程、Web前端、网络通信、爬虫框架、网页解析、数据库、分布式部署七项构建技术规则。选择python按照上述规则去抓取网站上设定的有价值信息,并按8类行业门类,从上、中、下游产业分别所处城市里企业进行分析。详见图1 技术规则代码实现模型构建。
3.2源数据分析
选择EXECL工具,从编号、行业类型、产业链、产业类型、分布省份(填写省份全名)、所在城市(具体到地级市名称,直辖市直接填写直辖市名称,不需具体到区县、"是否省会城市或教育、科技、经济发达城市")、属区域(东部、中部、西部、东北)、公司名称、详细信息共8个方面进行挖掘。
遇到多次访问后IP被网站防火墙拦截,禁止访问,部分页面内容利用Ajax技术异步加载,解析值为空,研究小组使用Selenium+webdrive扩展包实现模拟浏览器,获取动态数据,IP代理转发、动态IP,从而对持续对网络信息进行挖掘。
3.3分析结论
(1)截止2018年底,全国光电子行业分八大行业,共计8746家企业。(O)LED行业企业数量最多,占比29%;其次激光、光学行业企业数量分列二、三位,分别占比22%和18%。红外行业和光存储行业企业数量较少。东部地区企业占比达82%,中部和西部企业数量差别不大,从小范围来看,东北和台湾企业分布较为集中。
发现北上广深四大一线城市在其中所占市场份额是最大。详见如下八个行业状况:
3.3.1(O)LED行业状况
据LED行业上中下游企业地域分布统计表反映出,不论是上游中游还是下游,东部地区企业数量均有绝对优势。其中(O)LED行业上游呈现芯片生产、辅料及设备企业较多;其次外延材料和发光材料企业也较多。(O)LED行业中游呈现封装模块/光源、LED器件企业数量较多,其次驱动IC/控制及电源及封装材料企业数量也较多。(O)LED行业下游呈现LED显示、景观灯饰、半导体照明企业数量较多。
北上广深四大一线城市加上东莞LED企业数量排前五;深圳LED企业数量遥遥领先;前十名中,珠三角城市占4个,长三角城市占3个。分析“LED行业企业数量前十名城市,分别是深圳936个、上海157个、北京149个、东莞126个、广州112个、中山94个、杭州58个、杭州58个、宁波53个、厦门49个和苏州44个。
深圳:具备LED全产业链,企业数量在全国范围内遥遥领先,中下游企业数量明显多于上游企业数量;其中,上游产品以辅料及设备、以及芯片企业居多;
中游产品主要以LED器件、封装模块/光源企业为主,其次封装材料、封装机检测企业也较多;下游产品主要有LED显示、景观灯饰为主,其次LED背光源、报道提照明企业数量也较多。
上海:具备LED全产业链,企业数量下游企业多于中游企业,上游企业数量相对较少;其中,上游产品以辅料及设备、发光材料、外延材料、以及芯片企业为主;中游产品主要以封装模块、驱动IC/控制企业居多;下游产品主要以景观灯饰和半导体照明企业居多
3.3.2激光行业状况
北京、深圳、上海、武汉分列前四位,激光企业数量明显多于其他城市;前十名东部7席、西部2席、中部1席,除广东占据三席外,其余整体分布相对分散。
北京:具备激光行业全产业链,从上游到下游,企业数量递增;其中,上游产品主要以激光电源及驱动、激光晶体、激光器原件为主;中游产品以半导体激光器、固体激光器、气体激光器和光纤激光器为主;下游产品主要有打标喷码、激光检测、激光医疗/美容居多,其次激光加工、激光切割、激光雕刻企业也有一定数量。
深圳:具备激光行业全产业链,从上游到下游,企业数量递增;整体看,深圳激光企业以下游企业为主,下游企业数量全国最多。其中,上游产品以激光器元件为主,其次也有部分激光灯、激光电源及驱动和激光晶体、设备及包装企业;中游产品以半导体激光器、光纤激光器和激光模块为主;下游产品种类丰富,以打标喷码、激光焊接、激光加工、激光切割、激光演示/展示企业为主。
3.3.3光学行业状况
上海、深圳、北京分列前三位,激光企业数量明显多于其他城市;前十名东部8席、西部1席、东北1席;除广东占据3席外,长三角3席,其余分布相对分散。
上海:具备光学行业全产业链,上中下游企业数量无明显差异;其中,上游产品光学材料/晶体、薄膜及镀膜产品为主;中游产品以光学元器件、光学镜片企业居多,其次光传感及光源、光学镜头、光学加工、光学设计也有一定数量的企业。下游产品显微镜及显微系统居多,其次光谱相关、眼视光学、相机相关、望远镜等也有一定数量的企业;
深圳:具备光学行业全产业链,中有企业居多,上下游企业数量差不多。其中,上游产品以薄膜及镀膜产品居多,其次光学材料/晶体、光学辅助、加工及镀膜设备镀膜材料企业也有一定数量;中游产品以光学镜头居多,其次光学镜片、光学元器件及光传感及光源企业也有一定数量;下游企业以摄像相关、显微镜及显微系统、光学检测企业为主。
3.3.4红外行业状况
北京、上海、深圳分列前三位,其中北京企业数量明显高于其他城市;前十名东部占据6席,西部占据3席,中部1席;前十名珠三角占据2席,长三角占据5席。
北京:具备红外行业全产业链,以下游企业为主,上游和中游企业不多;其中,上游产品涉及低温制冷、红外材料及红外灯;中游产品涉及红外光学系统、红外光学元件;下游产品涉及红外成像、红外检测、红外探测、红外医疗等。
上海:具备红外行业全产业链,以下游企业为主,上游和中游企业不多;其中,上游产品涉及低温制冷、红外材料及红外灯;中游产品涉及发射/接收装置、红外辐射材料、红外光学元件等;下游产品红外检测、红外成像、红外传感、红外探测等。
3.3.5光伏太阳能行业状况
北京、上海、深圳分列前三位;前十名东部9席、西部1席;长三角分布最为集中,占据7席。
北京:具备光伏行业全产业链,从上游到下游,企业数量逐步增多;其中,上游产品以制备加工设备居多;中游产品以太阳能电池组件和控制/电源及检测企业居多。下游产品太阳能照明居多,其次也有一定数量的光伏系统/产品及光热产品企业
上海:具备光伏行业全产业链,从上游到下游,企业数量无明显差别;其中,上游产品以制造加工设备及硅材料居多;中游产品以太阳能电池和硅棒/硅锭/硅片生产企业居多。下游产品以光伏系统/产品、光热产品、太阳能电池及太阳能照明企业为主。
3.3.6光显示行业状况
深圳、上海、苏州分列前三位,其中深圳企业数量远远高于其他城市,前十名全为东部发达城市(含香港);珠三角占据3席,长三角占据4席。
深圳:具备光电显示行业全产业链,从上游到下游,企业数量逐步减少;其中,上游产品以辅料及耗材生产企业居多,其次驱动及控制IC、制造及检测设备企业数量也较多;中游产品以无尘洗净水处理、液晶模组(LCM)、LCD企业居多。下游产品触摸产品、投影机PDP产品、显示器/立体显示/拼接系统生产企业为主。
上海:具备光电显示行业全产业链,从上游到下游,企业数量逐步减少;其中上游产品以辅料及耗材、驱动及控制IC、制造及检测设备居多;中游产品以无尘洗净水处理居多。下游产品以显示器/立体显示系统、平板电视为主。
3.3.7光通信行业状况
深圳、上海、北京分列前三位,其中深圳企业数量远远高于其他城市,前十名东部占据9席,西部占据1席;前十名珠三角占据2席,长三角占据5席。
深圳:具备光电通信行业全产业链,以中游企业为主,上游和下游企业数量无明显差别;其中,上游产品以设备及辅料、光纤光缆为主;中游產品以连接/耦合器件、无源器件为主。下游产品以光网络设备、连接/传感/检测设备居多。
上海:具备光电通信行业全产业链,以中游企业为主,上游其次,下游企业相对较少;其中,上游产品以光纤光缆、设备及辅料为主;中游产品以无源器件、连接/耦合器件为主。下游产品以光传输设备、连接/传感/检测设备居多。
3.3.8光存储行业状况
整体来看,光存储行业企业数量较少;上海、深圳分列前两位,企业数量明显高于其他城市;
上海:以中游和下游企业为主,上游企业只有1家;其中,上游产品涉及激光头;中游产品涉及光盘母盘;下游产品涉及CD/VCD光盘。
深圳:下游企业多余下游企业,无中游企业;其中,上游产品涉及激光头;下游产品涉及CD/VCD光盘和CD/VCD机。
4结束语
随着光电子潜力的发掘,光电子产业逐步取代传统电子产业,科学家预言光电子产业将成为21世纪最大的产业,成为衡量一个国家经济发展和综合国力的重要标志。
珠三角、长三角和北京市三大区域是光电子企业分布最为集中的区域;深圳市在光电子八大行业中企业数量都排前三,整体企业数量优势明显;长三角以上海市为核心、苏州、杭州、南京等均为光电子企业分布密集城市;珠三角以深圳市为核心,广州、东莞等灯饰光电子分布也较为密集;台湾LED行业和光电显示行业的芯片生产企业数也较多。
云南为紧紧抓住和把握光电子行业发展的机遇和挑战,一方面做好珠三角、长三角和发达地方的光电子产业转接工作;另一方面光电子产业作为“绿色能源”产业,既要吸引人才,又要从“绿色能源”“绿色食品”、“健康生活目的地”这三张牌出发,让“绿色”成为云南产业转型升级、经济高质量发展的基本底色。
(作者单位:云南省设计院集团有限公司)