炼铁厂铁量网页数据获取系统的设计与实现

2017-01-06 13:36王春芳高永兵
中国新通信 2016年21期
关键词:网络爬虫统计分析

王春芳+高永兵

【摘要】 本文介绍了基于ASP.NET的炼铁厂铁水铁量网页数据获取系统的设计与实现,包括系统的分析、设计与实现。系统应用于企业管理的数据统计分析中,提高了工作效率,增强了数据的及时性、可靠性,效果良好。

【关键词】 网络爬虫 数据获取 统计分析

互联网是一个庞大的非结构化的数据库,将数据有效的检索并组织呈现出来有着巨大的应用前景。检索网页所返回的结果并不是用户心中理想的数据,为了解决这个问题,一个灵活的爬虫有着无可替代的重要意义[1]。

一、系统分析

炼铁厂生产铁水经过计量处过重后运往其他单位,记录员将过重情况记录到磅单返回到炼铁厂,相关人员录入到管理程序中。存在的问题:及时性差,劳动量大,中间环节多增加数据不一致性的风险;通过开发炼铁厂铁量网页数据获取系统可以解决此问题。

炼铁厂经过多年的信息化建设,已建成覆盖全厂的局域网络,各车间部门办公电脑普及。炼铁厂在用数据库SQL Server 2005,并且搭建了数据库群集服务器,每天晚上进行差异备份,每周进行一次完全备份,数据安全性得到保障。此系统在开发过程中几乎无费用产生,具备开发条件,方案切实可行!

二、系统设计与实现

前台通过Visual Studio 2008开发环境(编程语言C#),后台数据库SQL Server 2005,开发炼铁厂铁量网页数据获取系统,开发架构C/S模式。通过Visual Studio 2008中WebBrowser控件使用户在窗体中导航网页并获取html源码;遍历table元素行、列得到表格数据;插入到数据库中[2~4]。

经过研究计量处物资计量网铁水数据查询网页,设计表结构如图1。

三、系统功能

炼铁厂铁量网页数据获取系统主要完成功能:从系统界面中导航铁水铁量查询网页、将铁量相关数据导入到炼铁厂SQL Server数据库中;可以从管理程序中查询原始数据,面向局域网用户;经过后台处理与铁水成份关联为原始数据、经过统计分析然后生成报表,面向生产统计人员;经过后台处理,运用到动力费统计、生产查询等多个管理程序中。操作界面如图2。

四、结束语

基于ASP.NET的炼铁厂铁量网页数据获取系统,通过计量处物资计量网铁水数据查询页面,抓取炼铁厂铁水铁量数据到炼铁SQL Server数据库中。提高了数据统计分析的灵活性;降低了相关人员的工作量、提高了工作效率;确保了数据的及时性、准确性、安全性;进而达到了节约成本的目的。

参 考 文 献

[1]黄延炜,刘嘉勇.新浪微博数据获取技术研究[J].信息安全与通信保密,2013,06:71-73+76.

[2]张红云.基于页面分析的主题网络爬虫的研究[D].武汉理工大学,2010.

[3]于成龙,于洪波.网络爬虫技术研究[J].东莞理工学院学报,2011,03:25-29.

[4]焦赛美.网络爬虫技术的研究[J].琼州学院学报,2011,05:28-30.

猜你喜欢
网络爬虫统计分析
基于网络爬虫的电子易购软件设计与实现
如何发挥新时期统计工作的作用之我见
以统计分析为基础的房地产税收优化分析
SPSS在高校图书馆服务体系中的应用研究
基于社会网络分析的权威网页挖掘研究
主题搜索引擎中网络爬虫的实现研究
浅析如何应对网络爬虫流量
网络爬虫针对“反爬”网站的爬取策略研究