基于python的数据分析及其在网络爬虫中的应用

孙潇坤

（合肥工业大学 安徽 宣城 242000）

引言

作为一个复杂的项目，豆瓣书籍的信息网络服务可以充分的集合用户需求与网络信息管理系统所查询的内容，豆瓣书籍的信息技术管理可以搜集、整理、分析用户的所有信息需求，然后在传送给用户，可以帮助用户更快的获得自己想要的信息，可以为一些用户解决很多和数据库有关的问题，与此同时，可以提升豆瓣书籍的网络信息管理技术水平，这是此次进行论文研究的主要目的。

1 网络爬虫程序模型分析及概要设计

1.1 网络爬虫模型分析

一般情况下，网络爬虫模型包括初始链接库、网络抓取模块、处理模块、解析模块、DNS模块、等待抓取连接队列以及网页库。

1.2 网络爬虫搜索策略

网络爬虫系统中搜寻网页的质量和效率受搜寻策略的影响。当前，网络爬虫策略分为三类：广度优先，深度优先和最佳优先。所有策略都有不同的特征，但是第一个是广度优先策略，也称为广度优先搜索 应用广度优先策略的常见算法包括单源最短路径算法和最小生成树算法。首先，如图2.2所示，网络链路的指向关系由树结构表示，因此根据树的层次结构，将第一节点视为第一层。以此类推，根据链接优先级形成搜索树并按层进行爬网。通常，对低级连接进行优先访问，否则将其添加到队列中。抓住每一层后，转到下一层。第一页面策略可以是基于初始链接对Web进行爬网。与此同时，它们聚集在同一层中，从而有效避免了在没有深黑洞的情况下进行水平扫描的问题，但是，下载相应的深页可能会延迟。

根据广度优先原则，链接树的链接访问顺序为A-＞ BC-＞ DEF-＞G。与此相对的另一种方法是深度优先搜索（深度优先搜索），这是另一种常用的爬网策略。深度的原理基于将树作为优先级分支，使其尽可能深直到没有更多分支为止，然后返回到原始父节点以选择另一个邻居，直到扫描完成。

1.3 网络爬虫的主题相关度判断

根据系统的结构和实施技术，爬虫网络可以分为常见的Web搜寻器，基于Web的编译等。实际使用情况通常与几种爬虫网络技术的组合有关。爬虫主题网络与常规爬虫网络之间的主要区别在于爬虫主题仅编译满足主题需求的页面，并在网页中选择过滤器。但是，通用网络 爬虫没有任何条件可以随意爬行网页。为了实现现场检查，主题爬虫实现了一种相关的页面分析方法。在Web爬网过程中，需要在链接上进行与该主题相关的计算，该链接需要添加到编译队列中。只需添加与该行相关的链接即可；不相关的链接将被丢弃。 爬虫主题网络的工作流程如图3.3所示。选择链接后，您将知道还需要相应的搜索策略。因此，爬虫主题系统在实施期间必须关注3个问题。（1）确定主题后如何编写页面。（2）一种确定主题与页面相关性的算法。（3）选择如何找到要浏览的链接。 爬虫主题显着改善了页面数，并提高了页面链接的效率和准确性。但是，扫描过程对“隧道”非常敏感，存在一些页面丢失的可能。

2 实验运行和调试

Pycharm提供了对测试脚本的灵活操作和调试的支持。

在MyParser_get_Title脚本下运行整个类测试。在实验室中运行测试脚本，在测试类中运行测试脚本。如果要调试断点，请使用Debug模式执行单个任务并调试调试。

通过运行testSuit，可以实现上述功能，但是IDE提供了灵活而直接的选项。 如果选择在IDE中运行项目，

一旦程序运行完毕，从最后显示的页面中我们看一看到每一本书的大小都是相同的，只要将鼠标移动到对应的书本上，就可以看到这一书本的具体信息。

利用程序来获得数据，在网页文本中已经成功写入，用户只需要通过页面来看出。整个程序可以实现数据抓取、数据库存储、信息整合等功能。此时，所有设计工作已经完成。

3 结论

所有网络爬虫都可以在网站上搜寻豆瓣书籍的信息，以便接收有关数据收集和处理的信息。所有程序的设计概念是从数据库中读取网站地址和页面布局规则。 爬虫程序会读取每个地址处的整个网页，并使用正则表达式来匹配其收集的信息。编译过程使用多个线程一次爬网多个页面，并使用锁定和解锁来确保每个豆瓣书籍中的信息都是准确的。对数据进行爬取后，编译信息将存储在特定的MySQL数据库中。如果使用数据，请使用该程序读取数据库，并将读取的数据处理为所需的结果。需要做的最后一件事是为用户提供显示界面，从数据库中读取数据并以HTML文本编写以查看最终结果。