善用网络爬虫

■本刊记者 章继刚

随着数据资源的爆炸式增长，网络爬虫的应用场景和商业模式变得更加广泛和多样。网络爬虫作为数据抓取的实践工具，构成了互联网开放和信息资源共享理念的基石，如同互联网世界的一群工蜂，不断地推动网络空间的建设和发展。

“据统计，2019 年就有近40% 的Web 流量来 自爬虫。但是，其中20% 的Web 流量却来自恶意爬虫，且比例正在不断上升。恶意爬虫主要用于针对所有行业、地区和渠道的Web 内容搜刮、交易欺诈、垃圾邮件以及DDoS 和撞库攻击。其中，金融、电商、游戏、媒体、酒店等已经成为重灾区。Akamai 和Ponemon Institute 联合研究显示，恶意爬虫攻击给企业平均每年带来高达270 万美元的巨大损失。”Akamai 中国区企业事业部总经理何铭表示。

Akamai 在2017 年12 月至2019 年11 月间，共观察到850 亿次撞库攻击，且无一行业能够幸免。更可怕的是，恶意爬虫一直在改变自身行为。具体来讲，这些爬虫的复杂程度已到第四代、能够模仿人类的行为。若想打败这些高度复杂的爬虫，企业机构就需要一种高级且智能的爬虫管理工具，进行分层检测来找到那些“披着羊皮的狼”。

值得庆幸的是，越来越多的企业开始重视爬虫管理，市场也越来越成熟。

作为CDN 服务提供商，Akamai 每天交付的Web 流量每秒超过50TB，这一优势使得Akamai 有能力去监控互联网上的攻击情况，特别是对于爬虫攻击的监控。独立研究公司Forrester 近期认定Akamai 为爬虫程序管理领域的领导者。与此同时，Akamai 刚刚对其爬虫管理解决方案进行了全方位升级，以更好帮助企业机构在不断演变的爬虫环境中始终快人一步，并将高度复杂的爬虫扼杀在边缘之处。

Akamai 的爬虫程序管理解决方案通过其智能边缘 平 台（Intelligent Edge Platform）上无与伦比的数据量来支持高级机器学习算法，从而提供了基于行为的检测。Akamai 通常每天要与13 亿台不同设备进行交互，可以识别从客户端收集的数百个信令中的异常情况，从而检测出最为复杂的爬虫程序。

Akamai 大中华区产品市场经理刘炅强调：“Akamai的防护方案不是一个单点的防护方案，是一个分层次的全栈的防护方案，从DDoS 的防护到网页的防护，到爬虫的管理，甚至对于API 的认证检测以及API 的攻击都可以进行防护。所以，基于Akamai 本身的边缘安全的能力，我们提供了一整套的防护的解决方案去抵御恶意爬虫的攻击。”