摘要：降低的结果可能有三个随着数据量的增大的性能受到了一定的影响知乎校验器在把中的代理消费完之后，由于是定时任务，所以导致某段时间内新鲜的空缺。
历时大致两个月，到现在终于完成了分布式代理抓取爬虫，目前开源在了Github上。写这个项目的原因主要有两点，一是自己平时的部分工作需要和爬虫打交道，代理IP在有的时候可以发挥非常重要的作用，调研过一些开源的代理IP采集程序，发现在抓取、解析、校验、资源调度等这些方面总有一些不尽人意的地方；二是和一个网友（不严格的说算得上是伯乐）的交流让我有了关于使用Scrapy来写分布式爬虫的一些想法，正好可以借助这个机会来尝试证实这些想法。
这篇文章的目的是阐述haipproxy的主要架构和流程。该项目关键部分是
基于Scrapy和Redis的分布式爬虫，用作IP抓取和校验，对应于项目的crawler
基于Redis实现的分布式任务调度工具，对应于项目的scheduler和redis_util.py
Crawler分为代理抓取和校验，两者实现思想类似，主要使用Scrapy的spider_idle信号和DontCloseSpider异常来阻止Scrapy在没有数据的时候关闭，灵感来自scrapy-redis。为了方便阐述，我画了一张包含各个组件的流程图，如下
启动调度器，包括代理爬虫调度器和校验爬虫调度器。调度器会读取rules.py中待抓取的网站，将其编排成任务存入各个任务队列中
启动各个爬虫，包括IP抓取和校验程序。项目中爬虫和调度器都是高可用的，可以根据实际情况进行分布式部署，无需改动代码。由于本文的目标不是写成该项目的详细使用文档，所以省略了如指定启动爬虫类型和调度器类型的介绍
代理IP采集爬虫启动后会到对应的任务队列中获取任务并执行，再把获取到的结果存入一个init队列中
init队列由一个特殊的校验器HttpbinInitValidator进行消费，它会过滤掉透明代理，再把可用代理输入各个Validated队列中
调度器会定时从Validated队列中获取代理IP，再将其存入一个临时的队列。这里用一个临时队列是为了让校验更加公平，如果直接从Validated队列中获取资源进行校验，那么会增大不公平性
这时候各个校验器(非init校验器)会从对应的临时队列中获取待校验的IP并对其进行校验，此处省略校验细节
校验完成后再将其放回到Validated队列中，等待下一轮校验
请求成功率(体现为分数)、响应速度和最近校验时间满足settings.py所配置要求的代理IP将会被爬虫客户端所消费
为了屏蔽各个调用语言的差异性，目前实现的客户端是squid客户端，它可以作为爬虫客户端的中间件
到此，整个流程便完了。
以单机模式部署haipproxy和测试代码，以知乎为目标请求站点，
每一万条成功请求为统计结果，实测抓取效果如下
| 请求量 | 时间 | 耗时 | IP负载策略 | 客户端 |
|---|---|---|---|---|
| 0 | 2018/03/03 22:03 | 0 | greedy | py_cli |
| 10000 | 2018/03/03 11:03 | 1 hour | greedy | py_cli |
| 20000 | 2018/03/04 00:08 | 2 hours | greedy | py_cli |
| 30000 | 2018/03/04 01:02 | 3 hours | greedy | py_cli |
| 40000 | 2018/03/04 02:15 | 4 hours | greedy | py_cli |
| 50000 | 2018/03/04 03:03 | 5 hours | greedy | py_cli |
| 60000 | 2018/03/04 05:18 | 7 hours | greedy | py_cli |
| 70000 | 2018/03/04 07:11 | 9 hours | greedy | py_cli |
| 80000 | 2018/03/04 08:43 | 11 hours | greedy | py_cli |
可见haipporxy的代理效果还算不错，在开始的时候可以达到1w/hour的请求量，几个小时候请求量请求量
降为了5k/hour。降低的结果可能有三个: (1)随着数据量的增大,Redis的性能受到了一定的影响(2)知乎校验器在把Init Queue中的代理消费完之后，由于是定时任务，所以导致某段时间内新鲜的IP空缺。而免费IP大多数都是短效的，所以这段时间出现了IP的空缺;(3)由于我们采用的是greedy模式调用IP，它的调用策略是: 高质量代理IP会一直被调用直至该代理IP不能用或者被封，而低应速度IP会轮询调用。这也可能导致高质量IP的空缺。
可见IP校验和调用策略还有很大的优化空间。
项目地址: https://github.com/SpiderClub...
欢迎star和fork，也欢迎大家交流和PR。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/44577.html
摘要：阻塞，非阻塞首先，阻塞这个词来自操作系统的线程进程的状态模型网络爬虫基本原理一后端掘金网络爬虫是捜索引擎抓取系统的重要组成部分。每门主要编程语言现未来已到后端掘金使用和在相同环境各加载多张小图片，性能相差一倍。 2016 年度小结（服务器端方向）| 掘金技术征文 - 后端 - 掘金今年年初我花了三个月的业余时间用 Laravel 开发了一个项目，在此之前，除了去年换工作准备面试时，我并...
摘要：阻塞，非阻塞首先，阻塞这个词来自操作系统的线程进程的状态模型网络爬虫基本原理一后端掘金网络爬虫是捜索引擎抓取系统的重要组成部分。每门主要编程语言现未来已到后端掘金使用和在相同环境各加载多张小图片，性能相差一倍。 2016 年度小结（服务器端方向）| 掘金技术征文 - 后端 - 掘金今年年初我花了三个月的业余时间用 Laravel 开发了一个项目，在此之前，除了去年换工作准备面试时，我并...
摘要：面向对象的分布式爬虫框架一简介概述是一个面向对象的分布式爬虫框架。分布式集群集群方式维护爬虫爬虫运行数据，可通过或定制实现。 《面向对象的分布式爬虫框架XXL-CRAWLER》 showImg(https://segmentfault.com/img/remote/1460000011842697);showImg(https://segmentfault.com/img/remote...
摘要：以上是如果你想精通网络爬虫的学习研究路线，按照这些步骤学习下去，可以让你的爬虫技术得到非常大的提升。 作者：韦玮 转载请注明出处 随着大数据时代的到来，人们对数据资源的需求越来越多，而爬虫是一种很好的自动采集数据的手段。 那么，如何才能精通Python网络爬虫呢？学习Python网络爬虫的路线应该如何进行呢？在此为大家具体进行介绍。 1、选择一款合适的编程语言 事实上，Python、P...
阅读 2123·2023-04-26 00:28
阅读 2831·2019-08-30 15:55
阅读 2588·2019-08-30 12:47
阅读 1437·2019-08-29 11:04
阅读 2945·2019-08-28 18:14
阅读 826·2019-08-28 18:11
阅读 1561·2019-08-26 18:36
阅读 3260·2019-08-23 18:21
