scrapy之DOWNLOADER MIDDLEWARES

wangym 发布于2019-07-25 10:17 / 2787人阅读

摘要：已安装的中间件的方法则会在每个返回时被调用。当新返回的被执行后，相应地中间件链将会根据下载的被调用。参数对象处理的对象该对应的必须返回以下之一对象对象或。果其抛出一个异常，则调用的。

0.前言

第一次写博客，想想都还有点小激动，其实早就想写写这段时间的学习历程了，奈何文字功底不强，总是刚提笔就放下了。觉得以后还是要坚持下去~~
这篇文章主要讲了在scrapy中的DOWNLOADER MIDDLEWARES

1.scrapy中的DOWNLOADER_MIDDLEWARES

下载器中间件事Scrapy在处理请求/响应时的钩子，是用来全局改变Scrapy的请求和响应的一个轻量，底层的系统

1.1激活下载器中间件

要激活下载器中间件组件，将其加入到DOWNLOADER_MIDDLEWARES设置中。该设置是一个字典，键为中间件的类的路径，值为其中间件的顺序，如：

DOWNLOADER_MIDDLEWARES = {
"myproject.middlewares.CustomDownloaderMiddleware": 543,
}

DOWNLOADER_MIDDLEWARES设置会与 Scrapy 定义的DOWNLOADER_MIDDLEWARES_BASE 设置合并(但不是覆盖)，而后根据顺序(order)进行排序，最后得到启用中间件的有序列表: 第一个中间件是最靠近引擎的，最后一个中间件是最靠近下载器的。
关于如何分配中间件的顺序请查看DOWNLOADER_MIDDLEWARES_BASE 设置，而后根据您想要放置中间件的位置选择一个值。由于每个中间件执行不同的动作，您的中间件可能会依赖于之前(或者之后)执行的中间件，因此顺序是很重要的。
如果您想禁止内置的(在DOWNLOADER_MIDDLEWARES_BASE 中设置并默认启用的)中间件，您必须在项目的 DOWNLOADER_MIDDLEWARES 设置中定义该中间件，并将其值赋为None。例如，如果您想要关闭user-agent 中间件：

DOWNLOADER_MIDDLEWARES = {
"myproject.middlewares.CustomDownloaderMiddleware": 543,
"scrapy.downloadermiddlewares.useragent.UserAgentMiddleware": None,
}

1.2编写自己的中间件下载组件

每个中间件组成部分都是一个Python类，这个类定义了以下方法中的一个或多个：

class scrapy.downloadermiddlewares.DownloaderMiddleware
    process_request(request,spider)
    process_response(request, response, spider)
    process_exception(request, exception, spider)

详细介绍：

proces_request(request,spider)：

每个request通过下载中间件时，该方法被调用

必须返回其中之一：None，Response对象，Request对象或者raise IgnoreRequest。

如果返回None，Scrapy将继续处理该Request，执行其他的中间件的相应方法，直到合适的下载处理函数被调用，请求被执行，响应被下载

如果返回 Response对象，Scrapy将不会调用其他任proces_request()或者process_exception()方法，或者相应的下载函数；它将返回这个响应。已安装的中间件的 process_response()方法则会在每个response返回时被调用。

如果其返回 Request 对象，Scrapy 则停止调用 process_request 方法并重新调度返回的request。当新返回的request被执行后，相应地中间件链将会根据下载的response被调用。

如果其raise一个IgnoreRequest 异常，则安装的下载中间件的 process_exception() 方法会被调用。如果没有任何一个方法处理该异常，则 request 的 errback( Request.errback )方法会被调用。如果没有代码处理抛出的异常，则该异常被忽略且不记录(不同于其他异常那样)。

参数：

 1.request ( Request 对象) – 处理的 request
 2.spider ( Spider 对象) – 该 request 对应的 spider

process_response(request, response, spider)：

必须返回以下之一：Response 对象、Request 对象或raise IgnoreRequest。

如果其返回一个Response(可以与传入的 response 相同，也可以是全新的对象) 该 response 会被在链中的其他中间件的process_response()方法处理。

如果其返回一个 Request 对象，则中间件链停止，返回的 request 会被重新调度下载。处理类似于 process_request()返回 request 所做的那样。

果其抛出一个 IgnoreRequest 异常，则调用 request 的 errback(Request.errback)。如果没有代码处理抛出的异常，则该异常被忽略且不记录(不同于其他异常那样)。

参数

  1.request (Request对象) – response 所对应的 request
  2.response (Response对象) – 被处理的 response
  3.spider (Spider对象) – response 所对应的 spider

process_exception(request, exception, spider)：

返回以下之一：返回None 、一个 Response 对象、或者一个 Request 对象。

如果其返回None，Scrapy 将会继续处理该异常，接着调用已安装的其他中间件的 process_exception()方法，直到所有中间件都被调用完毕，则调用默认的异常处理。

如果其返回一个 Response 对象，则已安装的中间件链的 process_response()方法被调用。Scrapy 将不会调用任何其他中间件的 process_exception() 方法。

如果其返回一个Request对象，则返回的request将会被重新调用下载。这将停止中间件的 process_exception()方法执行，就如返回一个 response 的那样。

参数

     1.request(Request 对象) – 产生异常的 request
     2.exception(Exception 对象) – 抛出的异常
     3.spider(Spider 对象) – request 对应的 spider

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/37882.html

Python网页信息采集：使用PhantomJS采集淘宝天猫商品内容

摘要：，引言最近一直在看爬虫框架，并尝试使用框架写一个可以实现网页信息采集的简单的小程序。本文主要介绍如何使用结合采集天猫商品内容，文中自定义了一个，用来采集需要加载的动态网页内容。 showImg(https://segmentfault.com/img/bVyMnP); 1，引言最近一直在看Scrapy 爬虫框架，并尝试使用Scrapy框架写一个可以实现网页信息采集的简单的小程序。尝试...

z2xy 2019-07-25 10:35 评论0 收藏0
Python爬虫之Scrapy学习（基础篇）

摘要：下载器下载器负责获取页面数据并提供给引擎，而后提供给。下载器中间件下载器中间件是在引擎及下载器之间的特定钩子，处理传递给引擎的。一旦页面下载完毕，下载器生成一个该页面的，并将其通过下载中间件返回方向发送给引擎。作者：xiaoyu微信公众号：Python数据科学知乎：Python数据分析师在爬虫的路上，学习scrapy是一个必不可少的环节。也许有好多朋友此时此刻也正在接触并学习sc...

pkhope 2019-07-31 11:05 评论0 收藏0
scrapy学习之路5(selenium集成到scrapy下(crawspider未测试))

摘要：基本优化为了不让每次启动添加它到定义类的初始方法中启动优化浏览器的自动开启与关闭在中加入信号链爬虫结束会输出 1:基本 Middlewares.py(downloader)showImg(https://segmentfault.com/img/bV182i?w=893&h=311); spider/xxx.pyshowImg(https://segmentfault.com/img/...

adie 2019-07-30 15:28 评论0 收藏0
Scrapy 爬取七麦 app数据排行榜

摘要：目录前言创建项目创建创建解析付费榜运行爬取初始列表调用脚本获取详情前言熟悉之后，本篇文章带大家爬取七麦数据的付费应用排行榜前名应用。根据传入的正则表达式对数据进行提取，返回字符串列表。目录前言创建项目创建Item 创建Spider 解析付费榜运行爬取初始app列表 Selenium调用JS脚本获取app详情前言熟悉Scrapy之后，本篇文章带大家爬取七麦数据（h...

kk_miles 2019-07-31 11:29 评论0 收藏0