18、 Python快速开发分布式搜索引擎Scrapy精讲—Scrapy启动文件的配置—xpath表

rubyshen 发布于2019-07-31 11:25 / 1040人阅读

摘要：百度云搜索，搜各种资料搜网盘，搜各种资料我们自定义一个来作为启动文件导入执行命令方法给解释器，添加模块新路径将文件所在目录添加到解释器执行命令爬虫文件表达式基本使用设置爬虫起始域名设置爬虫起始地址默认爬虫回调函数，返

【百度云搜索，搜各种资料:http://www.bdyss.cn】 【搜网盘，搜各种资料:http://www.swpan.cn】

我们自定义一个main.py来作为启动文件

main.py

#!/usr/bin/env python
# -*- coding:utf8 -*-

from scrapy.cmdline import execute  #导入执行scrapy命令方法
import sys
import os

sys.path.append(os.path.join(os.getcwd())) #给Python解释器，添加模块新路径 ,将main.py文件所在目录添加到Python解释器

execute(["scrapy", "crawl", "pach", "--nolog"])  #执行scrapy命令

爬虫文件

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request
import urllib.response
from lxml import etree
import re

class PachSpider(scrapy.Spider):
    name = "pach"
    allowed_domains = ["blog.jobbole.com"]
    start_urls = ["http://blog.jobbole.com/all-posts/"]

    def parse(self, response):
        pass

xpath表达式

1、

2、

3、

基本使用

allowed_domains设置爬虫起始域名
start_urls设置爬虫起始url地址
parse(response)默认爬虫回调函数，response返回的是爬虫获取到的html信息对象，里面封装了一些关于htnl信息的方法和属性

responsehtml信息对象下的方法和属性
response.url获取抓取的rul
response.body获取网页内容
response.body_as_unicode()获取网站内容unicode编码
xpath()方法，用xpath表达式过滤节点
extract()方法，获取过滤后的数据，返回列表

# -*- coding: utf-8 -*-
import scrapy

class PachSpider(scrapy.Spider):
    name = "pach"
    allowed_domains = ["blog.jobbole.com"]
    start_urls = ["http://blog.jobbole.com/all-posts/"]

    def parse(self, response):
        leir = response.xpath("//a[@class="archive-title"]/text()").extract()  #获取指定标题
        leir2 = response.xpath("//a[@class="archive-title"]/@href ").extract() #获取指定url

        print(response.url)    #获取抓取的rul
        print(response.body)   #获取网页内容
        print(response.body_as_unicode())  #获取网站内容unicode编码

        for i in leir:
            print(i)
        for i in leir2:
            print(i)

【转载自：http://www.lqkweb.com】

云服务器私有云 scrapy启动爬虫 scrapy启动爬虫命令 scrapy分布式爬虫 scrapy分布式爬虫实例

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/45080.html

23、 Python快速开发分布式搜索引擎Scrapy精讲—craw scrapy item lo

摘要：百度云搜索，搜各种资料搜网盘，搜各种资料用命令创建自动爬虫文件创建爬虫文件是根据的母版来创建爬虫文件的查看创建爬虫文件可用的母版母版说明创建基础爬虫文件创建自动爬虫文件创建爬取数据爬虫文件创建爬取数据爬虫文件创建一个基础母版爬虫，其他同理【百度云搜索，搜各种资料:http://www.bdyss.cn】【搜网盘，搜各种资料:http://www.swpan.cn】用命令创建自动爬...

QiuyueZhong 2019-07-31 11:27 评论0 收藏0
25、Python快速开发分布式搜索引擎Scrapy精讲—Requests请求和Response响应

摘要：百度云搜索，搜各种资料搜网盘，搜各种资料请求请求就是我们在爬虫文件写的方法，也就是提交一个请求地址，请求是我们自定义的方法提交一个请求参数字符串类型地址回调函数名称字符串类型请求方式，如果字典类型的，浏览器用户代理设置字典类型键值对，向回调【百度云搜索，搜各种资料:http://www.lqkweb.com】【搜网盘，搜各种资料:http://www.swpan.cn】 Reque...

Shihira 2019-07-31 11:31 评论0 收藏0
22、Python快速开发分布式搜索引擎Scrapy精讲—scrapy模拟登陆和知乎倒立文字验证码识

【百度云搜索，搜各种资料:http://www.bdyss.cn】【搜网盘，搜各种资料:http://www.swpan.cn】第一步。首先下载，大神者也的倒立文字验证码识别程序下载地址：https://github.com/muchrooms/... 注意：此程序依赖以下模块包　　Keras==2.0.1　　Pillow==3.4.2　　jupyter==1.0.0　　matplotli...

array_huang 2019-07-31 11:27 评论0 收藏0
20、 Python快速开发分布式搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容

摘要：百度云搜索，搜各种资料搜网盘，搜各种资料编写爬虫文件循环抓取内容方法，将指定的地址添加到下载器下载页面，两个必须参数，参数页面处理函数使用时需要方法，是库下的方法，是自动拼接，如果第二个参数的地址是相对路径会自动与第一个参数拼接导【百度云搜索，搜各种资料:http://bdy.lqkweb.com】【搜网盘，搜各种资料:http://www.swpan.cn】编写spiders爬...

CntChen 2019-07-31 11:26 评论0 收藏0
21、 Python快速开发分布式搜索引擎Scrapy精讲—爬虫数据保存

摘要：百度云搜索，搜各种资料搜网盘，搜各种资料注意数据保存的操作都是在文件里操作的将数据保存为文件是一个信号检测导入图片下载器模块定义数据处理类，必须继承初始化时打开文件为数据处理函数，接收一个，里就是爬虫最后来的数据对象文章标题是【百度云搜索，搜各种资料:http://www.bdyss.cn】【搜网盘，搜各种资料:http://www.swpan.cn】注意：数据保存的操作都是在p...

Alex 2019-07-31 11:27 评论0 收藏0