Python爬虫实战（1）：爬取Drupal论坛帖子列表

李文鹏发布于2019-07-31 12:21 / 2922人阅读

摘要：，引言在即时网络爬虫项目内容提取器的定义一文我们定义了一个通用的网络爬虫类，期望通过这个项目节省程序员一半以上的时间。本文将用一个实例讲解怎样使用这个爬虫类。我们将爬集搜客老版论坛，是一个用做的论坛。

1，引言

在《Python即时网络爬虫项目: 内容提取器的定义》一文我们定义了一个通用的python网络爬虫类，期望通过这个项目节省程序员一半以上的时间。本文将用一个实例讲解怎样使用这个爬虫类。我们将爬集搜客老版论坛，是一个用Drupal做的论坛。

2，技术要点

我们在多个文章都在说：节省程序员的时间。关键是省去编写提取规则的时间，尤其是调试规则的正确性很花时间。在《1分钟快速生成用于网页内容提取的xslt》演示了怎样快速生成提取规则，接下来我们再通过GooSeeker的api接口实时获得提取规则，对网页进行抓取。本示例主要有如下两个技术要点：

通过GooSeeker API实时获取用于页面提取的xslt

使用GooSeeker提取器gsExtractor从网页上一次提取多个字段内容。

3，python源代码

# _*_coding:utf8_*_
# crawler_gooseeker_bbs.py
# 版本: V1.0

from urllib import request
from lxml import etree
from gooseeker import GsExtractor

# 访问并读取网页内容
url = "http://www.gooseeker.com/cn/forum/7"
conn = request.urlopen(url)
doc = etree.HTML(conn.read())

bbsExtra = GsExtractor() 
bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e" , "gooseeker_bbs_xslt")   # 设置xslt抓取规则，第一个参数是app key，请到会员中心申请
result = bbsExtra.extract(doc)   # 调用extract方法提取所需内容

print(str(result))

源代码下载位置请看文章末尾的GitHub源。

4，抓取结果

运行上节的代码，即可在控制台打印出提取结果，是一个xml文件，如果加上换行缩进，内容如下图：

5，相关文档

1， Python即时网络爬虫项目: 内容提取器的定义

6，集搜客GooSeeker开源代码下载源

1， GooSeeker开源Python网络爬虫GitHub源

7，文档修改历史

2016-06-06：V1.0

2016-06-06：V2.0

2016-06-06：V2.1，增加GitHub下载源

混合云私有云 python爬虫实战帖子列表 python3爬虫实战论坛帖子html教程

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/45481.html

Python爬虫实战（2）：爬取京东商品列表

摘要：，源代码爬取京东商品列表，以手机商品列表为例示例网址版本京东手机列表源代码下载位置请看文章末尾的源。，抓取结果运行上面的代码，就会爬取京东手机品类页面的所有手机型号价格等信息，并保存到本地文件京东手机列表中。 showImg(https://segmentfault.com/img/bVxXHW); 1，引言在上一篇《python爬虫实战：爬取Drupal论坛帖子列表》，爬取了一个用...

shevy 2019-07-31 12:21 评论0 收藏0
Pyspider框架 —— Python爬虫实战之爬取 V2EX 网站帖子

摘要：背景一个国人编写的强大的网络爬虫系统并带有强大的。框架学习时走过的一些坑错误我所遇到的一些错误首先，本爬虫目标使用框架爬取网站的帖子中的问题和内容，然后将爬取的数据保存在本地。修饰器，表示每天会执行一次，这样就能抓到最新的帖子了。背景： PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI...

codecraft 2019-07-31 10:51 评论0 收藏0
从零开始的Python爬虫速成指南

摘要：内容如下是我们准备爬的初始页这个是解析函数，如果不特别指明的话，抓回来的页面会由这个函数进行解析。爬取多个页面的原理相同，注意解析翻页的地址设定终止条件指定好对应的页面解析函数即可。后面的数字表示的是优先级。指明每两个请求之间的间隔。序本文主要内容：以最短的时间写一个最简单的爬虫，可以抓取论坛的帖子标题和帖子内容。本文受众：没写过爬虫的萌新。入门 0.准备工作需要准备的东西：...

gotham 2019-07-25 11:21 评论0 收藏0
首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
SegmentFault 技术周刊 Vol.30 - 学习 Python 来做一些神奇好玩的事情吧

摘要：学习笔记七数学形态学关注的是图像中的形状，它提供了一些方法用于检测形状和改变形状。学习笔记十一尺度不变特征变换，简称是图像局部特征提取的现代方法基于区域图像块的分析。本文的目的是简明扼要地说明的编码机制，并给出一些建议。 showImg(https://segmentfault.com/img/bVRJbz?w=900&h=385); 前言开始之前，我们先来看这样一个提问： pyth...

lifesimple 2019-07-30 14:22 评论0 收藏0