新闻爬虫倒腾笔记

April 发布于2019-07-30 14:40 / 1097人阅读

摘要：新闻爬虫在列表页获取列表和时间材料，开发人员工具，插件，，安装包使用开发人员工具分析网站右键或打开，刷新载入打开页签，点选第二排的小漏斗，点入页面，因为新闻都有被检索到的需要，所以一般情况下都可以在第一个文档中找到需要的信息。

新闻爬虫1.0 在列表页获取列表和时间 材料：Pycharm，Chrome开发人员工具，infoLite插件，bs4，request 安装包

pip install requests
pip install beautifulsoup4

使用Chrome开发人员工具分析网站

右键或Ctrl+shift+I打开，F5刷新载入

打开network页签，点选第二排的小漏斗（filter），点入doc页面，因为新闻都有被检索到的需要，所以一般情况下都可以在第一个doc文档中找到需要的信息。我们现在第一个目标是获取这个页面里所有的国内新闻标题、时间、链接。选择第一个doc，通过responce看看是否有所需信息。
3.再通过查看header页面可以看到信息被得到的方式是GET，这说明我们可以通过get调用，而通过第一排的Request URL我们就可以知道想要得到网站信息的目标url是什么。

使用request调用网页

request是URL的撷取套件，可以用postputgetdelete来存取网络资源

import requests
newurl = "目标网站"
res = requests.get(newurl)
res.encoding = "utf-8"
# 申明编码避免res内容出现乱码

使用BeautifulSoup4进行加工

通过request的get得到了网页的所有内容，但是还有很多不需要用到的样式语言等，本来可以用正则表达式来进行删选，但是这里使用第三方包BeautifulSoup4对原材料进行处理。

soup = BeautifulSoup(res.text,"html.parser")
# 需要注释res的类型是HTML，使用parser对HTML进行解析。

这里需要稍微了解一点HTML/CSS里的DOM Tree知识。
（注：DOM Tree是指通过DOM将HTML页面进行解析，并生成的HTML tree树状结构和对应访问方法。）

这方面我自己是理解的，但是理解的不透彻讲不清。详参这里
总之，我们所需要的内容是在各种各样的元素中的，它们可能是含有特定标签的HTML元素，也有可能是含有特定CSS属性的元素。（我所理解的是HTML元素是HTML固有的，结构层次已经划分好了的。而特定CSS属性的元素则是因为特殊的格式需要设置的灵活性的一个元素。一般是通过id和类来设置。）
select
为了得到特定的元素，使用beautifulsoup4中的select。
使用方法是：

# 含有特定标签的HTML元素
header = soup.select("h1")
# 含有特定css属性的元素 ID
header = soup.select("#title")
# 含有特定css属性的元素 class
link = soup.select(".link")

select的预设方法是传回一个list，所以用解开列表的方式解开并且取出来就可以。

使用infoLite插件获取

infoLite插件下载地址
接下来，我们就需要知道爬取目标的元素到底是什么。有两种方法，一是借助infoLite插件，一是借助开发工具的elements自己查找。为了保证查找的准确性，两种方法最好都掌握。
首先是使用infoLite插件，点击就可以知道元素的类型。但是有时候情况会比较复杂，比如说，会遇到css类里使用HTML元素的情况。在这种情况下先select CSS 最大共性元素再select出HTML元素。

标题

（网页其他部分也有h2,可以结合开发工具看更清晰。）

时间
.time

链接
URL链接可以从上面的DOM Tree看到URL是元素的属性，所以需要通过开发工具看。在网页的链接中通常使用a tag去链接其他网页，而href就是连结的桥梁。

列表里其实是一个字典，利用字典的性质，用key(href)调用出链接。

完整

import requests
from bs4 import BeautifulSoup
res = requests.get("http://news.sina.com.cn/china/")
res.encoding = "utf-8"
soup = BeautifulSoup(res.text,"html.parser")
for news in soup.select(".news-item"):
if len(news.select("h2"))>0:
#保证存在，防止遍历时输出空集
h2 = news.select("h2")[0].text
#取出内容
time = news.select(".time")[0].text
a = news.select("a")[0]["href"]
print (time,h2,a)

学习参考自此网站

新闻爬虫2.0 抓取新闻内页 材料：Pycharm，Chrome开发人员工具，infoLite插件，bs4，request

在前面我们已经将新闻列表页面的所有链接都下载下来了，但是还不够，我们希望可以获取链接所指的各个单个新闻的标题、来源、时间以及内文。

这里我们从特殊到一般，而用到的方法还是笔记NO.1中对select的活用，先以一个链接为例。

取得内文页面

和抓取列表页面的初始步骤一样，我们首先要将原材料整个的放到soup里进行一个剖析，然后再逐个提取出我们想要的元素。取得页面的说明不再赘述。

import requests
from bs4 import BeautifulSoup
res = requests.get("http://news.sina.com.cn/c/nd/2017-01-04/doc-ifxzczff3681310.shtml")
res.encoding = "utf-8"
soup = BeautifulSoup(res.text,"html.parser")

获取内文标题

通过检查工具得知标题是一个特殊的css属性标签，ID是artibodyTitle，通过soup的select传回一个list，再通过取出list里内容的方法取出来。

title= soup.select("#artibodyTitle")[0].text

取得来源和时间

本来想处理时间，时间的类是time-source，结果select回传的结果里既有时间又有来源。使用.text也无法将之分开。
select的回传列表结果：

[2017年01月04日09:47        

政府网站
]

所以这里要采用contents将时间和来源取出来。

关于.contents的帮助文档说明

tag的.contents属性可以将tag的子节点以列表的方式输出。新闻的时间精确到日就可以了，对字符串进行切片处理。

time = soup.select(".time-source")[0].contents[:10]

接下来我们要思考如何取出来源，通过检查工具我们可以看到，来源是在时间的层级之下的，这也很好的解释了为什么用contens处理下来，和来源有关的东西并没有发生变化，因为它是附属其下，并且由一个span里的a tag控制的。

![Uploading time-source_539741.png . . .]

所以试试用这个把它select出来

medianame = soup.select(".time-source span a")[0].text

取得内文

内文位于artibody p里，同样的方法取出。观察由三个成分组成，

分隔符、控制符以及我们需要的文字内容。通过strip去除控制符，再遍历输出

article = soup.select("#artibody p")[:-1]

获得编辑名称

同理，略

author = soup.select(".article-editor")[0].text.strip("责任编辑：")

idc机房托管私有云新闻爬虫 360新闻站长新闻图文新闻

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/40845.html

首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
分分钟教你用node.js写个爬虫

摘要：爬虫介绍二爬虫的分类通用网络爬虫全网爬虫爬行对象从一些种子扩充到整个，主要为门户站点搜索引擎和大型服务提供商采集数据。分分钟教你用node.js写个爬虫写在前面十分感谢大家的点赞和关注。其实，这是我第一次在segmentfault上写文章。因为我也是前段时间偶然之间才开始了解和学习爬虫，而且学习node的时间也不是很长。虽然用node做过一些后端的项目，但其实在node和爬虫方面...

fanux 2019-08-22 17:07 评论0 收藏0
从0-1打造最强性能Scrapy爬虫集群

摘要：包括爬虫编写爬虫避禁动态网页数据抓取部署分布式爬虫系统监测共六个内容，结合实际定向抓取腾讯新闻数据，通过测试检验系统性能。 1 项目介绍本项目的主要内容是分布式网络新闻抓取系统设计与实现。主要有以下几个部分来介绍：（1）深入分析网络新闻爬虫的特点，设计了分布式网络新闻抓取系统爬取策略、抓取字段、动态网页抓取方法、分布式结构、系统监测和数据存储六个关键功能。（2）结合程序代码分解说...

vincent_xyb 2019-07-30 14:46 评论0 收藏0
Python3 基于asyncio的新闻爬虫思路

摘要：开始，加入了新的语法，和这两个关键字，也成了标准库，这对于我们写异步的程序来说就是如虎添翼，让我们轻而易举的实现一个定向抓取新闻的异步爬虫。网址池异步爬虫的所有流程不能单单用一个循环来完成，它是多个循环至少两个相互作用共同完成的。 showImg(https://segmentfault.com/img/bVbsjjR?w=742&h=487); Python写爬虫是非常方便的，爬取的...

zhangyucha0 2019-07-31 10:23 评论0 收藏0
基于 Node+express 爬虫的数据 API，爬一套自己的api数据(2)

摘要：目前半岛局势紧张，朝鲜已进行了六次核试验，被广泛认为已经拥有了核弹头。另外朝鲜的导弹技术今年以来快速突破，成功试射了射程可覆盖美国本土的洲际弹道导弹。这个版的内容传到互联网上后，迅速刷屏，引起纷纷议论。 SplderApi2 Node-SplderApi2 第二版基于Node 的网络爬虫 API接口包括前端开发日报、kugou音乐、前端top框架排行、妹纸福利、搞笑视频、段子笑话、...

beanlam 2019-08-21 17:57 评论0 收藏0