15、web爬虫讲解2—urllib库中使用xpath表达式—BeautifulSoup基础

lcodecorex 发布于2019-07-31 11:24 / 3157人阅读

摘要：百度云搜索搜网盘在中，我们一样可以使用表达式进行信息提取，此时，你需要首先安装模块，然后将网页数据通过下的转化为的形式库中使用表达式将获取到的字符串，转换成树形结构，也就是表达式可以获取的格式导入树形结构转换模块将获取到的字符串，

【百度云搜索:http://www.bdyss.cn】 【搜网盘:http://www.swpan.cn】

在urllib中，我们一样可以使用xpath表达式进行信息提取，此时，你需要首先安装lxml模块，然后将网页数据通过lxml下的etree转化为treedata的形式

urllib库中使用xpath表达式

etree.HTML()将获取到的html字符串，转换成树形结构，也就是xpath表达式可以获取的格式

#!/usr/bin/env python
# -*- coding:utf8 -*-
import urllib.request
from lxml import etree  #导入html树形结构转换模块

wye = urllib.request.urlopen("http://sh.qihoo.com/pc/home").read().decode("utf-8","ignore")
zhuanh = etree.HTML(wye)  #将获取到的html字符串，转换成树形结构，也就是xpath表达式可以获取的格式
print(zhuanh)
hqq = zhuanh.xpath("/html/head/title/text()") #通过xpath表达式获取标题

#注意，xpath表达式获取到数据，有时候是列表，有时候不是列表所以要做如下处理
if str(type(hqq)) == "":  #判断获取到的是否是列表
    print(hqq)
else:
    xh_hqq = [i for i in hqq]       #如果不是列表，循环数据组合成列表
    print(xh_hqq)

#返回 ：["【今日爆点】你的专属资讯平台"]

BeautifulSoup基础

BeautifulSoup是获取thml元素的模块

BeautifulSoup-3.2.1版本

【转载自：http://www.lqkweb.com】

GPU服务器云服务器 js基础视频讲解正则表达式基础 ensp防火墙web管理界面讲解 BeautifulSoup

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/45066.html

Python_爬虫基础

摘要：并不是所有爬虫都遵守，一般只有大型搜索引擎爬虫才会遵守。的端口号为的端口号为工作原理网络爬虫抓取过程可以理解为模拟浏览器操作的过程。表示服务器成功接收请求并已完成整个处理过程。爬虫概念数据获取的方式：企业生产的用户数据：大型互联网公司有海量用户，所以他们积累数据有天然优势。有数据意识的中小型企业，也开始积累的数据。数据管理咨询公司政府/机构提供的公开数据第三方数据平台购买...

ixlei 2019-07-30 16:38 评论0 收藏0
精通Python网络爬虫(0):网络爬虫学习路线

摘要：以上是如果你想精通网络爬虫的学习研究路线，按照这些步骤学习下去，可以让你的爬虫技术得到非常大的提升。作者：韦玮转载请注明出处随着大数据时代的到来，人们对数据资源的需求越来越多，而爬虫是一种很好的自动采集数据的手段。那么，如何才能精通Python网络爬虫呢？学习Python网络爬虫的路线应该如何进行呢？在此为大家具体进行介绍。 1、选择一款合适的编程语言事实上，Python、P...

spacewander 2019-07-30 14:17 评论0 收藏0
如何使用Python制作网络爬虫

摘要：在近几年迅速咋程序界掀起了不小的波澜，而关于的第三库也使广大程序员趋之若鹜，今天我们就由浅入深的探讨一下如何使用做一个网络爬虫来抓取一些页面信息。 Python在近几年迅速咋程序界掀起了不小的波澜，而关于python的第三库也使广大程序员趋之若鹜，今天我们就由浅入深的探讨一下如何使用python做一个网络爬虫来抓取一些页面信息。今天我们使用的库（包含python自身携带的库和第三库） ...

时飞 2019-08-06 13:27 评论0 收藏0
如何使用Python制作网络爬虫

摘要：在近几年迅速咋程序界掀起了不小的波澜，而关于的第三库也使广大程序员趋之若鹜，今天我们就由浅入深的探讨一下如何使用做一个网络爬虫来抓取一些页面信息。 Python在近几年迅速咋程序界掀起了不小的波澜，而关于python的第三库也使广大程序员趋之若鹜，今天我们就由浅入深的探讨一下如何使用python做一个网络爬虫来抓取一些页面信息。今天我们使用的库（包含python自身携带的库和第三库） ...

binaryTree 2019-07-31 11:00 评论0 收藏0