获取百度贴吧头像的爬虫

AJie 发布于2019-07-31 11:41 / 2023人阅读

摘要：在上一篇文章的基础上增加获取百度贴吧的头像图片的功能，使用到的技术为，，具体实现如下查看网页源代码测试网页链接通过定位头像的的代码每一楼层的标签是从楼层开始，直到定位到照片顺序应该是提取信息通过一步步获取到这一层，提取到这个标签中的就可以获

在上一篇文章的基础上增加获取百度贴吧的头像图片的功能，使用到的技术为XPath，Requests，具体实现如下：

1. 查看网页源代码
测试网页链接：http://tieba.baidu.com/p/3522395718?pn=1 通过Chrome定位头像的HTML的代码

每一楼层的标签是：

class="l_post j_l_post l_post_bright  "

从楼层开始，直到定位到照片顺序应该是

2. 提取XPath信息
通过XPath一步步获取到这一层，提取到这个标签中的src就可以获取到图片的url

ImgLink = ImgFilter.xpath("//div[@class="l_post j_l_post l_post_bright  "]")[0]
links = ImgLink.xpath("//div[@class="d_author"]/ul/li/div[@class="icon_relative j_user_card"]/a/img/@data-tb-lazyload")

这里会遇到一个问题，如果第二个XPath的条件是/img/@src则会遇到一个问题：
使用requests获取到的html会有很多空白的头像

"http://tb2.bdstatic.com/tb/static-pb/img/head_80.jpg"

这是因为网页是分步加载的，首先使用默认的头像展示，再逐步下载自定义头像替换，因此还要得到自定义头像的地址，通过分析网页代码，可以发现：

“data-tb-lazyload”这个才是真正的自定义头像的链接地址

3. 去掉获取到的链接中的重复值
由于贴吧的不同的楼层是有可能是同一个人，即同一个头像的；为了节省空间，我们要去除掉重复的图像，在Python中可以通过函数set()去除列表重复值

links = list(set(links))

测试一下：

print("before set list:{0}".format(len(links)))
links = list(set(links))
print("after set list:{0}".format(len(links)))

测试结果：

before set list:27
after set list:21

成功消除掉了重复的链接

4.将链接存储到jpeg文件
Requests库中包含了获取数据的方法get()，可以使用该方法将链接存储到文件中

with open("img{0}.jpeg".format(i),"wb") as code:
            code.write(graphic.content)

完整程序（可直接使用）

#-*-coding:utf8-*-
from lxml import etree
import requests
import re

def GetImgLink(url):
    html = requests.get(url)
    html = re.sub(r"charset=(/w*)", "charset=UTF-8", html.text)
    ImgFilter = etree.HTML(html)
    ImgLink = ImgFilter.xpath("//div[@class="l_post j_l_post l_post_bright  "]")[0]
    links = ImgLink.xpath("//div[@class="d_author"]/ul/li/div[@class="icon_relative j_user_card"]/a/img/@data-tb-lazyload")
    #links = ImgLink.xpath("//div[@class="d_author"]/ul/li/div[@class="icon_relative j_user_card"]/a/img/@src")
    print(links)
    print("before set list:{0}".format(len(links)))
    links = list(set(links))
    print("after set list:{0}".format(len(links)))
    i = 0
    for each_link in links:
        graphic = requests.get(each_link)
        with open("img{0}.jpeg".format(i),"wb") as code:
            code.write(graphic.content)
        i = i + 1


pagelink = "http://tieba.baidu.com/p/3522395718?pn=1"
GetImgLink(pagelink)

测试结果：

混合云云服务器百度爬虫爬虫获取网页信息短视频当头像的更换头像的html

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/45413.html

首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
23个Python爬虫开源项目代码，包含微信、淘宝、豆瓣、知乎、微博等

摘要：今天为大家整理了个爬虫项目。地址新浪微博爬虫主要爬取新浪微博用户的个人信息微博信息粉丝和关注。代码获取新浪微博进行登录，可通过多账号登录来防止新浪的反扒。涵盖链家爬虫一文的全部代码，包括链家模拟登录代码。支持微博知乎豆瓣。 showImg(https://segmentfault.com/img/remote/1460000018452185?w=1000&h=667); 今天为大家整...

jlanglang 2019-07-31 10:09 评论0 收藏0
python爬虫爬取百度网盘-怎么做一个百度网盘搜索引擎

摘要：因为要做去转盘网，所以一定要爬取网盘资源，本来想自己写一个爬虫挺不容易的，不想分享出来，但最后还是决定了拿给大家一起看吧，毕竟有交流才有进步，有兴趣的朋友也可以看看我写的其他日志或者关注我，会发现去转盘网的大部分技术现在可以说是公开状态，如因为要做去转盘网，所以一定要爬取网盘资源，本来想自己写一个爬虫挺不容易的，不想分享出来，但最后还是决定了拿给大家一起看吧，毕竟有交流才有进步，有兴...

k00baa 2019-07-25 10:22 评论0 收藏0
尝试用Python3爬取网页图片的过程记录

摘要：上有一个关于下载百度贴吧里的美女图片的练习题，最近正好在学爬虫相关的知识，拿来练练手。这是我的目标网页。 Github上有一个关于下载百度贴吧里的美女图片的练习题，最近正好在学爬虫相关的知识，拿来练练手。这是我的目标网页。最开始的时候我在网上找到一个类似的案例，代码如下图：showImg(https://segmentfault.com/img/bVbh2SX);稍作修改，运行之后得到...

alin 2019-07-31 11:12 评论0 收藏0
golang80行代码钉钉群机器人舆情监控

1. 资料 1.1.第三方包 github.com/PuerkitoBio/goquery github.com/go-redis/redis beego框架定时任务包 1.2.接口百度新闻:美剧关键字钉钉群BOT文档 2. 初始化项目变量 package main import ( fmt log github.com/PuerkitoBio/goquery...

weakish 2019-07-24 15:17 评论0 收藏0