50行Python代码，教你获取公众号全部文章

MartinHan 发布于2019-07-31 11:27 / 848人阅读

摘要：今天介绍一种通过抓包端微信的方式去获取公众号文章的方法。如上图，通过抓包工具获取微信的网络信息请求，我们发现每次下拉刷新文章的时候都会请求这个接口。

本文首发自公众号：python3xxx

爬取公众号的方式常见的有两种

通过搜狗搜索去获取，缺点是只能获取最新的十条推送文章

通过微信公众号的素材管理，获取公众号文章。缺点是需要申请自己的公众号。

今天介绍一种通过抓包PC端微信的方式去获取公众号文章的方法。相比其他的方法非常方便。

如上图，通过抓包工具获取微信的网络信息请求，我们发现每次下拉刷新文章的时候都会请求 mp.weixin.qq.com/mp/profile_ext 这个接口。

经过多次测试分析，用到了以下几个参数

__biz : 用户和公众号之间的唯一id，

uin ：用户的私密id

key ：请求的秘钥，一段时候只会就会失效。

offset ：偏移量

count ：每次请求的条数

数据如下

{
 "ret": 0,
 "errmsg": "ok", # 请求状态
 "msg_count": 10,  # 信息条数
 "can_msg_continue": 1, # 是否还可以继续获取，1代表可以。0代表不可以，也就是最后一页
 "general_msg_list": "{"list":[]}", # 公众号文本信息
 "next_offset": 20,  
 "video_count": 1,
 "use_video_tab": 1,
 "real_type": 0,
 "home_page_list": []
}

部分代码如下

 params = {
        "__biz": biz,
        "uin": uin,
        "key": key,
        "offset": offset,
        "count": count,
        "action": "getmsg",
        "f": "json"
    }

    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"
    }

    response = requests.get(url=url, params=params, headers=headers)
    resp_json = response.json()
    if resp_json.get("errmsg") == "ok":
        resp_json = response.json()
        # 是否还有分页数据， 用于判断return的值
        can_msg_continue = resp_json["can_msg_continue"]
        # 当前分页文章数
        msg_count = resp_json["msg_count"]
        general_msg_list = json.loads(resp_json["general_msg_list"])
        list = general_msg_list.get("list")
        print(list, "**************")

最后打印的list就是公众号的文章信息详情。包括标题(titile)、摘要(digest)、文章地址(content_url)、阅读原文地址(source_url)、封面图(cover)、作者(author)等等...

输出结果如下：

[{
    "comm_msg_info": {
        "id": 1000000038,
        "type": 49,
        "datetime": 1560474000,
        "fakeid": "3881067844",
        "status": 2,
        "content": ""
    },
    "app_msg_ext_info": {
        "title": "入门爬虫，这一篇就够了！！！",
        "digest": "入门爬虫，这一篇就够了！！！",
        "content": "",
        "fileid": 0,
        "content_url": "http:XXXXXX",
        "source_url": "",
        "cover": "I5kME6BVXeLibZDUhsiaEYiaX7zOoibxa9sb4stIwrfuqID5ttmiaoVAFyxKF6IjOCyl22vg8n2NPv98ibow/0?wx_fmt=jpeg",
        "subtype": 9,
        "is_multi": 0,
        "multi_app_msg_item_list": [],
        "author": "Python3X",
        "copyright_stat": 11,
        "duration": 0,
        "del_flag": 1,
        "item_show_type": 0,
        "audio_fileid": 0,
        "play_url": "",
        "malicious_title_reason_id": 0,
        "malicious_content_type": 0
    }
},{...},{...},{...},{...},{...},{...},{...},{...},{...}]

获取数据之后，可以保存到数据库中，也可以将文章保存在PDF中。

1、保存在Mongo中

# Mongo配置
conn = MongoClient("127.0.0.1", 27017)
db = conn.wx  #连接wx数据库，没有则自动创建
mongo_wx = db.article  #使用article集合，没有则自动创建

for i in list:
    app_msg_ext_info = i["app_msg_ext_info"]
    # 标题
    title = app_msg_ext_info["title"]
    # 文章地址
    content_url = app_msg_ext_info["content_url"]
    # 封面图
    cover = app_msg_ext_info["cover"]

    # 发布时间
    datetime = i["comm_msg_info"]["datetime"]
    datetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(datetime))

    mongo_wx.insert({
        "title": title,
        "content_url": content_url,
        "cover": cover,
        "datetime": datetime
    })

结果如下

2、导入到PDF文件中

Python3中常用的操作PDF的库有python-pdf和pdfkit。我用了pdfkit这个模块导出pdf文件。

pdfkit是工具包Wkhtmltopdf的封装类，因此需要安装Wkhtmltopdf才能使用。

可以访问 https://wkhtmltopdf.org/downl... 下载和操作系统匹配的工具包。

实现代码也比较简单，只需要传入导入文件的url即可。

安装pdfkit库

pip3 install pdfkit -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

import pdfkit
pdfkit.from_url("公众号文章地址", "out.pdf")

运行之后成功导出pdf文件。

以上就是获取公众号文章的方式，如需完整代码，可在公众号[python3xxx]中回复 朋友圈 获取完整代码！

服务器托管专线服务 python微信公众号阿里云公众号服务器Python python获取行数 Python代码行数统计

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/45142.html

❤️【python表白神器】手把手教你用代码浪漫追求对象！❤️（附完整源码+讲解）

文章目录一、前言二、演示看效果！三、网站制作四、部署网站五、二维码制作六、强烈推荐系列教程，建议学起来！！七、总结一、前言跟着我做，做成功就去表白，不介意的话表白成功给我打个赏。第一步是制作网站；第二步是部署网站，第三步是二维码制作。所有源码我都给了大家，如果你是小白，中途遇到不会的问题，可以主页加群联系我（粉丝群少的可怜）二、演示看效果！ b站演示（录了一部分）： csdn作品展...

Yang_River 2021-09-09 09:33 评论0 收藏0
教你用Python制作微信好友背景墙

摘要：准备工作在这里，我们登录微信获取好友信息，使用的是模块处理并生成最终的图像借助模块。生成微信好友墙制作微信好友墙，就像以前的大字报，把我们下载的好友头像逐一贴上去即可。首先设定好微信好友墙的尺寸，使用方法。目录：0 引言1 环境2 代码实现3 后记 0 引言前段时间，微信朋友圈开始出现了一种晒照片新形式，微信好友墙，即在一张大图片中展示出自己的所有微信好友的头像。效果如下图，出于...

lk20150415 2019-07-31 11:29 评论0 收藏0
❤️手把手教你学会安装虚拟机与linux系统和完美配置❤️

文章目录前言一、虚拟机安装二、ubuntu系统安装三、虚拟机配置四、粉丝福利前言如果你学计算机，你一定要安装虚拟机，如果你想做测试，你一定要安装虚拟机，如果你想做运维，你一定要安装虚拟机，如果你想做开发，你一定要安装虚拟机。为什么我建议你安装虚拟机？可以一台电脑上装多个操作系统，包括linux,window等，特别是linux，你可以在本地进行测试linux相关内容利用虚拟机可以进行软件...

helloworldcoding 2021-09-30 09:47 评论0 收藏0
15行Python代码搞定网易云热门歌单

摘要：引言马上情人节就要来了，是否需要一首歌来抚慰你，受伤或躁动的心灵。来吧，今天教你用行代码搞定热门歌单。爬取的效果如下总结本文旨在安抚你因情人节受伤的小心灵，同时带你入个爬虫的门，感受下的强大。 0. 引言马上314情人节就要来了，是否需要一首歌来抚慰你，受伤或躁动的心灵。来吧，今天教你用15行代码搞定热门歌单。学起来并听起来吧。本文使用的是Selenium模块，它是一个自动化测试工...

StonePanda 2019-07-31 10:08 评论0 收藏0
最新【从零单排】系列流出，教你如何实现字典存储结构

摘要：昨天在星球的从零单排系列分享了一篇字典存储结构的实现方式，我觉得这篇文章写的还是蛮好的，就分享给大家了。这周活动力度优惠开到最大了，现在只要元，邀请朋友还能返现元。 showImg(https://segmentfault.com/img/remote/1460000018992017); 昨天在星球的【从零单排】系列分享了一篇【字典存储结构的实现方式】，我觉得这篇文章写的还是蛮好的，...

crossea 2019-07-31 10:21 评论0 收藏0