爬虫入门实战（一）

FrozenMap 发布于2019-07-30 17:05 / 615人阅读

摘要：爬虫入门实战一请求方式爬取肯德基配送地址解析，通过方式准确发送信息是本次爬虫实战的重难点。

python爬虫入门实战（一）

post请求方式爬取肯德基配送地址

解析url，通过post方式准确发送data信息是本次爬虫实战的重难点。代码如下：

# 肯德基店铺位置案例
"""
需求:根据用户输入的页码的起始位置，
把每页的餐厅信息存储到一个独立的json文件中
"""

from urllib import request
from urllib import parse
import json

post_url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname"

start_page = int(input("请输入起始页:"))
end_page = int(input("请输入结束页:"))

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"
}

for page in range(start_page, end_page + 1):
    p = str(page)

    data = {
        "cname": "北京",
        "pid": "",
        "pageIndex": p,
        "pageSize": "10"
    }

    data = parse.urlencode(data).encode("utf-8")

    req = request.Request(url=post_url,
                          data=data,
                          headers=headers)

    response = request.urlopen(req)

    content = response.read().decode("utf-8")

    # 保存为本地json文件
    filename = "data/KFC/{}.json".format(p)

    json.dump(content, open(filename, "w", encoding="utf-8"),
              ensure_ascii=False)

由于比较简单，我就不多解释了，，，关掉电脑，，，今天的修行到此结束。。。

服务器托管云服务器爬虫实战网络爬虫实战 scrapy爬虫实战 python爬虫实战

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/42001.html

零基础如何学爬虫技术

摘要：楚江数据是专业的互联网数据技术服务，现整理出零基础如何学爬虫技术以供学习，。本文来源知乎作者路人甲链接楚江数据提供网站数据采集和爬虫软件定制开发服务，服务范围涵盖社交网络电子商务分类信息学术研究等。楚江数据是专业的互联网数据技术服务，现整理出零基础如何学爬虫技术以供学习，http://www.chujiangdata.com。第一：Python爬虫学习系列教程（来源于某博主：htt...

KunMinX 2019-07-25 11:29 评论0 收藏0
Python爬虫学习路线

摘要：以下这些项目，你拿来学习学习练练手。当你每个步骤都能做到很优秀的时候，你应该考虑如何组合这四个步骤，使你的爬虫达到效率最高，也就是所谓的爬虫策略问题，爬虫策略学习不是一朝一夕的事情，建议多看看一些比较优秀的爬虫的设计方案，比如说。（一）如何学习Python 学习Python大致可以分为以下几个阶段： 1.刚上手的时候肯定是先过一遍Python最基本的知识，比如说：变量、数据结构、语法...

liaoyg8023 2019-07-31 10:27 评论0 收藏0
首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
爬虫requests模块入门到入狱：基础知识+实战分析

?????? ???Hello，大家好我叫是Dream呀，一个有趣的Python博主，小白一枚，多多关照??? ???CSDN Python领域新星创作者，大二在读，欢迎大家找我合作学习 ?入门须知：这片乐园从不缺乏天才，努力才是你的最终入场券！??? ?最后，愿我们都能在看不到的地方闪闪发光，一起加油进步??? ???一万次悲伤，依然会有Dream，我一直在最温暖的地方等你，唱的就是我！哈哈哈~...

yagami 2021-11-24 09:39 评论0 收藏0