摘要：总的来说有两种反爬策略，要么验证身份，把虫子踩死在门口要么在网站植入各种反爬机制，让爬虫知难而退。本节内容就着这两种反爬策略提出一些对策。内嵌反爬很灵活，没有什么固定的代码格式，要花时间去分析出来。
之前提到过，有些网站是防爬虫的。其实事实是，凡是有一定规模的网站，大公司的网站，或是盈利性质比较强的网站，都是有高级的防爬措施的。总的来说有两种反爬策略，要么验证身份，把虫子踩死在门口；要么在网站植入各种反爬机制，让爬虫知难而退。
本节内容就着这两种反爬策略提出一些对策。
就算是一些不知名的小网站，多多少少还会检查一下headers验证一下访者的身份，大网站就更不用说了（我一次爬网易云的时候，忘记加headers，直接被红掉）
所以，为了让虫宝们带着信息凯旋归来，我们要教会爬虫们如何伪装；有时光伪装也不行，我们还要教爬虫具体"如何做人"，让自己的举止更像普通人而不是比单身汉手速还快的未知生物。
“吾是人！”——修改user-agent：里面储存的是系统和浏览器的型号版本，通过修改它来假装自己是人。
“我从河北省来”——修改referer：告诉服务器你是通过哪个网址点进来的而不是凭空出现的，有些网站会检查。
“饼干！”：——带上cookie，有时带不带饼干得到的结果是不同的，试着带饼干去“贿赂”服务器让她给你完整的信息。
详细数据可以F12捉个包来查看其Requests Headers
headers = {"Referer":"https://accounts.pixiv.net/loginlang=zh&source=pc&view_type=page&ref=wwwtop_accounts_index",#如某些网站（如p站）要检查referer，就给他加上
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36"#每个爬虫必备的伪装
}
r = requests.get("https://segmentfault.com/a/1190000014383966",headers=headers)
headers数据通常用这两个即可，而且笔者强烈推荐在爬虫中为每个request都配个user-agent，总比什么都没有好，加了也不会报错。
降低主IP访问频率注意：这是针对长期的，大范围的爬虫的
有些网站会监视某个ip的访问频率和次数，一但超过某个阈值，就把你当作爬虫嫌犯赶出去了，这时就要想办法降低自己的存在感了。
Zzzzz——休眠：爬一段时间后休息一会，不仅是为了自己的成功，也是为服务器着想。
我不去，我派别人去——ip代理：通过proxies参数来使用，前提是你要有ip，好的ip代理是要花钱的。
time.sleep(60)#用python自带time模块的休眠功能
proxies = {"http": "http://10.10.1.10:3128",#“协议类型：完整ip地址+端号”
"https": "http://10.10.1.10:1080"}#代理ip字典，随机调用
r = requests.get(url,headers=headers,proxies=proxies)
反 反爬（简析）
在系列第零篇中我提到获取网页源码是有坑的，没错，有些时候headers伪装什么的都做足了，可你还是不能如愿以偿的获得正确的网页源码，要么缺，要么给你一堆毫不相关的东西，要么干脆让你红掉。
这说明要点不是伪不伪装的问题了，而是如何去解读网页的防爬机制从而推出解决方法，这就要求比较高的观察和分析能力了。
就我目前遇到的主要有：
随机校验码：网页生成随机码，并要求你将其提交才接受你的请求（多用在登录验证中）。——这种校验码通常藏在网页源码中，先取再交是策略。
无序网址：网址后跟着一大串看不出规律的东西。——跟这种东西是没话说的，直接上selenium。
加密/杂乱的源码：你知道你要的东西就在那里，但是不知道怎样提取出来。——推理解谜，看脑子好不好使了。
动态加载：需要和页面交互才能获取更多信息，但是爬虫没法和它交互啊。——直接上selenium/手动捉包分析出目标链接
ajax技术：异步加载，网页内容分次加载，用爬虫只能得到第一次发出的html，导致信息不全。——上selenium/手动捉包分析出目标连接
补充：
selenium模块，模拟浏览器，强是强但是缺点是慢。
其实动态加载是为了方便用户点哪看哪的，但这也加大了爬虫的难度，因为很多信息因此被隐藏了起来。
伪装有套路，代码直接套，多加headers总没错。
内嵌反爬很灵活，没有什么固定的代码格式，要花时间去分析出来。
本文新出现的方法/模块，后面会有实例，不要方。
下一篇正式进入网页解析主题，之后就可以开始写小爬虫了♪(＾∀＾●)ﾉ。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/41540.html
摘要：极简爬虫攻防战纪要爬虫是构建搜索引擎的基础负责抓取网页信息并对网页识别分类及过滤。爬虫方终于锁定了第一场战役的胜局由于断崖式技术的出现，反爬方在浏览器识别战役上望风披靡。经过反爬方的精心运作，逐渐有效削弱了敌方的攻势。 极简爬虫攻防战纪要 爬虫是构建搜索引擎的基础, 负责抓取网页信息并对网页识别、分类及过滤。我们熟识的电商、搜索、新闻及各大门户网站都有强大的爬虫集群在每...
摘要：通过本文的学习，可以快速掌握网络爬虫基础，结合实战练习，写出一些简单的爬虫项目。从技术手段来说，网络爬虫有多种实现方案，如。二网络爬虫技术基础在本次课中，将使用技术手段进行项目的编写。 摘要：本文详细讲解了python网络爬虫，并介绍抓包分析等技术，实战训练三个网络爬虫案例，并简单补充了常见的反爬策略与反爬攻克手段。通过本文的学习，可以快速掌握网络爬虫基础，结合实战练习，写出一些简单的...
摘要：之前在学校曾经用过的方法做过一些爬虫脚本来玩，从正式转前端之后，出于兴趣，我对爬虫和反爬虫又做了一些了解，并且做了一些爬虫攻防的实践。爬虫脚本通常会很频繁的进行网络请求，比如要爬取豆瓣排行榜的电影，就会连续发送个网络请求。 之前在学校曾经用过request+xpath的方法做过一些爬虫脚本来玩，从ios正式转前端之后，出于兴趣，我对爬虫和反爬虫又做了一些了解，并且做了一些爬虫攻防的实践...
摘要：之前在学校曾经用过的方法做过一些爬虫脚本来玩，从正式转前端之后，出于兴趣，我对爬虫和反爬虫又做了一些了解，并且做了一些爬虫攻防的实践。爬虫脚本通常会很频繁的进行网络请求，比如要爬取豆瓣排行榜的电影，就会连续发送个网络请求。 之前在学校曾经用过request+xpath的方法做过一些爬虫脚本来玩，从ios正式转前端之后，出于兴趣，我对爬虫和反爬虫又做了一些了解，并且做了一些爬虫攻防的实践...
摘要：定制筛选器，对内容进行筛选重点。审查元素这是浏览器自带的工具，提供抓包和检查网页源码的功能，供使用者分析网页。超时设置，如果服务器在指定秒数内没有应答，抛出异常，用于避免无响应连接，整形或浮点数。返回连接状态，正常。 前言 python 3.6 ！！ 本爬虫系列是面对有Python语法基础的读者写的，如果你没学过python，emmmm.....也没关系，你或许能从每篇文章中学到一些...
阅读 2555·2021-11-22 14:45
阅读 2302·2021-11-12 10:34
阅读 754·2021-10-15 09:41
阅读 877·2021-09-27 13:35
阅读 3338·2021-09-09 11:56
阅读 2514·2019-08-30 13:03
阅读 3065·2019-08-29 16:32
阅读 3087·2019-08-26 13:49
