爬虫模拟登陆 SegmentFault

bovenson 发布于2019-08-19 18:30 / 3434人阅读

摘要：大致意思是模拟登陆，一时手痒，本文将带领大家一起实现这个操作。方案事实上为了探究这个有意思的问题，我专门动手做一个有意思的实验。这说明了服务端验证了输入，并判断我们的请求不符合正常逻辑。过程不再赘述，结果是中的必须和中的对应。

前言

本文来自我在 SegmentFault 上的回答，我纪录了其中精彩的部分到本博客。

大致意思是模拟登陆 segmentfault.com，一时手痒，本文将带领大家一起实现这个操作。

解析

这个问题问的非常好，但可惜的是大家的回复都是纸上谈兵未经探讨，最前最高票的回答的竟然说让下抓包工具，简直可笑啊，chrome下F12直接就可以看到账号密码是明文发送的何必还要抓包？另外的题主的http头就是从chrome下复制的。

根据竟然我判断你的问题的原因是发送了过多的http头，其中Content-Length是明显有问题的，这个代表内容长度，你这次抓包是49，但下次换个账号密码可就真不一定了。比如，如果账号密码过长，可能就会导致截断，那么无论如何都会提示密码错误的（因为只发送了一部分的密码过去）。

方案

事实上为了探究这个有意思的问题，我专门动手做一个有意思的实验。这里就用个最简单的脚本语言node.js中的ajax模型来重新构建操作过程。

分析

我们先去登陆页--源码页去大致看一下，其中

这个跨域请求加载js脚本，看名字应该是和登陆有关的，我们这边使用尝试访问下，结果不用想，一篇乱糟糟的。

根据命名规范，我们猜测压缩前的名字可能就是叫login.js，我们看下他删除了没有，我们尝试访问https://dfnjy7g2qaazm.cloudfront.net/v-575e20ec/user/script/login.js，嗯哼还在，看来他们的发布人员可能不是处女座的。

那好我们往下看下这里：

$("form[action="/api/user/login"]").submit(function() {
  var data, url;
  url = "/api/user/login";
  data = $(this).serialize();
  $.post(url, data, function(d) {
    if (!d.status) {
      return location.href = d.data;
    }
  });
  return false;
});

代码非常简单，我们知道了请求结果中status为0时代表登陆成功，同时我们也知道了后台执行登陆请求页是/api/user/login，即https://segmentfault.com/api/user/login，我们访问一下，嗯404。这说明了服务端验证了输入，并判断我们的请求不符合正常逻辑。下面我们开始伪造请求头。

请求头

我们用类似chrome的现代化浏览器，正常访问https://segmentfault.com/user/login,按下F12,选择network面板开始监控请求，然后我们随意填写账号密码，点击登陆。

这个时候下面会有一条信息，我们提取其中的Request Header如下

POST /api/user/login?_=93e1b923149fb56c4fd329fe95ea4001 HTTP/1.1
Host: segmentfault.com
Connection: keep-alive
Content-Length: 46
Pragma: no-cache
Cache-Control: no-cache
Accept: */*
Origin: https://segmentfault.com
X-Requested-With: XMLHttpRequest
User-Agent: xxxx
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
DNT: 1
Referer: https://segmentfault.com/
Accept-Encoding: gzip, deflate, br
Accept-Language: en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4
Cookie: PHPSESSID=web5~to8l5ovmt9t3jkb84aevuqf151; Hm_lvt_e23800c454aa573c0ccb16b52665ac26=1465799317; Hm_lpvt_e23800c454aa573c0ccb16b52665ac26=1465799317; _ga=GA1.2.915515414.1465799317; _gat=1

我们只需要同样发送这些请求到服务器上，理论上就不会有问题，同时也不会再404了。

这里面的数据中，有些不需要发的，有些是必须要发送的。我们可以一一测试下。

调试

我们这里使用nodejs来简单写段代码测试下服务端所验证的参数。

枯燥的测试就是不断删减请求来看看服务端会不会返回404。过程不再赘述，结果是：

querystring中的 _必须和Cookie中的PHPSESSID对应。

X-Requested-With的值需要带ajax请求标志，即XMLHttpRequest

Referer的值

看来他们服务端还是蛮严格的。

源码

var superagent = require("superagent");


superagent.post("https://segmentfault.com/api/user/login?_=7ef046ad4f224034d7b51655238bd870")
    .set("Referer", "https://segmentfault.com/user/login")
    .set("X-Requested-With", "XMLHttpRequest")
    .set("Cookie", "PHPSESSID=web1~395mahoqliohh5kclv894ibpr3; _gat=1; _ga=GA1.2.1234754628.1465797373; Hm_lvt_e23800c454aa573c0ccb16b52665ac26=1465797373; Hm_lpvt_e23800c454aa573c0ccb16b52665ac26=1465797538")
    .send({
        mail: "xxxxxx",
        password: "xxxx"
    })
    .type("form")
    .end(function(err, res) {
        if (err || !res.ok) {
            console.log(err.status);
        } else {
            console.log("yay got " + JSON.stringify(res.body));
        }
    });

同时，开源在 GitHub 上，地址 segmentfault_loginer：https://github.com/Rozbo/segmentfault_loginer。

服务器托管私有云模拟登陆模拟爬虫爬虫模拟模拟登陆网站

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/79630.html

非计算机专业小白自学爬虫全指南（附资源）

摘要：爬虫是我接触计算机编程的入门。练练练本文推荐的资源就是以项目练习带动爬虫学习，囊括了大部分爬虫工程师要求的知识点。拓展阅读一文了解爬虫与反爬虫最后，请注意，爬虫的工作机会相对较少。爬虫是我接触计算机编程的入门。哥当年写第一行代码的时候别提有多痛苦。本文旨在用一篇文章说透爬虫如何自学可以达到找工作的要求。爬虫的学习就是跟着实际项目去学，每个项目会涉及到不同的知识点，项目做多了，自然...

CarlBenjamin 2019-07-30 17:36 评论0 收藏0
Python爬虫学习：微信、知乎、新浪等主流网站的模拟登陆爬取方法

摘要：微信知乎新浪等主流网站的模拟登陆爬取方法摘要微信知乎新浪等主流网站的模拟登陆爬取方法。先说说很难爬的知乎，假如我们想爬取知乎主页的内容，就必须要先登陆才能爬，不然看不到这个界面。图片描述知乎需要手机号才能注册登陆。微信、知乎、新浪等主流网站的模拟登陆爬取方法摘要：微信、知乎、新浪等主流网站的模拟登陆爬取方法。网络上有形形色色的网站，不同类型的网站爬虫策略不同，难易程度也不一样。从是...

Kahn 2019-07-31 10:29 评论0 收藏0
超详细的Python实现百度云盘模拟登陆(模拟登陆进阶)

摘要：方法不仅适用于百度云，别的一些比较难以模拟登陆的网站都可以按照这种方式分析。本文要求读者具有模拟登陆主要是抓包和阅读代码和密码学的基本知识。和模拟登陆微博的分析流程一样，我们首先要做的是以正常人的流程完整的登录一遍百度网盘。这是第二篇从简书搬运过来的文章（大家别误会，是我原创的）。因为前一篇文章，我看反响还挺好的，所以把这篇也搬运过来了，其实目的还是为宣传自己的分布式微博爬虫（该项目...

CarterLi 2019-07-31 10:57 评论0 收藏0
Python 爬虫之模拟登陆CSND

摘要：它也会在同一个实例发出的所有请求之间保持，期间使用的功能。而主要是方便解析源码，从中获取请求需要的一些参数完整代码请输入账号请输入密码项目地址模拟京东登录吐槽群 Python 爬虫之模拟登陆CSND 工具基本的脚本语言是Python，虽然不敢说是最好的语言，至少是最好的之一（0.0），用模拟登陆，我们需要用到多个模块，如下： requests BeautifulSoup requ...

firim 2019-07-31 11:00 评论0 收藏0