资讯专栏INFORMATION COLUMN

上云采购季！| 2核2G4M爆款云服务器低至59元/年，更有多台、长期优惠，快来选购！

立即前往
首页/文章专栏/node批量抓取并下载小姐姐照片

node批量抓取并下载小姐姐照片

cloud / 2528人阅读

摘要：背景本人于周六早上惊醒于翠花的电话轰炸中一大早竟然问这么伤脑筋愚蠢的问题本想赶紧打发了继续我的回笼觉没想到乐于助人的我当然要帮帮助他了看到这里的红色感叹号不禁眉头一皱打开网站不出我所料姹紫嫣红的图片差点闪瞎我的钛合金狗眼几番浏览欣赏后收工大

背景 
</>复制代码 
  1. 本人于周六早上惊醒于翠花的电话轰炸中...

</>复制代码 
  1. 一大早竟然问这么伤脑筋(愚蠢)的问题

</>复制代码 
  1. 本想赶紧打发了 继续我的回笼觉 没想到...
    乐（kou）于（shui）助（zhi）人（liu）的我当然要帮帮助他了！

</>复制代码 
  1. 看到这里的红色感叹号 不禁眉头一皱

</>复制代码 
  1. 打开网站 不出我所料 姹紫嫣红的gif图片差点闪瞎我的钛合金狗眼

几番浏览欣赏后收工大吉

正文开始 所用到的模块

http:创建服务、处理流相关

fs：操作文件及文件夹(读、写)

cheerio：简单粗暴的理解为node界的juquey

先爬来整张网页 
</>复制代码 
  1. 为了该文章正常发出 把翠花提供的链接换成站长之家的链接来演示
</>复制代码 
  1. // 引入所需模块
  2. var http = require("http");
  3. var cheerio = require("cheerio");
  4. var fs = require("fs");
  5. // 定义爬取目标站
  6. var Url = "http://sc.chinaz.com/tupian/"
  7. http.get(Url, function (res) {
  8.   var htmlDate = "";
  9.   // 获取页面数据
  10.   res.on("data", function (chunk) {
  11.     htmlDate += chunk;
  12.   });
  13.   // 数据获取结束
  14.   res.on("end", function () {
  15.     // 过滤出所需的元素
  16.     filterContent(htmlDate);
  17.   });
  18. }).on("error", function () {
  19.   console.log("获取数据出错！");
  20. });
过滤 
</>复制代码 
  1. 分析页面结构 看看哪些是需要的 图片都在#container获取到这个节点

</>复制代码 
  1. 遍历.box 并拿到 a > img 的 src 和 alt

</>复制代码 
  1. // 过滤页面信息
  2. function filterContent(htmlDate) {
  3.   if (htmlDate) {
  4.     var $ = cheerio.load(htmlDate);
  5.     // 得到所需内容
  6.     var Content = $("#container");
  7.     // 存放一会抓来的信息
  8.     var ContentData = [];
  9.     Content.find(".box").each(function (item, b) {
  10.       var pic = $(this);
  11.       // 为什么是src2?  src获取不到 打印了一下发现有src2
  12.       var src = formatUrl(pic.find("a").children("img").attr("src2"));
  13.       var name = formatUrl(pic.find("a").children("img").attr("alt"));
  14.       // 把抓来的信息交给download函数去下载
  15.       download(src, name) 
  16.       // 这里也存一份
  17.       ContentData.push({
  18.         src,
  19.         name
  20.       })
  21.     });
  22.     // 存放了抓取的图片信息
  23.     console.log(ContentData)
  24.   } else {
  25.     console.log("html null");
  26.   }
  27. }

</>复制代码 
  1. 抓取链接都带有_s是缩略图 需要一个方法帮来转换
</>复制代码 
  1. // 或取高清链接
  2. function formatUrl(imgUrl) {
  3.   return imgUrl.replace("_s", "")
  4. }
</>复制代码 
  1. // 图片下载函数
  2. function download(url, name) {
  3.   http.get(url, function (res) {
  4.     let imgData = "";
  5.     //设置图片编码格式
  6.     res.setEncoding("binary");
  7.     //检测请求的数据
  8.     res.on("data", (chunk) => {
  9.       imgData += chunk;
  10.     })
  11.     res.on("end", () => {
  12.         // 没有文件夹则创建 以防报错
  13.       if (!fs.existsSync("./images")) {
  14.         fs.mkdirSync("./images");
  15.       };
  16.       fs.writeFile(`./images/${name}.jpg`, imgData, "binary", (error) => {
  17.         if (error) {
  18.           console.log(error);
  19.         } else {
  20.           console.log(`${name}----下载成功！`)
  21.         }
  22.       })
  23.     })
  24.   })
  25. }
成果展示

最后晒出劳动所得

GPU云服务器 云服务器 webrtc下载码姐姐 怎么下载python并安装 读取服务器文件并下载 node下载

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/109566.html

相关文章

  • 不再羡慕python，nodejs爬虫撸起袖子就是干，爬取宅男女神网大姐姐的高清图片！

    摘要：年前无心工作，上班刷知乎发现一篇分享爬虫的文章。另外携带的数据是用来告诉服务器当前请求是从哪个页面请求过来的。 年前无心工作，上班刷知乎发现一篇分享python爬虫的文章。 感觉他爬取的网站里的妹子都好好看哦，超喜欢这里的，里面个个都是美女。 无小意丶：自我发掘爬虫实战1：宅男女神网妹子图片批量抓取，分类保存到本地和MongoDB数据库 无奈python虽然入门过但太久没用早已荒废，最...

    rubyshen 评论0 收藏0

  • 首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

    摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

    Harriet666 评论0 收藏0

  • 如何用Python抓抖音上的小姐姐

    摘要：比如分钟破译朋友圈测试小游戏文章里用的方法但有些根本就没有提供网页端，比如今年火得不行的抖音。所以常用的方式就是通过在电脑上装一些抓包软件，将手机上的网络请求全部显示出来。总结下，重点是的抓取，关键是配置代理证书，难点是对请求的分析。 爬虫的案例我们已讲得太多。不过几乎都是 网页爬虫 。即使有些手机才能访问的网站，我们也可以通过 Chrome 开发者工具 的 手机模拟 功能来访问，以便...

    FingerLiu 评论0 收藏0

  • 爬虫 - 收藏集 - 掘金

    摘要：在这之前，还是有必要对一些概念超轻量级反爬虫方案后端掘金前言爬虫和反爬虫日益成为每家公司的标配系统。 爬虫修炼之道——从网页中提取结构化数据并保存（以爬取糗百文本板块所有糗事为例） - 后端 - 掘金欢迎大家关注我的专题：爬虫修炼之道 上篇 爬虫修炼之道——编写一个爬取多页面的网络爬虫主要讲解了如何使用python编写一个可以下载多页面的爬虫，如何将相对URL转为绝对URL，如何限速，...

    1fe1se 评论0 收藏0

发表评论

登陆后可评论

0条评论

cloud

男|高级讲师
我要私信

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<