资讯专栏INFORMATION COLUMN

上云采购季！| 2核2G4M爆款云服务器低至59元/年，更有多台、长期优惠，快来选购！

立即前往
首页/文章专栏/爬豆瓣小组中的租房信息(mongo+node+vue)

爬豆瓣小组中的租房信息(mongo+node+vue)

vvpvvp / 1880人阅读

摘要：数目限制应该省略的条数数目限制排序方式函数的参数个数，必须是个，或者个。

基本思路

1.通过node中的 superagent 模拟http请求，去读取豆瓣小组的信息，对读取到的信息通过cheerio插件进行解析格式化以便于获取body中的信息存储到mongodb中

2.因为豆瓣会ban掉一写爬虫ip，所以爬取过程中会使用ip池挑选没有使用过的ip进行代理去爬取，并且会避免并发 使用mapLimit

3.前端界面用vue提供ip选，和筛选结果分页展示，未部署到远程的，本地跑起来涉及到代理，主要在vue.config.js中，然后读取已经存在mongodb中的数据展示在前端

代码实现
目录结构
</>复制代码 
  1. ...
  2. ├── app.js
  3. ├── babel.config.js
  4. ...
  5. ...
  6. ├── server // 服务端代码
  7. │   ├── db.js // 数据库增删改查接口
  8. │   └── urls.js // 目前写了豆瓣小组的url，后续可以考虑手动输入
  9. ├── server.js // 服务端启动文件
  10. ...
  11. ├── src // 前端vue界面入口
  12. │   ├── App.vue
  13. │   ├── api 
  14. │   ├── assets
  15. │   ├── components
  16. │   └── main.js
  17. ├── updatePoxy.js
  18. ├── vue.config.js
node端
</>复制代码 
  1. //  server.js
  2. // 服务启动
  3. // 服务启动
  4. // 服务启动
  5. const express = require("express");
  6. const app = express();
  7. let server = app.listen(2333, "127.0.0.1", function () {
  8.   let host = server.address().address;
  9.   let port = server.address().port;
  10.   console.log("Your App is running at" + host + ":" + port, );
  11. })
  12. // 插件
  13. // 插件
  14. // 插件
  15. const superagent = require("superagent");
  16. const eventproxy = require("eventproxy");
  17. const ipProxy = require("ip-proxy-pool");
  18. const cheerio = require("cheerio");
  19. const async = require("async");
  20. require("superagent-proxy")(superagent);
  21. // 爬虫基本配置，后续可以从界面端传进来
  22. const groups = require("./server/urls") // 租房小组的url,
  23. let page = 1 // 抓取页面数量
  24. let start = 24  // 页面参数拼凑
  25. // 构造爬虫ulr
  26. let ep = new eventproxy()  //  实例化eventproxy
  27. global.db = require("./server/db")
  28. let allLength = 0
  29. groups.map((gp) => {
  30.   gp.pageUrls = [] // 要抓取的页面数组
  31.   allLength = allLength + 1
  32.   for (let i = 0; i < page; i++) {
  33.     allLength = allLength + i
  34.     gp.pageUrls.push({
  35.       url: gp.url + i * start // 构造成类似 https://www.douban.com/group/liwanzufang/discussion?start=0
  36.     });
  37.   }
  38. })
  39. // 接口中部分函数定义
  40. const getPageInfo = (ip, pageItem, callback) => {
  41.   //  设置访问间隔
  42.   console.log("ip", ip)
  43.   let delay = parseInt((Math.random() * 30000000) % 1000, 10)
  44.   let resultBack = {label: pageItem.key, list: []}
  45.   pageItem.pageUrls.forEach(pageUrl => {
  46.     superagent.get(pageUrl.url).proxy(ip)
  47.       // 模拟浏览器
  48.       .set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36")
  49.       //  如果你不乖乖少量爬数据的话，很可能被豆瓣kill掉，这时候需要模拟登录状态才能访问
  50.       .set("Cookie", "")
  51.       .end((err, pres) => {
  52.         if (err || !pres) {
  53.           ep.emit("preparePage", [])
  54.           return
  55.         }
  56.         console.log("pres.text", pres.text)
  57.         let $ = cheerio.load(pres.text) // 将页面数据用cheerio处理，生成一个类jQuery对象
  58.         let itemList = $(".olt tbody").children().slice(1, 26) // 取出table中的每行数据，并过滤掉表格标题
  59.         // 遍历页面中的每条数据
  60.         for (let i = 0; i < itemList.length; i++) {
  61.           let item = itemList.eq(i).children()
  62.           let title = item.eq(0).children("a").text() || "" // 获取标题
  63.           let url = item.eq(0).children("a").attr("href") || "" // 获取详情页链接
  64.           // let author = item.eq(1).children("a").attr("href").replace("https://www.douban.com/people", "").replace(///g, "") || ""  // 获取作者id
  65.           let author = item.eq(1).children("a").text() || "" // 这里改为使用作者昵称而不是id的原因是发现有些中介注册了好多账号，打一枪换个地方。虽然同名也有，但是这么小的数据量下，概率低到忽略不计
  66.           let markSum = item.eq(2).text() // 获取回应数量
  67.           let lastModify = item.eq(3).text() // 获取最后修改时间
  68.           let data = {
  69.             title,
  70.             url,
  71.             author,
  72.             markSum,
  73.             lastModify,
  74.             label: pageItem.key
  75.           }
  76.           resultBack.list.push(data)
  77.         }
  78.         // ep.emit("事件名称", 数据内容)
  79.         console.log("resultBack", resultBack)
  80.         ep.emit("preparePage", resultBack) // 每处理完一条数据，便把这条数据通过preparePage事件发送出去，这里主要是起计数的作用
  81.         setTimeout(() => {
  82.           callback(null, pageItem.url);
  83.         }, delay);
  84.       })
  85.   })
  86. }
  87. function getData(ip, res) {
  88.   //  遍历爬取页面
  89.   async.mapLimit(groups, 1, function (item, callback) {
  90.     getPageInfo(ip, item, callback);
  91.   }, function (err) {
  92.     if (err) {
  93.       console.log(err)
  94.     }
  95.     console.log("抓取完毕")
  96.   });
  97. }
  98. ep.after("preparePage", allLength, function (data, res) {
  99.   // 这里我们传入不想要出现的关键词，用"|"隔开 。比如排除一些位置，排除中介常用短语
  100.   let filterWords = /求组|合租|求租|主卧/
  101.   // 再次遍历抓取到的数据
  102.   let inserTodbList = []
  103.   data.forEach(item => {
  104.     //  这里if的顺序可是有讲究的，合理的排序可以提升程序的效率
  105.     item.list = item.list.filter(() => {
  106.       if (item.markSum > 100) {
  107.         console.log("评论过多，丢弃")
  108.         return false
  109.       }
  110.       if (filterWords.test(item.title)) {
  111.         console.log("标题带有不希望出现的词语")
  112.         console.log("item", item)
  113.         return false
  114.       }
  115.       return true
  116.     })
  117.     inserTodbList.push(...item.list)
  118.   })
  119.   global.db.__insertMany("douban", inserTodbList, function () {
  120.     ep.emit("spiderEnd", {})
  121.   })
  122. });
  123. // 接口
  124. // 接口
  125. // 接口
  126. app.get("/api/getDataFromDouBan", (req, res) => {
  127.   let {ip} = req.query
  128.   getData(ip, res)
  129.   ep.after("spiderEnd", 1, function() {
  130.     res.send({
  131.       data: "爬取结束"
  132.     })
  133.   })
  134. })
  135. // 获取ip
  136. app.get("/api/getIps", (req, res) => {
  137.   async function getIps(callback) {
  138.     let ips = ipProxy.ips
  139.     ips((err,response) => {
  140.       callback(response)
  141.     })
  142.   }
  143.   getIps(function (ipList) {
  144.     res.send({
  145.       msg: "获取成功",
  146.       list: ipList
  147.     })
  148.   })
  149. })
  150. // 更新ip池
  151. app.get("/api/updateIps", (req, res) => {
  152.   ipProxy.run(() => {
  153.     console.log("更新完毕")
  154.   })
  155. })
  156. app.get("/api/doubanList", (req, res) => {
  157.   let {label, page = 1, pageSize = 10} = req.query
  158.   let param = []
  159.   label && label.map((item) => {
  160.     param.push({label: item})
  161.   })
  162.   let queryJson = {
  163.     // $where: "label"
  164.   }
  165.   if (param.length) queryJson["$or"] = param
  166.   global.db.__find("douban", {queryJson, page, pageSize}, function (data) {
  167.     res.send({
  168.       msg: "获取成功",
  169.       ...data
  170.     })
  171.   })
  172. })
db.js
</>复制代码 
  1. // db.js
  2. /**
  3.  *  数据库封装
  4.  * 
  5.  */
  6. var MongodbClient = require("mongodb").MongoClient
  7. var assert = require("assert")
  8. var url = "mongodb://localhost:27017";
  9. /**
  10.  * 连接数据库
  11.  */
  12. function __connectDB(callback) {
  13.   MongodbClient.connect(url, function (err, client) {
  14.     let db = client.db("zufangzi")
  15.     callback(err, db, client)
  16.   })
  17. }
  18. /**
  19.  * 插入一条数据
  20.  * @param {*} collectionName 集合名
  21.  * @param {*} Datajson 写入的json数据
  22.  * @param {*} callback 回调函数
  23.  */
  24. function __insertOne(collectionName, Datajson, callback) {
  25.   __connectDB(function (err, db, client) {
  26.     var collection = db.collection(collectionName);
  27.     collection.insertOne(Datajson, function (err, result) {
  28.       callback(err, result); // 通过回调函数上传数据
  29.       client.close();
  30.     })
  31.   })
  32. }
  33. /**
  34.  * 插入多条数据
  35.  * @param {*} collectionName 集合名
  36.  * @param {*} Datajson 写入的json数据
  37.  * @param {*} callback 回调函数
  38.  */
  39. function __insertMany(collectionName, Datajson, callback) {
  40.   __connectDB(function (err, db, client) {
  41.     var collection = db.collection(collectionName);
  42.     collection.insertMany(Datajson, function (err, result) {
  43.       callback(err, result); // 通过回调函数上传数据
  44.       client.close();
  45.     })
  46.   })
  47. }
  48. /**
  49.  * 查找数据
  50.  * @param {*} collectionName 集合名
  51.  * @param {*} Datajson 查询条件
  52.  * @param {*} callback 回调函数
  53.  */
  54. function __find(collectionName, {queryJson, page, pageSize}, callback) {
  55.   var result = [];
  56.   if (arguments.length != 3) {
  57.     callback("find函数必须传入三个参数哦", null)
  58.     return
  59.   }
  60.   __connectDB(async function (err, db, client) {
  61.     var cursor = db.collection(collectionName).find(queryJson).skip((page - 1) * pageSize).limit(10);
  62.     let total = await cursor.count()
  63.     if (!err) {
  64.       await cursor.forEach(function (doc) {
  65.         // 如果出错了，那么下面的也将不会执行了
  66.         // console.log("doc", doc)
  67.         if (doc != null) {
  68.           result.push(doc)
  69.         }
  70.       })
  71.       callback({list: result, total})
  72.     }
  73.     client.close();
  74.   })
  75. }
  76. /**
  77.  * 
  78.  * 删除数据（删除满足条件的所有数据哦）
  79.  * @param {*} collectionName 集合名
  80.  * @param {*} json 查询的json数据
  81.  * @param {*} callback 回调函数
  82.  */
  83. function __DeleteMany(collectionName, json, callback) {
  84.   __connectDB(function (err, db, client) {
  85.     assert.equal(err, null)
  86.     //删除
  87.     db.collection(collectionName).deleteMany(
  88.       json,
  89.       function (err, results) {
  90.         assert.equal(err, null)
  91.         callback(err, results);
  92.         client.close(); //关闭数据库
  93.       }
  94.     );
  95.   });
  96. }
  97. /**
  98.  * 修改数据
  99.  * @param {*} collectionName 集合名
  100.  * @param {*} json1 查询的对象
  101.  * @param {*} json2 修改
  102.  * @param {*} callback 回调函数
  103.  */
  104. function __updateMany(collectionName, json1, json2, callback) {
  105.   __connectDB(function (err, db, client) {
  106.     assert.equal(err, null)
  107.     db.collection(collectionName).updateMany(
  108.       json1,
  109.       json2,
  110.       function (err, results) {
  111.         assert.equal(err, null)
  112.         callback(err, results)
  113.         client.close()
  114.       }
  115.     )
  116.   })
  117. }
  118. /**
  119.  * 获取总数
  120.  * @param {*} collectionName 集合名
  121.  * @param {*} json 查询条件
  122.  * @param {*} callback 回调函数
  123.  */
  124. function __getCount(collectionName, json, callback) {
  125.   __connectDB(function (err, db, client) {
  126.     db.collection(collectionName).count(json).then(function (count) {
  127.       callback(count)
  128.       client.close();
  129.     })
  130.   })
  131. }
  132. /**
  133.  * 分页查找数据
  134.  * @param {*} collectionName 集合名
  135.  * @param {*} JsonObj 查询条件
  136.  * @param {*} C 【可选】传入的参数，每页的个数、显示第几页
  137.  * @param {*} C  callback
  138.  */
  139. function __findByPage(collectionName, JsonObj, C, D) {
  140.   var result = []; //结果数组
  141.   if (arguments.length == 3) {
  142.       //那么参数C就是callback，参数D没有传。
  143.       var callback = C;
  144.       var skipnumber = 0;
  145.       //数目限制
  146.       var limit = 0;
  147.   } else if (arguments.length == 4) {
  148.       var callback = D;
  149.       var args = C;
  150.       //应该省略的条数
  151.       var skipnumber = args.pageamount * args.page || 0;
  152.       //数目限制
  153.       var limit = args.pageamount || 0;
  154.       //排序方式
  155.       var sort = args.sort || {};
  156.   } else {
  157.       throw new Error("find函数的参数个数，必须是3个，或者4个。");
  158.       return;
  159.   }
  160.   //连接数据库，连接之后查找所有
  161.   __connectDB(function (err, db, client) {
  162.       var cursor = db.collection(collectionName).find(JsonObj).skip(skipnumber).limit(limit).sort(sort);
  163.       cursor.each(function (err, doc) {
  164.           if (err) {
  165.               callback(err, null);
  166.               client.close(); //关闭数据库
  167.               return;
  168.           }
  169.           if (doc != null) {
  170.               result.push(doc); //放入结果数组
  171.           } else {
  172.               //遍历结束，没有更多的文档了
  173.               callback(null, result);
  174.               client.close(); //关闭数据库
  175.           }
  176.       });
  177.   });
  178. }
  179. module.exports = {
  180.   __connectDB,
  181.   __insertOne,
  182.   __insertMany,
  183.   __find,
  184.   __DeleteMany,
  185.   __updateMany,
  186.   __getCount,
  187.   __findByPage
  188. }
接口
</>复制代码 
  1. const axios = require("axios");
  2. export const getHousData = async (arg = {}) => {
  3.   // 从数据库中获取已经爬取到的数据
  4.   let respones = await axios.get("/api/doubanList", {
  5.     params: arg
  6.   })
  7.   return respones.data
  8. }
  9. export const spiderData = async (arg = {}) => {
  10.   // 向爬取数据
  11.   let respones = await axios.get("/api/getDataFromDouBan/", {
  12.     params: arg
  13.   })
  14.   return respones.data
  15. }
  16.  
  17. export const updateIps = async (arg = {}) => {
  18.   // 更新ip池
  19.   let respones = await axios.get("/api/updateIps/", {
  20.     params: arg
  21.   })
  22.   return respones.data
  23. }
  24.  
  25. export const getIps = async (arg = {}) => {
  26.   // 获取ip池
  27.   let respones = await axios.get("/api/getIps/", {
  28.     params: arg
  29.   })
  30.   return respones.data
  31. }
  32.
项目启动

1.命令行中启动mongodb 输入：mongod,未安装的需要自行安装

2.命令行中输入 yarn dev启动本地前端项目

3.命令行中输入 nodemon server.js 启动后端项目

项目地址
云服务器 GPU云服务器 豆瓣怎么创建小组 租房信息 gbt小组 python小组

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/106084.html

相关文章

  • 作为前端，如何帮帝都的朋友租到合适的房子

    摘要：前后翻几页我们不难发现，豆瓣是利用后面的参数来实现分页的。最后我们打开看一看效果吧，标红的是回复数量，点击标题可以直接跳转到豆瓣对应的页面。   在帝都打拼的小伙伴都知道，要租个合适的房子真心不易。中介要收一个月的房租作为中介费。而且很多黑中介打着租房的旗号各种坑蒙拐骗。要想在茫茫帖子中找到真正的房东，宛如大海捞针，同时需要和各路黑中介斗智斗勇。接下来就讲讲我浴血奋战的故事。   那么...

    pubdreamcc 评论0 收藏0

  • 作为前端，如何帮帝都的朋友租到合适的房子

    摘要：前后翻几页我们不难发现，豆瓣是利用后面的参数来实现分页的。最后我们打开看一看效果吧，标红的是回复数量，点击标题可以直接跳转到豆瓣对应的页面。   在帝都打拼的小伙伴都知道，要租个合适的房子真心不易。中介要收一个月的房租作为中介费。而且很多黑中介打着租房的旗号各种坑蒙拐骗。要想在茫茫帖子中找到真正的房东，宛如大海捞针，同时需要和各路黑中介斗智斗勇。接下来就讲讲我浴血奋战的故事。   那么...

    xiaolinbang 评论0 收藏0

  • 前方来报，八月最新资讯--关于vue2&3的最佳文章推荐

    摘要：哪吒别人的看法都是狗屁，你是谁只有你自己说了才算，这是爹教我的道理。哪吒去他个鸟命我命由我，不由天是魔是仙，我自己决定哪吒白白搭上一条人命，你傻不傻敖丙不傻谁和你做朋友太乙真人人是否能够改变命运，我不晓得。我只晓得，不认命是哪吒的命。 showImg(https://segmentfault.com/img/bVbwiGL?w=900&h=378); 出处 查看github最新的Vue...

    izhuhaodev 评论0 收藏0

  • 23个Python爬虫开源项目代码，包含微信、淘宝、豆瓣、知乎、微博等

    摘要：今天为大家整理了个爬虫项目。地址新浪微博爬虫主要爬取新浪微博用户的个人信息微博信息粉丝和关注。代码获取新浪微博进行登录，可通过多账号登录来防止新浪的反扒。涵盖链家爬虫一文的全部代码，包括链家模拟登录代码。支持微博知乎豆瓣。 showImg(https://segmentfault.com/img/remote/1460000018452185?w=1000&h=667); 今天为大家整...

    jlanglang 评论0 收藏0

  • scrapy入门教程——爬取豆瓣电影Top250！

    摘要：注意爬豆爬一定要加入选项，因为只要解析到网站的有，就会自动进行过滤处理，把处理结果分配到相应的类别，但偏偏豆瓣里面的为空不需要分配，所以一定要关掉这个选项。 本课只针对python3环境下的Scrapy版本（即scrapy1.3+） 选取什么网站来爬取呢？ 对于歪果人，上手练scrapy爬虫的网站一般是官方练手网站 http://quotes.toscrape.com 我们中国人，当然...

    senntyou 评论0 收藏0

发表评论

登陆后可评论

0条评论

vvpvvp

男|高级讲师
我要私信

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<