资讯专栏INFORMATION COLUMN

上云采购季！| 2核2G4M爆款云服务器低至59元/年，更有多台、长期优惠，快来选购！

立即前往
首页/文章专栏/Koa2 + Mongo + 爬虫 搭建 小说微信小程序（本地开发篇）---编码时遇到的问题

Koa2 + Mongo + 爬虫 搭建 小说微信小程序（本地开发篇）---编码时遇到的问题

liangdas / 1209人阅读

摘要：更新于利用重构了下此项目，有兴趣的可以参考看看，传送门首先感谢作者的分享，很赞，原文地址这里记录下编码遇到的问题，这里只针对进行了验证。

更新于 2019-01-02

利用 eggjs 重构了下此项目，有兴趣的可以参考看看，传送门

首先感谢作者的分享，很赞~，原文地址

这里记录下编码遇到的问题，这里只针对 sever 进行了验证。有同样遇到问题的童鞋，可以作为参照~

本地环境：

Node: v10.13.0

OS: window 7

npm: 6.4.1

问题一（mongoose相关）

问题描述：DeprecationWarning: collection.ensureIndex is deprecated. Use createIndexes instead.

解决方案：

</>复制代码 
  1. mongoose.connect(config.dbUri, {
  2.   useCreateIndex: true,
  3.   useNewUrlParser: true
  4. })
  5. 或者
  6. mongoose.set("useCreateIndex", true)
  7. mongoose.connect(config.dbUri, { useNewUrlParser: true })

对应的源码文件 kendou-book/book-server/server/database/init.js，涉及修改的代码如下：

</>复制代码 
  1. ...
  2. + var opts = {
  3. +  useCreateIndex: true,
  4. +  useNewUrlParser: true
  5. + };
  6. - mongoose.connect(db);
  7. + mongoose.connect(db, opts);

问题描述：DeprecationWarning: collection.count is deprecated

解决方案：

</>复制代码 
  1. 底层的mongodb驱动程序已弃用.count()方法。您应该使用.estimatedDocumentCount()或.countDocuments()代替。

对应的源码文件 kendou-book/book-server/server/tasks/runninng.js，涉及修改的代码如下：

</>复制代码 
  1. ...
  2.  // 激活爬数据 为下一次服务
  3. await taskBook(item.bookId)
  4. let count = await Chapter.find({
  5.   bookId: item.bookId
  6. - }).count()
  7. + }).countDocuments()

问题二（puppetter 相关）

问题描述：ERROR: Failed to download Chromium r588429! Set "PUPPETEER_SKIP_CHROMIUM_DOWNLOAD" env variable to skip download.

解决方案：

</>复制代码 
  1. vi .npmrc
  2. type puppeteer_download_host = https://npm.taobao.org/mirrors
  3. yarn add puppeteer -D or npm i puppeteer --save-dev

问题描述：(node:19996) UnhandledPromiseRejectionWarning: TimeoutError: Navigation Timeout Exceeded: 30000ms exceeded

解决方案：
对应的源码文件 kendou-book/book-server/server/crawler/book.js，涉及修改的代码如下：

</>复制代码 
  1. ...
  2.  console.log("bookkkk:", browser)
  3.  const page = await browser.newPage()
  4.  await page.goto(url, {
  5.    waitUntil: "networkidle2",
  6. +  timeout: 3000000
  7.  })

对应的源码文件 kendou-book/book-server/server/crawler/chapter.js，涉及修改的代码如下：

</>复制代码 
  1.  ...
  2.   const page = await browser.newPage()
  3.   await page.goto(url, {
  4.     waitUntil: "networkidle2",
  5. +  timeout: 3000000
  6.   })

问题三（源码瑕疵）

问题描述：定义 book 的 schema 的时候，字段（author)拼写错误

解决方案：

对应的源码文件 kendou-book/book-server/server/database/schema/book.js，涉及修改的代码如下：

</>复制代码 
  1. ...
  2. - auhtor: {
  3.   type: String
  4. },
  5. + author: {
  6.   type: String
  7. },

对应的源码文件 kendou-book/book-server/server/crawler/book.js，涉及修改的代码如下：

</>复制代码 
  1. ...
  2. let result = await page.evaluate(() => {
  3.    return {
  4.      headImg: document.querySelector(".story_cover_m62topxs img").getAttribute("src"),
  5.      name: document.querySelector(".info_left_m62topxs h1").innerText,
  6. -      auhtor: document.querySelector(".info_left_m62topxs h2 a").innerText,
  7. +      auhtor: document.querySelector(".info_left_m62topxs h2 a").innerText,
  8.      chapterNum: document.querySelectorAll(".cp_dd_m62topxs").length
  9.    }
  10.  })

参考链接：

mongoose相关

mongoose相关

puppetter安装就踩坑-解决篇

GPU云服务器 云服务器 微信小程序的开发 微信小程序是怎么开发的 怎么开发自己的微信小程序 搭建自己的微信小程序服务器

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/100364.html

相关文章

  • Koa2 + Mongo + 爬虫 搭建 小说微信小程序（本地开发篇）

    摘要：前言根据慕课网实现电影微信公众号前后端开发学习后的改造由于上下班期间会看会小说，但是无奈广告太多，还要收费，于是结合课程，进行开发，并上传到自己的微信小程序。 前言：根据慕课网 Koa2 实现电影微信公众号前后端开发 学习后的改造 由于上下班期间会看会小说，但是无奈广告太多，还要收费，于是结合课程，进行开发，并上传到自己的微信小程序。 showImg(https://segment...

    Kross 评论0 收藏0

  • 2017年1月前端月报

    摘要：平日学习接触过的网站积累，以每月的形式发布。年以前看这个网址概况在线地址前端开发群月报提交原则技术文章新的为主。 平日学习接触过的网站积累，以每月的形式发布。2017年以前看这个网址：http://www.kancloud.cn/jsfron... 概况 在线地址：http://www.kancloud.cn/jsfront/month/82796 JS前端开发群月报 提交原则： 技...

    FuisonDesign 评论0 收藏0

  • 2017年1月前端月报

    摘要：平日学习接触过的网站积累，以每月的形式发布。年以前看这个网址概况在线地址前端开发群月报提交原则技术文章新的为主。 平日学习接触过的网站积累，以每月的形式发布。2017年以前看这个网址：http://www.kancloud.cn/jsfron... 概况 在线地址：http://www.kancloud.cn/jsfront/month/82796 JS前端开发群月报 提交原则： 技...

    ivyzhang 评论0 收藏0

  • 2017年1月前端月报

    摘要：平日学习接触过的网站积累，以每月的形式发布。年以前看这个网址概况在线地址前端开发群月报提交原则技术文章新的为主。 平日学习接触过的网站积累，以每月的形式发布。2017年以前看这个网址：http://www.kancloud.cn/jsfron... 概况 在线地址：http://www.kancloud.cn/jsfront/month/82796 JS前端开发群月报 提交原则： 技...

    CloudwiseAPM 评论0 收藏0

发表评论

登陆后可评论

0条评论

liangdas

男|高级讲师
我要私信

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<