实用的开源百度云分享爬虫项目yunshare - 安装篇

lei___ 发布于2019-08-20 12:25 / 3356人阅读

摘要：今天开源了一个百度云网盘爬虫项目，地址是。推荐使用命令安装依赖，最简单的安装方式更多安装的命令可以去上面找。启动项目使用进行进程管理，运行启动所有的后台任务，检查任务是否正常运行可以用命令，正常运行的应该有个任务。

今天开源了一个百度云网盘爬虫项目，地址是https://github.com/callmelanmao/yunshare。

百度云分享爬虫项目

github上有好几个这样的开源项目，但是都只提供了爬虫部分，这个项目在爬虫的基础上还增加了保存数据，建立elasticsearch索引的模块，可以用在实际生产环境中，不过web模块还是需要自己开发

安装

安装node.js和pm2，node用来运行爬虫程序和索引程序，pm2用来管理node任务

安装mysql和mongodb，mysql用来保存爬虫数据，mongodb用来保存最终的百度云分享数据，这些数据是json格式的，用mongodb保存更方便。

git clone https://github.com/callmelanmao/yunshare
cnpm i

推荐使用cnpm命令安装npm依赖，最简单的安装方式

$ npm install -g cnpm --registry=https://registry.npm.taobao.org

更多安装cnpm的命令可以去npm.taobao.org上面找。

初始化

爬虫数据（主要是url列表）都是保存在mysql数据库的，yunshare使用sequelizejs做orm映射，源文件在src/models/index.js，默认的mysql用户名和密码都是root，数据看是yun，你需要手动创建yun数据库

create database yun default charset utf8

密码根据自己需要进行修改，完成mysql配置之后就可以运行下面的命令

gulp babel
node dist/init.js

注意必须先运行gulp babel把es6代码编译成es5，然后运行初始化脚本导入初始数据，数据文件在data/hot.json，里面，是从页面 http://yun.baidu.com/pcloud/f... 保存下来的。

启动项目

yunshare使用pm2进行nodejs进程管理，运行pm2 start process.json启动所有的后台任务，检查任务是否正常运行可以用命令pm2 list，正常运行的应该有4个任务。

启动elasticsearch索引

elasticsearch索引程序也已经写好了，mapping文件在data/mapping.json，请确保你已经安装elasticsearch 5.0的版本之后才运行索引程序，命令pm2 start dist/elastic.js。

默认的elasticsearch地址是http://localhost:9200，如果你需要修改这个地址，可以在src/ElasticWorker.js里面修改，修改任何js源码之后记得运行gulp babel，在重启pm2任务，不然修改是不会生效的。

在完成elasticsearch配置之后，你也可以在process.json里面添加一项elastic任务，这样就不需要多带带启动索引程序了。

DEMO

网盘搜索

下一篇接着介绍整个项目的整体设计思路和开发过程中遇到的问题。

私有云混合云 webrtc的开源项目基于webrtc的开源项目开源的项目管理软件图像识别方面的开源项目

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/80973.html

PHP相关

摘要：的机器学习库的机器学习库，包括算法交叉验证神经网络等内容。在即将到来的大会上，她将和大家分享在机器学习领域的全新可能。入门总结入门相关，如安装配置基本使用等。基于 Swoole 开发 PHP 扩展 Swoole-1.9.7 增加了一个新特性，可以基于 Swoole 使用 C++ 语言开发扩展模块，在扩展模块中可以注册 PHP 内置函数和类。现在可以基于 Swoole 来编写 PHP ...

lewinlee 2019-06-28 14:39 评论0 收藏0
SegmentFault 助力 PyCon2014 China

摘要：月日，助力在北京举办全球最盛大的年度聚会，国内外顶尖的工程师做了很精彩的分享和互动，现场多名爱好者参与了此次技术主题盛宴。后续会有更多现场照片持续更新 11月15日，SegmentFault 助力PyCon China 在北京举办全球 Pythoneer 最盛大的年度聚会，国内外顶尖的Python 工程师做了很精彩的分享和互动，现场300多名python爱好者参与了此次技术主题盛宴。 ...

junbaor 2019-07-24 17:49 评论0 收藏0
我在全球最大的同性社交平台那点事

摘要：从最大的同性社交平台获取数据好了，言归正传，回到题目。乌云密布的爬虫百度网盘这件事，是我不想看到的，这类安全问题的一个共同特点用户自身确实存在问题。本文作者：夏之冰雪，i春秋签约作家《我在百度网盘上看到上万条车主个人信息,企业、政府高官信息、各种数据库和无穷无尽的盗版》，一时间，这篇文章就火了，火爆程度另百度猝不及防。其实呢，这事真不能全怪百度，毕竟用户分享出去了。之所以引起这么...

AlphaWatch 2019-06-21 16:36 评论0 收藏0
首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0