使用php+phantomjs构建一只简单爬虫的开发思路

liangdas 发布于2019-06-28 13:42 / 1475人阅读

摘要：唠叨最近频繁的给客户做采集功能既然代码无法公布所以一直想写个思路类的文章既然是简单的爬虫那么一切自然以简单为原则能少用的都少用比如和这两个神兵利器就被我省略了打造这只虫子就像是樵夫砍柴一般该磨刀还是要磨刀远观拜拜山头对象站点国内知名电商平台

唠叨:

最近频繁的给客户做采集功能,既然代码无法公布,所以一直想写个思路类的文章.
既然是简单的爬虫,那么一切自然以简单为原则,能少用的都少用,比如python和Redis这两个神兵利器就被我省略了.
打造这只虫子就像是樵夫砍柴一般,该磨刀还是要磨刀.

远观:

拜拜山头

对象站点:国内知名电商平台如蘑菇街,唯品会等.
实现需求:站群模式可将对方店铺或商品采集根据指定接口分发数据,并过滤指定关键字及自定义商品售价

磨刀:

利刃在手

1.安装=无头浏览器phantomjs,类似的无头浏览器或者在他们基础上衍生的东西有很多,但phantomjs基本上可以满足需求,用法也简单,所以本次就选用它了.
2.安装=多线程扩展pthreads,由于python和Redis对于一些phper而言增加了学习成本(话说现在会php的不懂他两的应该很少了吧),由于phantomjs从加载到渲染是比较慢的,为了提高效率,我们需要用到多线程.

上山:

山里事儿多

1.随机代理:因为采集是全自动化的,需要不断的访问被爬的站点,为了防止被屏蔽,从代理站抓一些IP来掩饰是不错的方法.
2.URL自动增补:有些网站页面的的url用的相对路径,所以补全是必备的.
3.深度控制:例如采集商品的时候很容易因为关联商品而陷入无止境的挖掘
4.任务分布:虽然没有用到Redis,本次的采集需要将任务下发给其余站点
5.内容过滤:现在比较头疼的是一些商城或店铺有水印,这个暂时无解.

砍柴:

由于本次采集在创建任务时已经预设了采集对象,例如按店采集,按商品采集.所以开头的第一步就省略了.

混合云服务器托管简单php爬虫程序简单的爬虫简单的爬虫程序最简单的爬虫

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/25818.html

精通Python网络爬虫(0):网络爬虫学习路线

摘要：以上是如果你想精通网络爬虫的学习研究路线，按照这些步骤学习下去，可以让你的爬虫技术得到非常大的提升。作者：韦玮转载请注明出处随着大数据时代的到来，人们对数据资源的需求越来越多，而爬虫是一种很好的自动采集数据的手段。那么，如何才能精通Python网络爬虫呢？学习Python网络爬虫的路线应该如何进行呢？在此为大家具体进行介绍。 1、选择一款合适的编程语言事实上，Python、P...

spacewander 2019-07-30 14:17 评论0 收藏0
超详细的Python实现新浪微博模拟登陆(小白都能懂)

摘要：可能有的老手觉得我写得很啰嗦，但其实很多新手可能都不知道这些细节，所以我把我在分析新浪微博模拟登陆的过程全写了出来。这篇文章于去年4月发布在我的简书，现在把它放到这里，主要是为了宣传自己的分布式微博爬虫。下面是主要内容，希望能帮到有这个需求的朋友最近由于需要一直在研究微博的爬虫，第一步便是模拟登陆，从开始摸索到走通模拟登陆这条路其实还是挺艰难的，需要一定的经验，为了让朋友们以后少...

Aldous 2019-07-31 10:56 评论0 收藏0
【Sasila】一个简单易用的爬虫框架

摘要：所以我模仿这些爬虫框架的优势，以尽量简单的原则，搭配实际上是开发了这套轻量级爬虫框架。将下载器，解析器，调度器，数据处理器注入核心成为对象。提供对爬虫进行管理监控。每个脚本被认为是一个，确定一个任务。现在有很多爬虫框架，比如scrapy、webmagic、pyspider都可以在爬虫工作中使用，也可以直接通过requests+beautifulsoup来写一些个性化的小型爬虫脚本...

yacheng 2019-07-30 14:18 评论0 收藏0
Python网页信息采集：使用PhantomJS采集淘宝天猫商品内容

摘要：，引言最近一直在看爬虫框架，并尝试使用框架写一个可以实现网页信息采集的简单的小程序。本文主要介绍如何使用结合采集天猫商品内容，文中自定义了一个，用来采集需要加载的动态网页内容。 showImg(https://segmentfault.com/img/bVyMnP); 1，引言最近一直在看Scrapy 爬虫框架，并尝试使用Scrapy框架写一个可以实现网页信息采集的简单的小程序。尝试...

z2xy 2019-07-25 10:35 评论0 收藏0
本命年一定要记得穿红裤衩：2015年总结

摘要：年终总结结果到这个时间才写，其实也是无奈。这一年最重要的事情就是顺利从一只学生狗转职为一只社畜。四月份毕业之后以前端工程师的职位入职天猫，到现在也差不多工作一年了。年终总结结果到这个时间才写，其实也是无奈。本来计划过年写的，没想到Steam竟然开了个农历春节特惠，然后就被各种游戏打了，辣鸡平台，敛我钱财，颓我精神，耗我青春，害我单身以下全都是个人看法，如果有不认同的地方，请大吼一声...

AlienZHOU 2019-08-19 17:38 评论0 收藏0