XXL-CRAWLER v1.2.1 发布了

keithyau 发布于2019-08-16 11:02 / 743人阅读

摘要：版本新特性渲染支持渲染方式采集数据，可参考爬虫示例抽象并设计，方便自定义和扩展页面加载逻辑，如渲染等。默认提供单机版爬虫。渲染通过扩展模块，支持采集动态渲染数据。原生提供快速推荐和较慢渲染两种实现，支持自由扩展其他实现。

版本新特性

1、JS渲染：支持JS渲染方式采集数据，可参考 "爬虫示例6"；

2、抽象并设计PageLoader，方便自定义和扩展页面加载逻辑，如JS渲染等。底层提供 "JsoupPageLoader(默认/推荐)"，"HtmlUnitPageLoader"两种实现，可自定义其他类型PageLoader如 "Selenium" 等；

3、修复Jsoup默认加载1M的限制；

4、爬虫线程中断处理优化；

简介

XXL-CRAWLER 是一个面向对象的分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性；

特性

1、简洁：API直观简洁，可快速上手；

2、轻量级：底层实现仅强依赖jsoup，简洁高效；

3、模块化：模块化的结构设计，可轻松扩展

4、面向对象：支持通过注解，方便的映射页面数据到PageVO对象，底层自动完成PageVO对象的数据抽取和封装返回；单个页面支持抽取一个或多个PageVO

5、多线程：线程池方式运行，提高采集效率；

6、分布式支持：通过扩展 "RunData" 模块，并结合Redis或DB共享运行数据可实现分布式。默认提供LocalRunData单机版爬虫。

7、JS渲染：通过扩展 "PageLoader" 模块，支持采集JS动态渲染数据。原生提供Jsoup(快速、推荐)和HtmlUnit(较慢、JS渲染)两种实现，支持自由扩展其他实现。

8、失败重试：请求失败后重试，并支持设置重试次数；

9、代理IP：对抗反采集策略规则WAF；

10、动态代理：支持运行时动态调整代理池，以及自定义代理池路由策略；

11、异步：支持同步、异步两种方式运行；

12、扩散全站：支持以现有URL为起点扩散爬取整站；

13、去重：防止重复爬取；

14、URL白名单：支持设置页面白名单正则，过滤URL；

15、自定义请求信息，如：请求参数、Cookie、Header、UserAgent轮询、Referrer等；

16、动态参数：支持运行时动态调整请求参数；

17、超时控制：支持设置爬虫请求的超时时间；

18、主动停顿：爬虫线程处理完页面之后进行主动停顿，避免过于频繁被拦截；

文档地址

中文文档

技术交流

社区交流

idc机房托管服务器托管发布了买了云服务器怎么发布项目蓝绿发布 vs 灰度发布灰度发布和不停机发布

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/70931.html

面向对象的分布式爬虫框架XXL-CRAWLER

摘要：面向对象的分布式爬虫框架一简介概述是一个面向对象的分布式爬虫框架。分布式集群集群方式维护爬虫爬虫运行数据，可通过或定制实现。《面向对象的分布式爬虫框架XXL-CRAWLER》 showImg(https://segmentfault.com/img/remote/1460000011842697);showImg(https://segmentfault.com/img/remote...

anquan 2019-08-15 12:27 评论0 收藏0
XXL-CRAWLER v1.2.2 发布，分布式爬虫框架

摘要：新特性系统底层重构，规范包名采集线程白名单过滤优化，避免冗余失败重试增强渲染方式采集能力，原生新提供，支持以方式采集页面数据支持采集非页面，如接口等，直接输出响应数据选择即可简介是一个分布式爬虫框架。默认提供单机版爬虫。 v1.2.2 新特性 1、系统底层重构，规范包名； 2、采集线程白名单过滤优化，避免冗余失败重试； 3、增强JS渲染方式采集能力，原生新提供 SeleniumPha...

zhaofeihao 2019-08-16 13:29 评论0 收藏0
安装与配置Flutter开发环境

摘要：本文我们就来介绍在系统下安装与配置开发环境，并且运行我们的第一个应用为了的安装配置顺利，请。安装完成后重启。另外还需要安装配置开发环境和开发环境。这篇博客我们介绍了Flutter，并且对比了H5，React Native，Flutter。由于Flutter是跨平台的开发框架，开发一次可以同时运行在Android和iOS上面，所以我们开发时最好使用Mac系统，这样我们可以同时测试两个平台的运...

enrecul101 2019-04-23 15:09 评论0 收藏0
无人值守时代，运维如何保障发布质量？

摘要：导读阿里巴巴千亿交易背后，如何尽量避免发布故障在面对实际运维过程中遇到的问题该如何解决近日，在大会上，阿里巴巴运维技术专家少荃，给我们带来了解决方案和思路。在阿里，这些屏幕包括监控发布单机器故障预警等。导读：阿里巴巴千亿交易背后，如何尽量避免发布故障？在面对实际运维过程中遇到的问题该如何解决？近日，在GOPS大会上，阿里巴巴运维技术专家少荃，给我们带来了解决方案和思路。 showIm...

Yu_Huang 2019-05-28 17:06 评论0 收藏0
无人值守时代，运维如何保障发布质量？

摘要：导读阿里巴巴千亿交易背后，如何尽量避免发布故障在面对实际运维过程中遇到的问题该如何解决近日，在大会上，阿里巴巴运维技术专家少荃，给我们带来了解决方案和思路。在阿里，这些屏幕包括监控发布单机器故障预警等。导读：阿里巴巴千亿交易背后，如何尽量避免发布故障？在面对实际运维过程中遇到的问题该如何解决？近日，在GOPS大会上，阿里巴巴运维技术专家少荃，给我们带来了解决方案和思路。 showIm...

2501207950 2019-07-16 16:33 评论0 收藏0