fofa稳定爬虫——可视化

Gu_Yan 发布于2021-11-15 11:37 / 2661人阅读

摘要：前几天在批量测试漏洞，前提是需要有大量的例如教育网站的，但是用了网上一些开源的爬虫后，都不是很理想，有的还需要自己二次开发。

前几天在批量测试漏洞，前提是需要有大量的url（例如教育网站的url），但是用了网上一些开源的爬虫后，都不是很理想，有的还需要自己二次开发。

所以趁着周末，就使用python的pyQT5插件开发一款可视化爬虫软件

目标地址：fofa搜索（主要是页面干净，好用，一次能搜索上万条数据）
防止反爬：

user-agent：设置指定user-agent头或者随机头
ip地址：
1. x-forwarded-for：简单的头ip地址
2. 代理池：牛批的随机更换ip地址（可以支持快代理）
referer：开启同源策略（虽然这个并无卵用，后期准备做批量扫描）
保存/加载配置文件（方便操作）
cookie：很重要，要是想爬上万条数据，会员cookie必须得整一个
页数：内定每页20，输入10，意味着爬取200条

界面如图所示：

麻雀虽小五脏俱全

例如：搜索“edu.cn"
会在当前文件夹内生成edu_ip.txt , edu_url.txt
数据量和稳定性十分可观！

生成的txt文件，可以用于多种用途

软件以打包成exe，可以直接运行

附上下载链接

链接：https://pan.baidu.com/s/1sZTLcXk8Fj7vAe9mr9R5iA
提取码：caso

idc机房托管混合云可视化爬虫可视化爬虫软件爬虫记录限制爬虫

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/123245.html

CVE-2021-41773|CVE-2021-42013——Apache HTTP Server路

摘要：已知此问题已被广泛利用。是为提供网络服务而执行控制台应用或称命令行界面的程序，提供于服务器上实现动态网页的通用协议。影响版本若开启了支持，攻击者可构造恶意请求执行命令，控制服务器。 ...

SolomonXie 2021-11-15 11:37 评论0 收藏0
node.js 爬取招聘信息分析各职业钱途（爬虫+动态IP代理+数据可视化分析）

摘要：成功爬取了拉钩网上多个招聘岗位的具体信息后，数据可视化并得出分析结果如下从整体看，北上广深杭这五个城市前端工程师招聘岗位，北京是遥遥领先，是深圳的两倍，是广州的三倍，其次到上海，深圳，杭州，广州居末。前前言本文首发于 github blog 不想看爬虫过程只想看职位钱途数据分析请看这里：前端招聘岗位分析C++招聘岗位分析JAVA招聘岗位分析PHP招聘岗位分析Python招聘岗位分析...

546669204 2019-08-22 15:57 评论0 收藏0
渗透之信息收集（学习笔记）

摘要：查询方法天眼查备案查询站长之家子域名信息收集子域名也是二级域名，是指顶级域名的域名。也可以用我们可以使用搜索引擎输入或者来搜索的子域名。目录前言一、信息收集方式二、信息收集技术 2.1whois查询 2.2备案信息查询 2.3子域名信息收集 2.4真实IP查询 1.无CDN 2.有...

EsgynChina 2021-09-04 16:46 评论0 收藏0
Hadoop Yarn RPC未授权访问漏洞

摘要：同时由于服务访问控制机制开启方式与不一样，因此即使在有授权认证的情况下，服务所在端口仍然可以未授权访问。建议升级并启用的认证功能，阻止未经授权的访问。 Hadoo...

crossoverJie 2021-11-23 09:51 评论0 收藏0
CVE-2021-41277——Metabase 信息泄露漏洞

摘要：信息泄露漏洞漏洞简介语法漏洞测试漏洞修复漏洞简介是美国公司的一个开源数据分析平台。中存在信息泄露漏洞，该漏洞源于产品的操作缺少权限验证。攻击者可通过该漏洞获得敏感信息。 ...

dongfangyiyu 2021-11-22 09:34 评论0 收藏0