摘要：二协议简介什么是协议协议全称是，翻译成中文就是网络爬虫排除协议，别名爬虫协议，机器人协议等。协议代表一种网站的根目录契约精神，所有网站都应该遵守这一约定，以保证网站以及用户的隐私数据不被泄露。
隔壁大娘看着光秃秃的菜园彻底呆住了，冲到狗剩家门口骂了三天三夜，丝毫没有要走的意思，狗剩忍无可忍，拿出电脑在大娘的农场搜索了好久，竟然找到了大娘私藏的照片。
狗剩：大娘，您跟隔壁王叔。。。
相信很多朋友都接到过【骚扰电话】，有卖房子的，有带宽的，还有推销动作电影的（手动捂脸），虽然很多时候来电显示会标明骚扰电话，但大家有没有想过，我们的私人信息是怎么被他们拿到的呢？如果只是单纯的骚扰电话还好，一旦不法分子利用我们的隐私数据进行【诈骗】，后果将不堪设想。
用户隐私数据泄露的途径有很多，归根结底都是利用了网站存在的一些漏洞，网站的漏洞可谓是五花八门，本期就跟大家分享一下【Robots协议漏洞】导致的用户隐私数据泄露。
Robots协议全称是Robots Exclusion Standard，翻译成中文就是【网络爬虫排除协议】，别名：爬虫协议，机器人协议等。 Robots协议依靠 robots.txt 文件来【制定爬虫访问的规则】，其本质上是一个文本文件，这个文本文件规定了网站中哪些内容可被爬取，哪些内容不可以被爬取。
需要注意的是，robots.txt必须放在 网站的根目录 下，并且文件的名字必须全部小写
我们平时在百度上搜索的内容，实际上是百度的 【搜索引擎】 利用 【网络爬虫】 爬取到的内容，当爬虫访问一个站点的时候，首先会检查站点的根目录下是否存在robots.txt文件，
如果存在这个文件，爬虫就会 按照文件中的规则来确定访问的内容 ；
如果没有这个文件，爬虫 默认能够访问网站上的所有内容
出于 【网络安全】 的考虑，每个网站都需要设置自己的Robots协议规则，来表明哪些内容愿意被搜索引擎收录，哪些内容禁止被爬取。Robots协议代表一种 网站的根目录 契约精神，所有网站都应该遵守这一约定，以保证网站以及用户的隐私数据不被泄露。
我们就拿平时最常用的百度来举例，这种大型的正规网站肯定会使用Robots协议，首先我们输入 www.baidu.com，进入百度的首页
接下来，我们在地址栏中追加输入 /robots.txt
因为robots.txt必须放在网站的根目录下，所以我们直接在域名后面输入文件名就可以了，这个操作本质上是访问 robots.txt这个文件，由于是纯文本文件，所以访问时不会执行文件，而会展示文件中的内容（如果是程序文件则会执行文件中的代码，而不是展示文件内容）
Robots协议的内容需要写在robots.txt文件中，格式是： 【协议头】：【空格】【协议头内容】，常见的协议头有以下几个
比如，禁止百度的爬虫爬取网站指定目录可以这样写
网站通常会采用【黑名单】的方式来标明禁止爬取的内容，而没有标明是否可以爬取的内容默认可以被爬取
爬虫协议的主要作用是规定 哪些文件不能被爬虫爬取 ，不希望被爬取的文件大致有两种可能：一种是 【无意义的文件】，禁止JS、CSS、图片等资源型文件，这种文件即使被爬取了也没有任何意义，禁止被爬取反而可以节省服务器的资源；还有一种就是 【敏感文件】，这也是采用Robots协议的主要目的，网站出于对安全和隐私的考虑，会禁止一些敏感文件被被浏览器爬取；
需要注意的是： 【不能被爬取不代表不能被访问！】，网站在禁止访问的路径中标识了不希望被访问的敏感文件，殊不知，这一操作变相的告诉了用户敏感文件的所在位置，用户根据路径访问敏感文件即可获取网站的敏感数据。比如访问配置文件，查看配置文件的内容，根据网站的不当配置进行漏洞利用；或者在日志文件中传入一句话木马，访问日志文件来连接网站后门，获取网站权限等等。利用这些漏洞（为了能过审，这里就不进行实际的演示了），非法用户可以轻易的获取数据库中的信息，包括 用户的手机号，家庭住址，购物信息等敏感信息，从而进行电话骚扰，甚至是诈骗！
Robots协议本是用来保护网站和用户隐私数据的准则，但总有一些 【年轻人不讲武德】，反向利用防护规则来窃取用户隐私数据。虽然网络安全的圈子不乏各种灰产，以及高调宣传自己是黑客的脚本小子，但不可否认，这个圈子仍有不少人保持着 【举世皆浊我独清，众人皆醉我独醒】的心态，努力磨砺技术，提升自身修养，让互联网变得更加安全。
本期内容旨在提高大家的网络安全意识，动歪脑筋的同学请在心里默念三遍 【我国有一部完整且历史悠久的法律】！
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/121747.html
摘要：网络黑白一书所抄袭的文章列表这本书实在是垃圾，一是因为它的互联网上的文章拼凑而成的，二是因为拼凑水平太差，连表述都一模一样，还抄得前言不搭后语，三是因为内容全都是大量的科普，不涉及技术也没有干货。 《网络黑白》一书所抄袭的文章列表 这本书实在是垃圾，一是因为它的互联网上的文章拼凑而成的，二是因为拼凑水平太差，连表述都一模一样，还抄得前言不搭后语，三是因为内容全都是大量的科普，不涉及技术...
摘要：前言基于个操作系统的靶场提供镜像，讲解从只有一一个到最终拿下机器权限的全流程。用的是黑客惯用的破坏攻击的方法，行的却是维护安全之事。因此国家给白帽黑客赋予一个专业名称安全渗透工程师。 ...
摘要：上个月，上海警方抓捕了一个利用网上银行漏洞非法获利的犯罪团伙，该团伙利用银行漏洞非法获利多万元。目前，警方已将方某某邓某某等名犯罪嫌疑人依法刑事拘留，并敦促涉案银行完成了安全漏洞的修复。 上个月，上海警方抓捕了一个利用网上银行漏洞非法获利的犯罪团伙，该团伙利用银行App漏洞非法获利2800多万元。 据悉，该团伙使用技术软件成倍放大定期存单金额，从而非法获利。理财邦的一篇文章分析了犯罪嫌...
摘要：企业不论规模大小，都应该重视网站安全，尤其是中小型企业如遇黑客攻击可能会付出沉重代价，所以各大企业均需未雨绸缪，提前做好网站的安全防护工作，部署证书为您的网站加上安全保护伞。60%中小企业因网站漏洞导致业务中断 在《网站安全和威胁报告》中，Sectigo 对1100多家中小型企业的网站站长进行了调查，发现很多企业并不认为他们容易遭到黑客攻击，48%的受访者表示他们的企业规模太小不会成为...
摘要：小时起大型数据泄露事件波及全球用户近亿近期，数据泄露事件日益增多，量级令人触目惊心。万豪事件尚未平息，社交问答网站数据泄露事件接踵而来。 整个2018年，数据泄露成为整个互联网圈最热度的话题之一，6月13日，AcFun遭不法黑客攻击，致使近千万条用户数据外泄; 11月30日，万豪旗下喜达屋酒店5亿用户隐私信息遭遇外泄;仅四天后，美国知名问答社区Quora官方发布公告称，1亿用户数据受不...
阅读 1258·2023-04-25 16:31
阅读 1858·2021-11-24 10:33
阅读 1938·2021-10-08 10:04
阅读 3920·2021-10-08 10:04
阅读 2602·2021-09-23 11:33
阅读 2317·2021-09-23 11:31
阅读 2650·2021-09-08 09:45
阅读 2152·2021-09-06 15:02
