web渗透 | 您所在的位置:网站首页 › 渗透基地有什么用途 › web渗透 |
在web渗透过程中,前期的信息收集时,robots.txt是一个很重要的目录,可以帮助我们查看网站的敏感路径、敏感文件等,对于robots.txt,你知道多少呢? robots.txt是一种协议,用来告诉搜索引擎,哪些文件可以爬取,哪些文件不能爬取。一般而言,搜索引擎都会遵循这个规则(个别与电子商务有关的国人公司除外)。 robots.txt使用介绍 在网站根目录下创建一个文件,取名robots.txt,文件名必须是这个!然后设置里面的规则。 比如我有一个OA办公系统,我要设置不允许任何搜索引擎收录本站。robots.txt中就设置如下两行即可。 User-agent: * Disallow: / 如果要限制不让搜索引擎访问我们后台admin目录,则规则改为: User-agent: * Disallow: /admin/ robots.txt更多的使用规则,不在本文的讨论范围之内。 robots.txt防黑客 像上面的例子中,我们为了让搜索引擎不要收录admin页面而在robots.txt里面做了限制规则。但是这个robots.txt页面,谁都可以看,于是黑客就可以比较清楚的了解网站的结构,比如admin目录啊、include目录啊等等。 有没有办法既可以使用robots.txt的屏蔽搜索引擎访问的功能,又不泄露后台地址和隐私目录的办法呢?有,那就是使用星号(*)作为通配符。举例如下: User-agent: Disallow: /a*/ 这个设置,禁止所有的搜索引擎索引根目录下a开头的目录。当然如果你后台的目录是admin,还是有可以被人猜到,但如果你再把admin改为admmm呢?还有会谁能知道? 总结下,为了不让搜索引擎索引网站的后台目录或其它隐私目录,我们将这些路径在robots.txt文件中禁用了。又为了让robots.txt中的内容不泄露网站的后台和隐私,我们使用星号(*)来修改设置项。最后为了不让黑客猜到真实的路径,我们可以把这些敏感的目录进行非常规的重命名。 |
CopyRight 2018-2019 实验室设备网 版权所有 |