当前时区为 UTC + 8 小时



发表新帖 回复这个主题  [ 3 篇帖子 ] 
作者 内容
1 楼 
 文章标题 : 利用robots.txt文件查找网站后台界面
帖子发表于 : 2010-01-13 9:35 
头像

注册: 2009-11-06 11:24
帖子: 141
送出感谢: 0 次
接收感谢: 0 次
什么是robots.txt文件?

搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。

# robots.txt文件放在哪里?

robots.txt 文件应该放在网站根目录下。举例来说,当robots访问一个网站(比如http://www.gcshome.cn)时,首先会检查该 网站中是否存在 http://www.gcshome.cn/robots.txt这个文件,如果机器人找到这个文件,它就会根据这个文件的内容,来确 定它访问权限的范围。

# robots.txt文件的格式

"robots.txt"文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
"<field>:<optionalspace><value><optionalspace>"。

在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow行,详细情况如下:

User-agent:
该项的值用于描述搜索引擎robot的名字,在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到该协 议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在"robots.txt"文件中, "User-agent:*"这样的记录只能有一条。

Disallow:
该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被 robot访问到。例如"Disallow:/help"对/help.html 和/help/index.html都不允许搜索引擎访问,而"Disallow:/help/"则允许robot访问/help.html,而不能访问 /help/index.html。任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在"/robots.txt"文件中,至少要 有一条Disallow记录。如果"/robots.txt"是一个空文件,则对于所有的搜索引擎robot,该网站都是开放的。

例如http://www.gcshome.cn/robots.txt就可以拉
如果存在就会出来一个这个目录:
User-agent: *
Disallow: /admini/
Disallow语句后面就是管理员不想让我们知道的目录
得到目录后,我们再使用方法一用工具再给他扫一遍基本就能出现后台了。
要是管理员把后台文件名改成@#$D$#$类似的,那就得算卦了。


_________________
明宝的个人空间


页首
 用户资料  
 
2 楼 
 文章标题 : Re: 利用robots.txt文件查找网站后台界面
帖子发表于 : 2010-01-13 10:28 
头像

注册: 2008-11-01 20:43
帖子: 17328
系统: 自动检测比较好
送出感谢: 44
接收感谢: 11
walle里有句
引用:
caution: rogue robots :em04


_________________
谁是我?KL.Uiq8 YinMeng


页首
 用户资料  
 
3 楼 
 文章标题 : Re: 利用robots.txt文件查找网站后台界面
帖子发表于 : 2010-01-13 10:31 

注册: 2008-01-09 22:41
帖子: 18311
送出感谢: 0 次
接收感谢: 6
速腾1994 写道:
walle里有句
引用:
caution: rogue robots :em04

玩腻的了

没用,限制登录ip,还要搞同一个机房的

有的还给你弄蜜罐,假后台,弄个网马,多了去了


页首
 用户资料  
 
显示帖子 :  排序  
发表新帖 回复这个主题  [ 3 篇帖子 ] 

当前时区为 UTC + 8 小时


在线用户

正在浏览此版面的用户:没有注册用户 和 3 位游客


不能 在这个版面发表主题
不能 在这个版面回复主题
不能 在这个版面编辑帖子
不能 在这个版面删除帖子
不能 在这个版面提交附件

前往 :  
本站点为公益性站点,用于推广开源自由软件,由 DiaHosting VPSBudgetVM VPS 提供服务。
我们认为:软件应可免费取得,软件工具在各种语言环境下皆可使用,且不会有任何功能上的差异;
人们应有定制和修改软件的自由,且方式不受限制,只要他们自认为合适。

Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
简体中文语系由 王笑宇 翻译