神马品牌网2018北京市棚户区改造:robots.txt
来源：百度文库 编辑：神马品牌网 时间：2024/05/02 09:41:59
我在我的站点根目录下加啦robots.txt
内容
User-Agent: *
Disallow: /
可为什么google不删了我的网站
内容
User-Agent: *
Disallow: /
可为什么google不删了我的网站
要等到它下次扫描你的站时才行，一般情况下一星期左右对你的站扫描一次
BadBot是你找的例子上所需要禁止的搜索引擎.
Disallow后面的路径是网站路径,所以你如果想屏蔽全站,和你现有的Disallow不会冲突,但是现有的也不会生效了,想想看,你都屏蔽全站了,还怕访问到具体的子目录吗~
请在User-agent:*下面加上这句就可以了.其他不用动:
Disallow: /
/代表网站根目录.
*代表所有的搜索引擎,如果LZ需要只屏蔽百度,请把*换成 Baiduspider
如果LZ需要对百度的屏蔽所有,而对其他只屏蔽有限,请按下面设置即可:
User-agent: Baiduspider
Disallow: /
User-agent: *
Disallow: /syssite/shopadmin/
Disallow: /shopadmin/
Disallow: /syssite/install/
Disallow: /install/
注意,2个User-agent需要把局部的放后面
enjoy it~