玩网站时间长的人,应该都知道通过设置robots.txt可以限制网站哪些内容不被搜索引擎收录,达到网站SEO优化的作用。但部分新博主可能不懂Robots.txt写作规范或语法,所以有z-blog爱好者制作了搜索引擎爬虫管理z-blog插件RobotsMng,通过该插件z-blog博主只需要点点鼠标就能规范地生成robots.txt文件。
zblog插件RobotsMng说明:
- 使用该插件不会造成zblog系统变慢,也没有可以被不法分子利用的漏洞。
- 成功安装插件后,博主可以通过后台的网站设置管理中的管理引擎爬虫进入管理页,也可以通过插件管理中的Robots Manager后面的管理进入管理页。
- 插件操作说明:
全部允许:表示允许任何搜索引擎爬虫抓取你网站的任何内容;
全部拦截:表示不允许任何搜索引擎爬虫抓取你网站上的任何内容(慎用);
在Robots.txt中显示网站地图:这能更方便爬虫读取网站地址并抓取,所以此项是不允许更改的; - 自定义抓取规则:定义此规则需要第一步中选择为全部允许。
如果你想禁止所有引擎爬虫抓取你网站的IMAGES目录,你可以在操作中选择“拦截”,爬虫选择“所有引擎机器人”,在文件中输入“/IMAGES/”就可以了;如果你想禁止多个目录你可以用“||”分割,比如“/ADMIN/||/SCRIPT/||/FUNCTION/”这样会生成三条记录。
插件下载:RobotsMng.zip
题外话:ZBLOG的哪些文件是应该拦截的?
不允许搜索引擎抓取的文件应该就是你不希望被收录的文件,对于zblog博客,博主可以选择拦截以下文件:
1 2 3 4 5 6 | /ADMIN/ /SCRIPT/ /DATA/ /FUNCTION/ /PLUGIN/ /login.asp |
对于不想安装插件的博主,可以直接编写Robots.txt,内容可参考:《Z-Blog 博客创建设计robots.txt文件》