您当前的位置: 首页 > 教育

禁止robot访问

2018-11-06 10:14:16

前段时间参加admin5组织的seo培训,感觉受益不浅。按照老师讲课时说的方法重新做了一个小站,是个博客://. 。我很用心的写了标题和描述,同时修改了模板并且坚持写原创性的文章,因为这个站的专业性很强所以我放的文章并不多。

前期准备工作做好以后我就向google提交站同时开通站管理员工具等待收录,一天的时间被google收录, 但只是收录了几个页面,内容页还没有收录。我继续添加文章并且频繁的去google管理员后台查看,第二天的时候突然发现提示:址受 t 限制。

当时我就纳闷了,我是严格按照课程中老师讲的做法写的啊,怎么会出问题呢?然后我打开google管理员工具提供的分析 t 终于找到了问题所在。原来我在robots里ykay后面加个/后 再测试正常。我又到百度的帮助里查询才搞明白是怎么回事。下面是百度的

Disallow,该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被robot访问。例如Disallow:/help禁止robot访问/ml、/ml、/help/ml,而Disallow:/help/则允许robot访问/ml、/ml,不能访问/help/ml。Disallow:说明允许robot访问该站的所有url,在/t文件中,至少要有一条Disallow记录。如果/t不存在或者为空文件,则对于所有的搜索引擎robot,该站都是开放的。

t中少一个,可能就会让你站中的一些重要页面不被收录, 在此提醒和我一样的新手站长一定要注意。

菊花烘干机
广州钢结构搭建
弹性柱销联轴器
推荐阅读
图文聚焦