香港虚拟主机
本站公告
新闻资讯
虚拟主机帮助
域名帮助
服务器帮助
邮箱帮助
建站帮助
网站推广帮助
VPS帮助
特色主机帮助
网站备案专题
会员帮助信息
代理帮助信息
成功案例
我司获香港虚拟主机排行榜十…
香港虚拟主机金秋促销活动正…
百度整治给SEO带来了新的希望
百度同时收录网站带WWW和不带…
百度对原创内容的判断标准 如…
如何建设网站 网站建设三步曲
如何挑选老域名 老域名有那些…
域名常见故障与分析
虚拟主机基本参数介绍
交换链接的技巧 谈一下选择交…
您现在的位置: 江南数联 >> 帮助中心 >> 网站优化 >> 正文

robots.txt域名谷歌、百度日志返回404

  作者:admin    来源:本站原创    点击次数:29     更新时间:2013-11-11 8:15:36  
     
 
关注石头有礼
 
 

robots.txt域名谷歌、百度日志返回404

有一定经验的站长都会经常看自己的网站日志,从日志中可以了解自己的站的一些情况,特别是域名改变,网站改版等原因,我们需要通过robots.txt文件禁止搜索引擎抓取老的内容时更需要关注日志是否正常,最近有客户在自己的网站根目录上传了robots.txt文件,过了一个月搜索引擎还是按原来的方法抓取被他禁上了的老的内容,甚至上客户认为robots.txt是否没有任何用处,他最后找到我们,我们技术人员第一时间就打开了他的日志查看,从谷歌和百度搜索引擎抓取robots.txt文件后的状态显示404,这是怎么回事呢,明明我写的文件是可以访问的啊为什么搜索引擎会反回404状态呢,在这里我要说的所谓404就是找不到或无法读取的意思,一般正常状态应该是200那到底是什么原因呢。

首先我们就检查了robots.txt的写法是否正确,认真的核对写的方法正确的并无任何问题。

第二我们登陆谷歌站长工具在robots.txt里检查自己网站的robots.txt得到的结果是robots.txt有问题语法错误,或得直接说读取异常,这是什么原因呢。

第三:在检查了robots.txt文件没发现有任何问题啊,怎么就是不能正常读取呢,最后想到是不是保存时用的编码的问题,于是我们从新一百度站长工具中用站长工作里生成robots.txt文件,生成后不在用任何软件修改,直接在生成时就把我们要禁止的文件目录填好写好,生成 文件直接将文件上传 到空间里,过了二天在看日志所有搜索引擎都提示200正常。

最后总结,之所以不能正常识别就是由于我们直接用记事本写的,在保存时没有注意到保存时的编码格式造成搜索引擎不能正常识别。

本章关健词:江南数联 域名注册 海外虚拟主机 G享虚拟主机 国内虚拟主机 企业邮箱 网站建设 自助建站 400电话申请 微聚商

 
  版权申请:robots.txt域名谷歌、百度日志返回404出自江南数联dns06.com未经授权请勿转载!  
 
  • 上一篇帮助:

  • 下一篇帮助:
  •  
         

    扫一扫关注公众号有礼
    Copyright@2004-2015 江南数联 版权所有未经授权请勿复制!
    《中华人民共和国增值电信业务经营许可证》ISP证编号:皖B2-20080036 湘B2-20160056
    公司全称:永州石头网络技术有限公司(运营部)
    地址: 中国·湖南省永州市育才路158号 服务热线:400 616 9260
    安徽公司:安徽仁科信息技术有限公司 地址:合肥万和新城广场A-608 
    关注词:网站空间虚拟空间空间域名域名空间域名主机网站空间哪家好网站空间多少钱