欢迎来到至成科技_西安服务器托管_西安服务器租用_西安域名注册
029-89393039
时间:2015-06-25  来源:至成科技  作者:SEOR  点击次数:928

小龙女心水论坛 www.md0lu.cn     较近在群里聊天的时候,经常有朋友问我,robots.txt文件到底有什么作用?如果不建立会不会对网站有什么影响?什么时候建立robots.txt文件比较合适?
基于这些问题,今天至成科技(西安服务器租用)统一给大家做一下解释,希望对有需要朋友能有所帮助。
    首先让咱们来了解一下robots.txt文件的百度官方解释:Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓??;可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省西安服务器带宽;可以屏蔽站点的一些死链接。
    方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。通过百度的官方解释,大家就可以了解到robots.txt文件其实可以理解为网站的向导,它的工作就是告诉百度蜘蛛哪里的信息是可以抓取的,哪里的信息是不可以抓取的。
说道这里,有的朋友会问我,那什么时候建立Robots文件比较合适呢?
    其实大部分的情况下,robots.txt文件是在网站整体内容完善以后,变动不大的情况下来建立的。但也有一些例外的情况,诸如至成科技(西安服务器租用)下面要讲到的一个案例。
    至成科技(西安服务器租用)之前在接手一个网站的时候,认为没建好的网站不要给搜索引擎抓?。ㄕ飧龉鄣愕较衷谖故嵌缘模?,因此就用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取。
    等到一个月之后,网站填充得已经差不多了,至成科技(西安服务器租用)就更改了robots.txt文件,让百度蜘蛛开始抓取。
    但奇怪的事情,就此发生了,在修改了robots.txt文件之后,至成科技(西安服务器租用)还提交了网址给百度,并且还做了蜘蛛诱导,但一天一天过去,在百度上面SITE网站就是一个收录都没有。
    至成科技(西安服务器租用)就很奇怪,这是哪里出现了问题呢?结果在谷歌上面site了一下已经有上百个收录了,306,搜狗上面也有少则几个多则十几个收录了。
    于是至成科技(西安服务器租用)不得不认为是robots屏蔽,百度长时间未反应过来导致的。
    通过这件事情,让至成科技(西安服务器租用)了解到,在网站建立初期,如果网站还没有把内容填充完善,robots.txt文件千万不要随意写,这种伤害尤其对新站来讲,实在是太致命了。

西安网站建设-至成科技光放微信
陕西本土非营利性IDC互联网接入商/  Shanxi Local nonprofit IDC Internet access provider

公司地址:西安市经开区凤城四路西安国际企业中心B座23层06-10室

全国咨询热线(TEL): 029-89390727

7*24小时售前咨询电话 :
029-89390727   029-63390892   029-63390961
029-68090209

7*24小时售后服务电话 : 029-89393039

Top
  • 图解 前5月空气质量优良132天 重庆空气优良“style”是这样炼成的 2019-04-21
  • 三大运营商集体发声:已全面规范不限量套餐宣传 2019-04-20
  • 今年全军院校将招生三万余名 2019-04-14
  • 人大代表网络平台-天山网 2019-04-12
  • 学习贯彻落实习近平总书记重要讲话精神 2019-04-11
  • 香港多地举办龙舟赛共庆端午节 2019-04-09
  • 国外看中国科技:中国隧道技术发展迅速享誉世界 2019-04-08
  • 永济市区至大西高铁站引道工程加速推进 2019-04-04
  • 四川大熊猫宝宝诞生 熊猫基地人气旺 2019-03-27
  • 清淡又滋补的羊肉萝卜汤 消灭羊肉就靠它-美食资讯 2019-03-25
  • 人民日报评论员随笔:让文化热情涵养更多经典 2019-03-25
  • 一语惊坛(5月17日):深化“放管服”,把便民利企做实做好。 2019-03-21
  • 魏尧直面问题 立行立改 打造本质环保型企业 2019-03-21
  • 方法-热门标签-华商生活 2019-03-18
  • 学会了脆皮炸香蕉 再也不会把香蕉放到烂啦-美食资讯 2019-03-13
  • 405| 541| 196| 200| 629| 804| 588| 112| 23| 810|