欢迎来到至成科技_西安服务器托管_西安服务器租用_西安域名注册
029-89390727
时间:2015-06-25  来源:至成科技  作者:SEOR  点击次数:984

小龙女心水论坛 www.md0lu.cn     较近在群里聊天的时候,经常有朋友问我,robots.txt文件到底有什么作用?如果不建立会不会对网站有什么影响?什么时候建立robots.txt文件比较合适?
基于这些问题,今天至成科技(西安服务器租用)统一给大家做一下解释,希望对有需要朋友能有所帮助。
    首先让咱们来了解一下robots.txt文件的百度官方解释:Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓??;可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省西安服务器带宽;可以屏蔽站点的一些死链接。
    方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。通过百度的官方解释,大家就可以了解到robots.txt文件其实可以理解为网站的向导,它的工作就是告诉百度蜘蛛哪里的信息是可以抓取的,哪里的信息是不可以抓取的。
说道这里,有的朋友会问我,那什么时候建立Robots文件比较合适呢?
    其实大部分的情况下,robots.txt文件是在网站整体内容完善以后,变动不大的情况下来建立的。但也有一些例外的情况,诸如至成科技(西安服务器租用)下面要讲到的一个案例。
    至成科技(西安服务器租用)之前在接手一个网站的时候,认为没建好的网站不要给搜索引擎抓?。ㄕ飧龉鄣愕较衷谖故嵌缘模?,因此就用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取。
    等到一个月之后,网站填充得已经差不多了,至成科技(西安服务器租用)就更改了robots.txt文件,让百度蜘蛛开始抓取。
    但奇怪的事情,就此发生了,在修改了robots.txt文件之后,至成科技(西安服务器租用)还提交了网址给百度,并且还做了蜘蛛诱导,但一天一天过去,在百度上面SITE网站就是一个收录都没有。
    至成科技(西安服务器租用)就很奇怪,这是哪里出现了问题呢?结果在谷歌上面site了一下已经有上百个收录了,306,搜狗上面也有少则几个多则十几个收录了。
    于是至成科技(西安服务器租用)不得不认为是robots屏蔽,百度长时间未反应过来导致的。
    通过这件事情,让至成科技(西安服务器租用)了解到,在网站建立初期,如果网站还没有把内容填充完善,robots.txt文件千万不要随意写,这种伤害尤其对新站来讲,实在是太致命了。

西安网站建设-至成科技光放微信
陕西本土非营利性IDC互联网接入商/  Shanxi Local nonprofit IDC Internet access provider

公司地址:西安市经开区凤城四路西安国际企业中心B座23层06-10室

全国咨询热线(TEL): 029-89390727

7*24小时售前咨询电话 :
029-89390727   029-63390892   029-63390961
029-68090209

7*24小时售后服务电话 : 029-89393039

Top
  • 7600元一支抗癌药缺货因价廉? 2019-06-15
  • 破财免灾!C罗愿向西班牙税务部门缴纳1880万欧元 2019-06-14
  • 人民网评:还给老百姓清水绿岸、鱼翔浅底的景象 2019-06-14
  • 【学习时刻】华侨大学黄日涵:“一带一路”盛会开启合作发展新篇章 2019-06-13
  • 网络投票刷礼物能不能帮孩子“争上游”? 2019-06-13
  • 西安一男子伙同他人制假 将工业醋酸变身食用醋 2019-06-10
  • 2018中国网络名人环球行-越南站 2019-06-10
  • 《新乌龙院之笑闹江湖》 吴孟达郝劭文时隔24年再聚首 2019-06-06
  • 第529期:辅助降压、缓解便秘……薯类食物好处多多,怎样吃更健康? 2019-06-06
  • 忆王府井时期的文体生活 2019-05-31
  • 老人突然发病如何求助 2019-05-31
  • 视频陶然居变形记:从路边小饭馆到全国餐饮十强 2019-05-28
  • 生发“神药”乱象:广告造假多 一个批号多个名字 2019-05-28
  • 希望揭阳市纪委实事求是认真深入调查群众向中央委巡视组举报“问题氧”背后不作为、乱作为转交案件,尽快给公众病人消费者一个确切的说法? 2019-05-24
  • 内蒙古蒙牛乳业(集团)股份有限公司获第十二届人民企业社会责任奖年度扶贫奖 2019-05-24
  • 392| 962| 736| 231| 726| 740| 726| 811| 469| 661|