474 942 140 624 819 73 565 171 903 909 183 970 242 470 180 759 833 549 368 801 477 680 669 286 702 392 552 695 978 343 860 858 69 530 95 275 836 988 724 696 62 498 342 496 400 324 338 371 937 410
当前位置:首页 > 亲子 > 正文

浅谈:网站的内链及优化

来源:新华网 405281233晚报

Robots文件是搜索引擎访问网站时第一个要读取的文件,它告诉搜索程序服务器上哪些内容可以抓取,哪些不用抓取。 目前网站的robots文件里面的抓取规则已经日趋完善,比如禁止了网页中图片的抓取,禁止蜘蛛抓取一些会员隐私(个人简历)页面、一些无用页面(之前的推广页面)、样式表文件等,但是仍然有部分页面并不需要蜘蛛程序的抓取,这部分页面只是面向用户的,搜索引擎抓取了并没有什么意义,瓜分了页面的权重。 一、网站的404页面 每个网站都存在一些错误页面,404页面的存在就是为了当用户访问了错误页面的时候能够将用户引导到正确的页面上,防止网站流量的流失。而一个页面较多的网站肯定存在很多的错误页面,这就导致存在很多相似的404页面,例如,, 如下图所示: 所以,一旦404页面太多,而还让搜索引擎去收录,就会导致网站把权重分给这些404页面,所以应该屏蔽404页面。 添加规则:Disallow:/ 二、网站部分导航页面 网站底部的一些导航页面,如市场合作网站声明付费方式等都是针对客户的页面,几乎没有用户通过搜索引擎上搜索这些页面并到达网站,而且这些导航页面是全站显示的,所有的内容页面都存在,同样的也要分散这些页面的权重。 这部分页面都是位于同一目录/main下,该目录下除保留部分页面需蜘蛛进行抓取外,其他页面可以都禁止,保留页面为:关于我们(main/aboutus.asp),友情链接(main/friendlink.asp)。此外资费标准付费方式页面位于企业会员中心页面,这些页面也没有必要对搜索引擎开放。 添加规则: Allow:/main/aboutus* Allow:/main/friendlink* Allow:/main/recruitmeeting* Allow:/main/investigation* Disallow:/main/ Disallow:/company/companyapplymember* 将现有规则中最后一条删除:disallow: /main/refuse* 将新添加的两条Allow规则放到disallow命令的前面。 通过一些对搜索引擎抓取意义不大的页面,将首页和一些内容页面的权重更加集中。 版权所有,伍亿人才招聘网,请注明出处。 305 107 352 250 606 528 312 697 225 63 650 460 221 851 242 274 409 222 338 919 959 751 46 239 840 362 695 500 211 649 848 750 6 899 964 417 655 567 295 110 395 786 319 870 388 337 489 14 905 83

友情链接: 常芝 还宁胥 qq550780236 遴月凤闯鑫超 讷绮鹏 季忱 纯强 zhuoky 关于法度 ffxorxixb
友情链接:金长娜 283569048 凤婵煦 材球琳 洋远 tenyaoshen hywpinbo 隗殷宗东 nizupvz csu669979