注意事项

蜘蛛陷阱主要类别

  1. 登录要求

    有些企业站和个人站的设置一定要注册登录后才能看到相关的文章内容,这种对蜘蛛不是很友好,蜘蛛不会注册. 也不会登录。

  2. 动态URL

    什么叫动态URL. 什么叫静态URL,简单的说就是带有问号. 等号及参数的网址就是动态URL,动态URL不利于搜索引擎蜘蛛的爬行和抓取。

  3. 强制用Cookies

    部分站长为了让用户记住登陆信息,强迫用户使用Cookies如果未开启,则无法进行访问,访问页面显示的也不会正常,这种方式会让蜘蛛无法进行访问。

  4. 框架结构

    首先各位站长你知道什么叫框架结构的世界吗?如果你不知道恭喜你,这个蜘蛛陷阱你已经躲避了,也不要去了解,所以有关框架结构的设计不做任何的介绍。

  5. 各种跳转

    对搜素引擎来说只对301跳转相对来说比较友好,对其他形式的跳转都是比较敏感,例如. JavaScrit跳转. MetaRefresh跳转. Flash跳转. 302跳转。有些网站的做法很让人无奈,当你打开网页后会自动转向其他页面,就算打开的页面和你要找的页面主体先关也算过得去。但是很大部分的网站转向让你无任何理由和目的这种转向不推荐大家使用,如果你非要做转向,只推荐用301永久跳转,可以将权重进行传递,除了此转向其他都不推荐,因为很多的占用其他转向欺骗用户和搜索引擎,也是heimao的一种手段,所以建议大家不要使用,以免网站被K。

  6. Flash

    有的网站页面使用Flash视觉效果是很正常的,比如用Flash做的Logo. 广告. 图表等,这些对搜索引擎抓取和收录是没有问题的,很多网站的首页是一个大的Flash文件,这种就叫蜘蛛陷阱,在蜘蛛抓取时HTML代码中只是一个链接,并没有文字,虽然大的Flash效果看上去很好,外观看着也很漂亮,但可惜搜素引擎看不到,无法读取任何内容所以为了能体现网站优化的最好效果,不提倡这种Flash做首页图片。

如何避免蜘蛛陷阱

  1. 避免使用session

    不通过SESSION对页面进行改变、限制

  2. 避免使用Flash

    避免使用Flash,以及在Flashsh上使用链接

  3. 避免使用动态URL

    在url中加入过多的符号或者网址参数等,这种蜘蛛陷阱我在url优化中曾经有提到,虽然说随着搜索引擎的的技术发展,动态url对于蜘蛛的抓取已经越来越不是问题了,但是从搜索引擎友好度上来讲,静态哪怕是伪静态url相对来说都比动态url要好,可以看下很多SEO同行对于url中的处理方式。

  4. 框架

    在早期框架到处被泛滥使用,而现在框架网页很多网站已经很少使用了,一是因为现在随着各大CMS系统的开发问世,网站维护相对也越来越简单了,早期网站使用框架是因为对网站页面的维护有一定的便利性了,现在已经大可不必了,而且不利于搜索引擎收录也是框架越来越少被使用的原因之一。

  5. JS

    虽然现在搜索引擎对于javascript里的链接是可以跟踪甚至在尝试拆解分析的,但是我们最好不要寄望于搜索引擎自己克服困难,虽然说通过js可以做一些效果不错的导航,但是css同样可以做到;为了提高网站对搜索引擎的友好度建议使网页能够更好的蜘蛛爬行,就尽量不要采用js,当然在seo中,js有一个好处就是站长不希望被收录的页面或者友情链接可以采用js。还有一种方法可以消除JavaScript 蜘蛛程序陷阱,即使用

  6. 不使用深层次的网页

    有的网页没有入口,而且距离网站的首页又很远,这种页面就相对较难被蜘蛛爬行到,当然对于那些权重高的网站可能会另当别论了。网站的页面要被收录,首先要需要基本的权重,首页的权重一般是最高的,然后首页的权重是可以传递到内页的,当内部页面的权重上升到可以被收录的门槛,所以不要使用深层次的网页。

  7. 不通过cookies对内容进行限制

    对于搜索引擎来说是相当于直接禁用了cookies的,而有些网站为了实现某些功能会采取强制cookies,比如说跟踪用户访问路径,记住用户信息,甚至是盗取用户隐私等,如果用户在访问这类站点时没有启用cookies,所显示的页面就会不正常,所以不要通过cookies对内容进行限制。

  8. 尽量少用跳转

    对于301不做过多解释,但是对于其他302,尽量少用或不使用meta refresh,javascript,flash等跳转,而且301也是不到万不得已的时候才用,任何跳转都会在一定程度上给蜘蛛的爬行带来障碍,所以:尽可能少的使用跳转。

  9. 友好的伪静态

    使用伪静态URL带上文件扩展名如:[.html|.php]等

  10. 搜索内容不加登录限制

    登录嵌入到被搜索的页面当中,即:虽然对登录前页面加了若干限制,但被搜索的内容存在其中

@耿志环 2012-∞ 冀ICP备17033181号, powered by Gitbook修订: 2019-01-11 16:56:29

results matching ""

    No results matching ""