日期:2013-08-08 阅读:3024
突然间发现我在新浪上的几个博客在百度上都不能找到了,当时还很疑惑,这是什么原因呢?然后在网上一查,才知道,原来新浪博客屏蔽了百度蜘蛛的抓取,这是为什么呢?
随着SEO行业的兴起,很多的SEOer都在新浪博客上养了好多的博客已便增加外链,可是这样也给新浪博客带来了很多的垃圾信息,继淘宝、sohu博客、校内网、海内网、51.com、中搜纷纷宣布屏蔽百度搜索引擎举措后,新浪博客也屏蔽了百度蜘蛛对其内容的抓取。
我们可以从新浪博客的robots.txt中看出新浪博客的确是屏蔽了百度。
#####################################################
# SINA BLOG 禁止搜索引擎收录配置文件
# 文件: ~/robots.txt
# 编写: 阿狼
# 日期: 2005-03-24
#####################################################
#开放百度的搜索引擎的User-Agent代码,*表示所有###########(编辑注明:这里应该是禁止百度的搜索引擎的User-Agent代码,而不是开放。估计是后期调整设置时注释错误了。)
User-agent: Baiduspider
#限制不能搜索的目录,Disallow: 为空时开放所有目录####
Disallow: /admin/
Disallow: /include/
Disallow: /html/
Disallow: /queue/
Disallow: /config/
#限制的搜索引擎的User-Agent代码,*表示所有###########
User-agent: *
#临时限制对所有目录的禁止抓取
Disallow: /
#限制不能搜索的目录,Disallow: 为空时开放所有目录####
##Disallow: /admin/
##Disallow: /include/
##Disallow: /html/
##Disallow: /queue/
##Disallow: /config/
#开放搜索的目录有####################################
# /
# /advice/
# /help/
# /lm/
# /main/
# /myblog/
#搜索引擎User-Agent代码对照表########################
# 搜索引擎 User-Agent代码
# AltaVista Scooter
# Infoseek Infoseek
# Hotbot Slurp
# AOL Search Slurp
# Excite ArchitextSpider
# Google Googlebot
# Goto Slurp
# Lycos Lycos
# MSN MSNBOT
# Netscape Googlebot
# NorthernLight Gulliver
# WebCrawler ArchitextSpider
# Iwon Slurp
# Fast Fast
# DirectHit Grabber
# Yahoo Web Pages Googlebot
# Looksmart Web Pages Slurp
# Baiduspider Baidu
自从谷歌退出了中国大陆后,百度可谓是一家独大,但是百度树敌太多,引起了众网站的不满,百度又该如何应对呢?
Copyright © 2010-2016 微聚点(厦门)信息科技有限公司 保留公司所有权利 闽ICP备14002883号-1