SEO知识-最新搜索引擎蜘蛛大全

admin

2021-03-31

来源：

作者：有客

　　各大seo搜索引擎的蜘蛛会不断地访问抓取我们站点的内容，也会消耗一定的站点流量;有时候就需要屏蔽某些蜘蛛访问我们的站点，文章尾部会讲解决办法;了解各大搜索引擎蜘蛛爬虫，对我们进行网站seo优化起到很大作用;舍力收集了各大搜索引擎的蜘蛛爬虫UA，以便你需要时查阅。

　　搜索引擎蜘蛛

　　1、百度蜘蛛：BaiduSpider

　　常见的Baiduspider和Baiduspider-image(抓取图片)

　　百度公司还有其它几个蜘蛛：Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap)，都不常见

　　百度蜘蛛爬虫UA：

　　PC端：Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

　　移动端：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

　　图片：“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”

　　2、谷歌蜘蛛：Googlebot

　　有人说谷歌蜘蛛是GoogleBot，官方谷歌蜘蛛最新名称为Googlebot，还发现了Googlebot-Mobile，看名字是应该是抓取wap内容的

　　谷歌蜘蛛爬虫UA：“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

　　图片：“Googlebot-Image/1.0”

　　3、360蜘蛛：360Spider

　　它是一个十分“勤奋抓爬”的蜘蛛

　　360蜘蛛爬虫UA：Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

　　4、搜狗蜘蛛：Sogou News Spider

　　搜狗公司还有其它几个蜘蛛：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider，冬镜在日志中只发现了常见的Sogou News Spider。(参考大神百度的robots文件，搜狗蜘蛛名称可以用Sogou概括，但有没有用就不知道了.)

　　搜狗蜘蛛爬虫UA：“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”

　　5、必应蜘蛛：bingbot

　　必应蜘蛛爬虫UA：“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”

　　6、SOSO蜘蛛：Sosospider

　　腾讯已玩死，交给搜狗公司了

　　soso蜘蛛爬虫UA：“Sosospider+(+http://help.soso.com/webspider.htm)”

　　7、雅虎蜘蛛：Yahoo! Slurp China(雅虎中国)或Yahoo! Slurp(雅虎英文)

　　雅虎蜘蛛爬虫UA：

　　雅虎中国：“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”

　　雅虎英文：“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)”

　　8、MSN蜘蛛：msnbot，msnbot-media

　　好像只见到msnbot-media在狂爬……