一 12

Googlebot 有哪几种呢？Robot是什么？

SEO , 评论关闭

Googlebot 我们一般称为Google 机器人或Google 探测器。

Google “派遣”了不同的Googlebot 对网页内容进行获取。主要包括：

  • Googlebot：抓取网页中的文字内容。获取的内容保存于Google 网页搜索和新闻搜索的数据库。我们一般谈的Google 机器人主要指这个。
  • Googlebot-Mobile：抓取网页中的文字内容，用于Google 手机搜索。
  • Googlebot-Image：抓取网页内的图片内容，保存入Google 图片搜索数据库。
  • Mediapartners-Google：抓取网页中的文字内容，用于Google Adsense 分析关键词。只有投放了Google Adsense 的网页才会被 Mediapartners-Google 探测器爬取。
  • Adsbot-Google：抓取网页中的文字内容，用于为Google AdWords 提供参考。只有Google AdWords  的目标网页才会被 Adsbot-Google 探测器爬取。

Googlebot 和Mediapartners-Google 是非常勤奋的机器人，如果他们影响到你服务器的承受力，你可以通过 robots.txt 文件加以制止。

Robot是什么？

Robot英文直译是机器人，在搜索引擎优化SEO中，我们经常翻译为:探测器。

有时，你会碰到crawlew（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。

SEO中常说的这个探测器(Robot)是什么？

搜索引擎用来抓取网页的工具。它是一个软件或者说一系列自动程序(显然，不是一部机器)。

不同的搜索引擎给他们自己的探测器(Robot)起不同的名字。

谷歌:googlebot  百度:baiduspider   MSN:MSNbot   Yahoo:Slurp  (yahoo家的这位比较特殊，没有带“姓”，并且用的是一个拟声词。Slurp，中文理解是机器人吃东西时发出的啧啧的声音)

关于Robot，需要关心的主要是Robots.txt，以及网站日志中包含的以上几个名字。

随机日志


Comments are closed.