googlebot 有哪几种?-kb88凯时官网登录

时间:2019-12-06
阅读:
免费资源网 - https://freexyz.cn/

googlebot 我们一般称为google 机器人或google 探测器。

google “派遣”了不同的googlebot 对网页内容进行获取。主要包括:

googlebot:抓取网页中的文字内容。获取的内容保存于google 网页搜索和新闻搜索的数据库。我们一般谈的google 机器人主要指这个。

googlebot-mobile:抓取网页中的文字内容,用于google 手机搜索。

googlebot-image:抓取网页内的图片内容,保存入google 图片搜索数据库。

mediapartners-google:抓取网页中的文字内容,用于google adsense 分析关键词。只有投放了google adsense 的网页才会被 mediapartners-google 探测器爬取。

adsbot-google:抓取网页中的文字内容,用于为google adwords 提供参考。只有google adwords 的目标网页才会被 adsbot-google 探测器爬取。

googlebot 和mediapartners-google 是非常勤奋的机器人,如果他们影响到你的承受力,你可以通过 robots.txt 文件加以制止。

免费资源网 - https://freexyz.cn/
返回顶部
顶部
网站地图