再次认识Googlebot抓取网站的工作原理

2020年12月10日 2 9,347

Googlebot是Google的网页抓取工具的通用名称。具体而言,Googlebot是两种不同类型的抓取工具的通用名称:一个是模拟桌面设备用户的桌面版抓取工具,一个是模拟移动设备用户的移动版抓取工具。

您的网站很可能会被Googlebot桌面版和Googlebot智能手机版同时抓取。您可以通过查看请求中的用户代理字符串来确定Googlebot的子类型。不过,这两类抓取工具都遵循robots.txt中的同一产品令牌(用户代理令牌),因此您无法使用robots.txt有选择地指定Googlebot移动版或Googlebot桌面版。

如果您的网站已转换为采用Google的优先将移动版网站编入索引机制,则多数Googlebot抓取请求都会通过移动版抓取工具发出,少数请求会通过桌面版抓取工具发出。对于尚未转换的网站,多数抓取操作则会通过桌面版抓取工具发出。在这两种情况下,负责完成少数抓取操作的抓取工具都仅会抓取负责完成多数抓取操作的抓取工具已抓取过的网址。

再次认识Googlebot抓取网站的工作原理

1、Googlebot如何访问您的网站

对于大多数网站,Googlebot的平均访问频率不会高于几秒钟一次。不过,由于存在延迟,在一小段时间内,此频率可能会略高一些。

Googlebot可在数千台计算机上同时运行,以提高性能并随着网络规模的扩大而扩展其作用范围。此外,为了降低占用的带宽,Google会在多台计算机上运行多个抓取工具,而这些计算机就位于它们可能会抓取的网站附近。因此,您的日志可能会显示有多台来自google.com的计算机访问了您的网站,而且所有这些计算机使用的都是用户代理Googlebot。Google的目标是,每次访问您的网站时都尽可能多地抓取网页,但不会过多地占用服务器的带宽。如果您的网站跟不上Google的抓取请求频率,您可以请求更改抓取速度。

通常,Googlebot会通过HTTP/1.1抓取内容。但是,从2020年11月开始,如果网站支持HTTP/2并且通过HTTP/2抓取内容可能会使网站受益,那么Googlebot可能就会通过HTTP/2抓取该网站。这可能会为网站和Googlebot节省计算资源(例如CPU、RAM),但不会影响网站索引编制效果和排名。

如需禁止通过HTTP/2抓取,请对托管您网站的服务器做出以下指示:当Googlebot尝试通过HTTP/2抓取您的网站时,返回421 HTTP状态代码。如果这种方法不可行,您可以向Googlebot团队发送消息(但这只是临时解决方案)

再次认识Googlebot抓取网站的工作原理

2、禁止Googlebot访问您的网站

对于网络服务器,要想通过不发布指向它的链接来达到保密目的几乎是不可能的。例如,只要有人通过您的“私密”服务器上的链接访问了另一网络服务器,您的“私密”网址就可能会出现在引荐来源网址标记中,并可能会被所访问的网络服务器存储和发布在其引荐来源网址日志中。同样,网络中包含许多已过期和已损坏的链接。只要有人发布了指向您网站的不正确链接,或未能成功更新链接以反映您服务器中的更改,Googlebot就会尝试从您的网站抓取不正确的链接。

如果您想阻止Googlebot抓取您网站上的内容,可以采用多种方法。请注意这些方法之间的差异,例如阻止Googlebot抓取网页、阻止Googlebot将网页编入索引以及完全阻止任何抓取工具和用户访问网页需执行的操作各不相同。

再次认识Googlebot抓取网站的工作原理

3、验证Googlebot

在您决定禁止Googlebot访问您的内容之前,请注意Googlebot所用的用户代理字符串经常会被其他抓取工具假冒。因此,请务必验证有问题的请求是否确实来自Google。若要验证请求是否确实来自Googlebot,最佳方法就是对请求的来源IP地址进行DNS反向查找。

Googlebot和所有正规的搜索引擎漫游器都会遵循robots.txt文件中的指令,但某些不良漫游器和垃圾内容发布者则不会。Google会积极打击垃圾内容发布者;如果您在Google搜索结果中发现了垃圾网页/网站,您可以向Google举报网络垃圾。

阿里云服务器
王光卫
Google探索与Google搜索的区别 搜索引擎优化(SEO)

Google探索与Google搜索的区别

对于Google搜索,用户可以输入搜索字词来查找与其查询相关的实用信息,但Google探索采用了不同的方法。Google探索并非根据查询显示结果,它显示内容主要依据的是Google自动化系统认为非常契...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

评论:2   其中:访客  2   博主  0
    • 天哥 天哥 5

      深度技术好文章

      • 我是杨少 我是杨少 5

        懂基础理论才能更好实施seo