越来越意识到抓取和索引编制的可持续性,Google 可能会降低抓取网页的频率。该主题由 Google 的搜索关系团队讨论,该团队由 John Mueller、Martin Splitt 和 Gary Illyes 组成。在 Search Off the Record 播客的最新一集中,他们一起讨论了 2022 年及以后对 Google 的期望。他们讨 巴西电话号码列表 论的主题包括抓取和索引,SEO 专业人士和网站所有者表示,他们在过去一年中看到的较少。这将是谷歌今年的一个重点,因为它旨在通过节省计 巴西电话号码列表 算资源来使爬行更具可持续性。这对您的网站及其在搜索结果中的表现意味着什么。抓取和索引编制的可持续性 由于 Googlebot 抓取和编制索引实际上是发生的,因此您可能不会认为这会对环境产生影响。
当 Illyes 说计算总体上不可持续时,他提出了这个问题:“……我的意思是,总体而言,计算并不是真正可持续的。例如,如果你 巴西电话号码列表 想到比特币,比特币挖矿对你可以实际测量的环境产生了真正的影响,尤其是当电力来自燃煤电厂或其他不太可持续的电厂时。我们是无碳的,因为我什至不知道是 2007 年还是 2009 年,但这并不意味着我们不能进一步减少我们对环境的影响。爬行是早期的事情之一,我们可以砍掉一些低垂的果实。”在这种情况下,唾手可得的 巴西电话号码列表 果实是指不必要的网络爬行。例如抓取最近没有任何更新的网页。谷歌将如何让抓取更可持续? Illyes 继续解释说,通过减少刷新爬行可以使网络爬行更具可持续性。 Googlebot 抓取有两种类型:抓取以发现新内容和抓取以刷新现有内容。
谷歌正在考虑缩减抓取以刷新内容。 Illyes 继续说道:“……我们做的一件事,而且我们可能不需要做那么多,就是刷新爬网。这意味着,一旦我们发现了一个文档、一个 URL,然后我们就去爬取它,然后,最终,我们将返回 巴西电话号码列表 并重新访问该 URL。那是刷新爬网。然后每次我们回到那个 URL 时,总是会刷新一次。现在,我们需要多久返回一次该 URL?”他继续举例说明某些网站需要对网站的某些部分进行大量刷新爬网,但对其他部分则不然。像《华尔街日报》这样的 巴西电话号码列表 网站会不断地用新内容更新其主页,因此值得进行大量刷新爬网。但是,WSJ 不太可能频繁更新其 About 页面,因此 Google 不需要继续对这些类型的页面进行刷新抓取。