内部搜索结果页面应该被索引吗?

aolekeji 1年前 28337浏览 0评论

不,在大多数情况下,您网站自己的搜索结果页面不应被 Google 和其他搜索引擎编入索引。

长期以来的搜索引擎优化智慧认为,站点搜索的结果页面应该阻止搜索引擎机器人,并且不包含在搜索引擎的页面索引中。

这样做的理由是为了避免让 Google 用户失望,并防止搜索引擎抓取工具浪费时间下载和分析可能对访问者或您的业务没有帮助的页面。

用户体验

搜索引擎希望为用户提供良好的搜索体验。这就是为什么 Google、Bing 和DuckDuckGo花费大量时间试图获得正确的搜索结果。

不幸的是,您网站的搜索结果页可能不是一个良好的相关结果。

这是一个例子。想象一下,一个人在谷歌上输入“对于重度跑步者来说最好的跑鞋是什么”。

显示的结果之一来自您网站的内部搜索结果。但索引和链接的页面是搜索词“男士跑鞋”的产品列表。

此内部搜索结果页面还有一个部分宣传您公司的一篇博客文章。这篇博客文章提到了重度跑步者,并以某种方式编入了索引。

这个内部搜索结果页面不会是一个很好的登陆页面,并且可能不应该包含在索引中。

这个结果没有帮助。使用搜索引擎的人必须点击两次 - 一次在 Google 的搜索结果上,一次在您网站的内部结果上 - 才能获得他需要的信息。此外,访问者可能会误解结果,并认为您的网站正在向他显示缓冲跑鞋列表,但在下订单后却感到失望。

一个更糟糕的例子来自英国技术 SEO 专家 Matt Tutt 2018 年的一篇文章。

Tutt 在文章中指出,在线零售商 Wayfair 允许对其一些动态生成的搜索结果页面建立索引。

如果您在 Tutt 发表文章时在 Google 上搜索“Wayfair.com”并使用特定的与性相关的短语,您会看到结果。

Wayfair 动态地将关键字添加到其搜索页面描述中,因此您在 Google 的 SERP 上看到的副本显示为:“在 Wayfair 中寻找最好的[与性相关的单词]。大多数商品,甚至是大件商品,均可享受免费送货服务。”

据塔特说,“如果您有足够的勇气点击上面的 SERP,您将会看到”下面的副本。

“与性相关的词。在 Wayfair,我们希望确保您在网上购物时找到最好的家居用品。您已搜索[与性别相关的词],此页面显示最接近的产品匹配......”

正如塔特指出的那样,此页面及其副本“不是您作为家具提供商希望用户或搜索引擎发现的内容。”

换句话说,许多内部搜索结果页面是自动生成的,对于在 Google 或其他搜索引擎上搜索的用户来说可能不是好的内容。

此后,Wayfair 更改了其搜索结果,现在搜索该特定关键字会在 Wayfair 网站上返回“pen”,而不是原来的性别术语。

允许对动态页面建立索引意味着不知道您的公司向潜在客户展示了什么样的结果。

这也好不了多少。Google 可能不想对您公司的内部搜索结果页面进行排名,如果您愿意的话,您会在可能对您的公司没有多大好处的页面上浪费 Googlebot 的大量精力。

迷失在杂草丛中

“对于内部搜索页面,有两个方面对我们发挥着作用,”Google 的约翰·穆勒 (John Mueller) 在 2018 年 4 月的网站管理员中心环聊中说道。

“其中一个问题是,我们尝试抓取所有内部搜索页面时很容易迷失方向。如果基本上您网站上的任何单词都可能导致内部搜索页面,并且我们拥有所有这些潜在的内部搜索页面,并且它们都提供内容,那么我们的系统可能会说,‘哦,我们将尝试抓取所有内容你的内部搜索页面,因为也许那里有一些真正有用的东西。因此,从爬行的角度来看,这可能不是最优的。”

Googlebot 为每个网站分配时间——“抓取预算”。除了内部搜索结果之外,您的网站上可能还有更好的页面可供抓取。

一个例外

Tutt、Mueller 和其他人确实提到,该规则可能有一个例外:如果您使用网站的内部搜索结果来查找类别页面。

高级搜索平台(例如 Twiggle、Algolia)可以生成产品类别或品牌页面。商家可以使用同义词和反义词配置平台来提供或排除类别。

阻止搜索引擎

至少有两种方法可以告诉 Google 和其他搜索引擎不要为您网站的内部搜索结果页面编制索引:每个页面的 head 部分中的noindex指令以及robots.txt 文件中的禁止规则。(我在“ SEO:告诉 Google 哪些页面不要抓取”中讨论了该主题。)

在解释了为什么商家应该阻止内部搜索结果页面被索引后,我回顾了 10 个领先的电子商务网站是如何做到这一点的。2020 年 3 月 9 日,我检查了每个网站的 robots.txt 文件中是否存在禁止规则,还检查了noindex指令的网站搜索结果。

我选择亚马逊、沃尔玛和塔吉特是因为它们的知名度。另外七个是我从我关注的电子商务网站列表中或多或少随机挑选的。请注意,亚马逊和百思买并没有阻止外部搜索引擎对内部搜索结果页面建立索引。其余八个确实通过 Robots.txt disallownoindex指令进行了阻止。

奥飞学习5.jpg

我们的网站奥飞学习网是一个汇集了目前市场上数百知名老师的课程的平台。无论您对于AI和chatgpt人工智能工具的使用方法感兴趣,还是想了解最新的赚钱项目、跨境电商、自媒体、主流短视频平台电商平台运营技巧和赚钱方法,我们都有丰富的课程供您选择。我们的目标是为您提供一站式的学习解决方案,助您在创业和副业的道路上获得成功。

奥飞学习二维码.png

了解更多资讯请关注微信视频号:奥飞学习或者添加上方工作人员微信即可


发表评论