一直以来搜索引擎的爬虫似乎很难把网页的内容和导航区域区分开来。这造成同个站点或使用相同模板的不同站点中的部分网页，有可能被误判为内容重复网页。以往的SEO做法是利用div+css架构来改变搜索引擎的爬虫对网页不同部分的读取顺序，使主要内容被优先读取。但对于不使用div+css架构的网页来说就没有什么比较好的方法。似乎终于有搜索引擎意识到这个问题了，Yahoo!引入了一个叫"robots-nocontent"的特殊的CSS类别。如果在<div>或<p>之类的元素中使用它，Yahoo!的爬虫就能知道页面的这部分跟主要内容无关。
Yahoo!的帮助建议将这一标签用在“headers、footers、导航区域、重复的模板文字、版权声明、广告区域、或者对用户有用的动态内容”（via Philipp）。我认为这种区分将会对改进搜索结果质量有帮助，而且能在搜索结果中显示更相关的内容摘要。
我期待Google等其它搜索引擎也能对此进行跟进（"nofollow"标签就是几大搜索引擎共同努力的成果）。不过Yahoo!的这个新标签同时也带来了很多新问题，我估计目前要普及这一标签还会有很大难度，因为有些网站管理员会避免使用这个句法，他们怕它会让自己的网站排名降低。
没有评论:
发表评论