网站上重复内容页面过多，会造成资源和精力的浪费，关键词的内部竞争，分散权重。得不偿失。如果站点中有太多重复的内容页，搜索引擎将其误判为收集站会很麻烦。从某种意义上说，收集站实际上是在采摘他人胜利的果实。如果它触及飓风算法，它将直接受到搜索引擎的惩罚，网站将降至零。
一、消除同一网站上重复内容的方法
1、网站标准化导致内容重复
解决方案：确保一篇文章只对应一个URL。没有多个版本。网站的所有内部链接都链接到此URL。有时你可以用跳转。
2、非网站标准化导致内容重复
解决方案：选择允许收集的版本，其他版本禁止被搜索引擎捕获或收集。
1）使用robots文件禁止爬行。
2）使用Noindexmetarobots标记禁用索引。
3）在特殊情况下，可以使用nofollow和JavaScript来防止爬行器爬行。不建议使用此方法。
4）规范标记用于规范化web地址，也可用于其他情况。例如：
对于电子商务网站上相同款式、不同颜色和型号的产品，可以使用规范标签将权重集中在一个型号上。
会话ID为的页面也可以使用规范标记。例如，以下代码位于