网站文章需要每天都进行基本的维护和添加，但是文章添加过多了，就会出现网站文章相似度过高的现象，从长远角度来说，这对网站的优化是十分不利的。后期搜索引擎蜘蛛会减少对网站的收录。因此网站文章写作需要有新意，才能有效的避免网站文章相似的问题。今天上海珍岛SEO培训和大家探讨的内容就是重复内容产生的原因以及解决方法。

1，网址规范化问题

网站的网址规范化，主要是指网站的主域名和页面的URL地址。首先网站的主域名需要和网站产品紧密相连，这样可以很好的吸引搜索引擎蜘蛛过来抓取。而页面的UTL规范化，主要是指网站的页面进行伪静态页面的处理。但是很多的情况下，一般的网站伪静态之后，原始的动态URL依然存在并能够访问，这样就造成了多个URL访问相同网址。

2，内容的其他版本

很多的站长对网站添加的文章，没有很好的做到取舍。比如很多网站除了提供正常的版本之外还提供一些其它的浏览版本，比如打印版本或者简版，却并没有禁止搜索引擎去抓取这些页面，而这些页面也因此变成了重复内容页面。网站页面的重复自然是文章的添加不当造成的，自然也会影响网站的正常收录和更新。

3，网站结构

网站除了对网站内容进行基本的设置外，还需要对网站的结构进行基本的设置。很多网站在结构设计之初并没考虑SEO方面的因素，结果是导致造成各种页面版本，比如产品按价格，评论，时间排序等，特别是一些电子商务网站，这种页面重复现象尤为严重。对网站的结构可以做到规范化，这样就会减少蜘蛛对不利优化的页面的抓取。

4，URL任意加字符还是返回200状态码

一些网站是因为网站程序和技术的原因，用户在URL参数后面随意加上一些字符都能够正常访问，并且页面是和没加之前的完全重复。检查页面是否有重复版本有一个比较简单的方法，就是将内容随机选择一句话加双引号后进行搜索，从结果中就可以看到有多少个重复的页面。因为通常来说随机选一句话进行搜索完全生命的机率是比较小的。

如何消除复制内容的方法

1，301重定向

301能够传递页面的权重，目前来说主流搜索引擎都支持301重定向，可以将复制内容的页面全部通过301永久重定向的方式跳转到原版页面。

2，robots文件禁止

通过在robots.txt文件中禁止复制内容被搜索引擎抓取，也能有效的解决网址重复问题。这样可以很好的解决网站蜘蛛对不利页面的抓取。一般网站在上线之初，都会进行robots文件设置。这对网站后期的优化也是非常好的。

3，canonical标签

canonical 标签可以为搜索引擎指明当前页面权重的侧重点在于哪个链接，从而有助于 SEO。canonical标签是由谷歌，雅虎在2009年共同发布的一个新的标签，目前百度也表示支持canonical标签，这个标签也可以用于解决网址重复的问题。

添加了以上标签后，也就相当于告诉搜索引擎哪个网址是最规范原创的版本，其它复制内容都是指向这一个唯一的网址，有一点页面301传递权重的意思，但是301是页面直接跳转，而加这个标签后，页面还是停留在原始地址。