下面產(chǎn)生復(fù)制內(nèi)容的原因。

(1)前面討論的網(wǎng)址規(guī)范化問題會(huì)產(chǎn)生復(fù)制內(nèi)容。

(2)代理商和零售商從產(chǎn)品生產(chǎn)商那里轉(zhuǎn)載產(chǎn)品信息。這到?jīng)]什么不對(duì)，一般生產(chǎn)商也都同意，沒有版權(quán)問題。但絕大部分代理商、零售商、批發(fā)商都是直接COPY，而不做任何改動(dòng)，大家用的都是一模一樣的產(chǎn)品說明，所以這些電子商務(wù)網(wǎng)站上有大量復(fù)制內(nèi)容。

(3)打印版本。很多網(wǎng)站除了正常供瀏覽的網(wǎng)頁(yè)外，還提供更適于打印的頁(yè)面版本，如果沒有用適當(dāng)方式禁止抓取，這些打印版本網(wǎng)頁(yè)就會(huì)變成復(fù)制內(nèi)容。

(4)網(wǎng)站結(jié)構(gòu)造成的各種頁(yè)面版本。如產(chǎn)品列表按價(jià)格、評(píng)論、上架時(shí)間等排序在前，博客的分內(nèi)存檔、時(shí)間存檔等。

（5）網(wǎng)頁(yè)內(nèi)容有RSS生成。有很多網(wǎng)站，尤其是新聞，類網(wǎng)站，用其他網(wǎng)站RSS feed生成網(wǎng)站內(nèi)容，這些內(nèi)容在原始出處和很多其他類網(wǎng)站上都已經(jīng)出現(xiàn)過很多次了。

（6）使用Session ID。搜索引擎蜘蛛在不同的時(shí)間訪問網(wǎng)頁(yè)的時(shí)候，被給予了不同的Session ID，實(shí)際上網(wǎng)頁(yè)內(nèi)容是一樣的。由于Sessin ID參數(shù)不同，就被當(dāng)成了不同的網(wǎng)頁(yè)。

 （7）網(wǎng)頁(yè)的實(shí)質(zhì)內(nèi)容很少，沒個(gè)網(wǎng)頁(yè)上都不可避免的有通用部分，不如導(dǎo)航條、版權(quán)聲明、廣告等、如果網(wǎng)頁(yè)的正文部分內(nèi)容太短，內(nèi)容數(shù)量還低不上通用部分，就有可能被認(rèn)為是復(fù)制內(nèi)容頁(yè)面。

 （8）轉(zhuǎn)載或抄襲。有時(shí)是其他人抄襲了你的內(nèi)容，有時(shí)是善意的轉(zhuǎn)載，有時(shí)是作者自己在不同的網(wǎng)站發(fā)布同一篇文章，這些都會(huì)造成復(fù)制內(nèi)容。
  （9）鏡象網(wǎng)站。鏡象網(wǎng)站曾經(jīng)很流行，當(dāng)一個(gè)網(wǎng)站太忙太慢時(shí)。用戶可以通過替代鏡像來(lái)看內(nèi)容或下載。這些也有造成復(fù)制內(nèi)容的風(fēng)險(xiǎn)。

 （10）產(chǎn)品或服務(wù)類型之間的區(qū)別比較小，不如有的網(wǎng)站把自己的服務(wù)按地區(qū)進(jìn)行分類，但實(shí)際上提供給每一個(gè)地區(qū)的產(chǎn)品或服務(wù)都是一樣的。這些按地區(qū)分類的頁(yè)面只是把地名改了改，其他服務(wù)內(nèi)容說明都一樣。

  （11）URL任意加字符還是返回200狀態(tài)嗎。有的網(wǎng)站由于技術(shù)原因，用戶在URL后加上任意字符和參數(shù)，服務(wù)器 還能正常返回200狀態(tài)碼，并返回沒有加上任意字符時(shí)一樣的重復(fù)內(nèi)容頁(yè)面。

   檢查頁(yè)面是否有復(fù)制版本相對(duì)簡(jiǎn)單，拿出頁(yè)面正文中的一句話，加上雙引號(hào)，在搜索引擎中搜索一下，從結(jié)果中就可以看到是否有多個(gè)頁(yè)面包含這句話。一般來(lái)說，隨機(jī)挑選的一個(gè)句子，完整出現(xiàn)在另一篇文章中的可能性很低。

   舉一個(gè)比較極端卻很清楚的例子。我為了試驗(yàn)搜索引擎是否使用關(guān)鍵詞標(biāo)簽，曾在一篇博客帖子上提到“無(wú)論是東方fsdds”這么一個(gè)字符串。在我發(fā)這個(gè)貼之前，搜索引擎沒有任何這個(gè)字符串的結(jié)果�，F(xiàn)在搜索一下，可以清楚的看懂啊不少為轉(zhuǎn)載或抄襲形成的復(fù)制內(nèi)容。

   在Google搜索得到的結(jié)果就更多了，將近1000個(gè)頁(yè)面。令人無(wú)賴的是，絕大部分轉(zhuǎn)載沒有按版權(quán)聲明來(lái)鏈接到原出處，更有很多鏈接直接連作者都給修改了。