對於搜索引擎網站來說，重復的網頁內部實質意義是十分有害的。重復網頁的儲存安放在心上味著這些個網頁就要被搜索引擎網站多處置一次。更有害的是搜索引擎網站的引得制造中有可能會在引得庫裡引得兩份相同的網頁。當有人查問時，在搜索最後結果中便會顯露出來重復的網頁鏈接。所以不管是從搜索體驗認識仍然系統速率檢索品質來說這些個重擔網頁都是有壞處的。

　　網頁查重技術源流於復制檢驗測定技術，即判斷一個文件內部實質意義是否存在剿襲、復制額外一個或多個文件的技術。　1993年Arizona大學的Manber(Google現副總裁、工程師)推出了一個sif工具，尋覓相仿文件。1995年Stanford大學的Brin(Sergey Brin，Google初創人之一)和Garcia-Molina等人在數碼圖書觀工程中第一次提出文本復制檢驗測定機制COPS(Copy Protection System)系統與相應算法[Sergey Brin et al 1995].在這以後這種檢驗測定重復技術被應用到搜索引擎網站中，基本的中心技術既比較相仿。

　　網頁和簡單的文檔不一樣，網頁的特別屬性具備內部實質意義和款式等標記，因為這個在內部實質意義和款式上的相同相仿構成了4種網頁相仿的類型。

　　1、兩個頁面內部實質意義款式絕對相同。

　　2、兩個頁面內部實質意義相同，但款式不一樣。

　　3、兩個頁面局部內部實質意義相同況且款式相同。

　　4、兩個頁面局部關緊相同但款式不一樣。

　　成功實現辦法：

　　網頁查重，首先將網頁收拾變成一個具備題目和正文的文seo檔，來便捷查重。所以網頁查重又叫文檔查重。文檔查重普通被分為三個步驟，

　　一、特點標志取出。

　　二、相仿度計算和名聲。

　　三、消重。

　　1.特點標志取出

　　我們在判斷相仿物的時刻，普通是能力用未變的特點標志施行相比較，文件查重第1步也是施行特點標志取出。也就是將文檔內部實質意義分解，由多少組成文檔的特點標志聚齊表達，這一步是為了方面後面的特點標志比較計算相仿度。

　　特點標志取出有眾多辦法，我們這處主要說兩種比較經典的算法，I-Match算法、Shingle算法。I-Match算法是不聽從賴於絕對的信息剖析，而是運用數值聚齊的計數特點標志來取出文檔的主要特點標志，將要要特點標志遺棄。Shingle算法經過取出多個特點標志辭匯，比較兩個特點標志聚齊的相仿程度成功實現文檔查重。

　　2.相仿度計算和名聲

　　特點標志取出完結後，就需求施行特點標志相比較，因網頁查重第二步就是相仿度計算和名聲。

　　I-Match算法的特點標志只有一個，當輸入一篇文檔，依據辭匯的IDF值(逆文本頻率指數，Inverse document frequency減寫為IDF)過淋出一點關鍵特點標志，即一篇文章中尤其高和尤其低頻的辭匯往往不可以反響這篇文章的實質。因為這個經過文檔中去掉高頻和低頻辭匯，況且計算出這篇文檔的惟一的Hash值(Hash簡單的說就是把數值值照射為地址。把數值值作為輸入，經計算後即可獲得地址值。)，那一些Hash值相同的文檔就是重復的。

　　Shingle算法是取出多個特點標志施行比較，所以處置起來比較復雜一點，比較的辦法是絕對完全一樣的Shingle個數。而後除以兩個文檔的Shingle總額減去完全一樣的Shingle個數，這種辦法計算出的數字為Jaccard 系數，它可以判斷聚齊的相仿度。Jaccard 系數的計算辦法聚齊的交集除以聚齊的並集。

　　3.消重

　　對於刪去重復內部實質意義，搜索引擎網站思索問題到很多收錄因素，所以運用了最簡單的最實用的辦法。先被爬行動物抓取的頁面同時非常大程度也保障了優先保存原創網頁。

　　網頁查重辦公是系統中必要的，刪去開重復的頁面，所以搜索引擎網站的其它環節也會減損眾多不不可缺少的麻煩，節約了引得儲存空間、減損了查問成本、增長了PageRank計算速率。便捷了搜索引擎網站用戶。