首先要明確一點，本文探討范圍僅限內(nèi)容頁，而非專題頁、列表頁和首頁。那么我在甄別這兩類文章之前，我需要先進行信息的采集。本文對于spider程序部分不進行闡述。當spider程序下載下來網(wǎng)頁信息后，在內(nèi)容處理的模塊中，我需要先對內(nèi)容除噪。如果是我，我會喜歡什么樣子的文章呢?我會喜歡我的用戶喜歡的文章，如果硬要加判定標準，那無外乎是兩種：1.原創(chuàng)且用戶喜歡。

2.非原創(chuàng)且用戶喜歡。在這里，我的態(tài)度很明顯，偽原創(chuàng)就是非原創(chuàng)。那么用戶喜歡什么樣的文章呢?很顯然，一些新觀點、新知識往往是用戶喜歡的，也就是說通常原創(chuàng)文章都是用戶喜歡的，而且即便用戶不喜歡，原創(chuàng)站點作為新鮮內(nèi)容的制造者，也應該受到一定的保護。那么非原創(chuàng)的文章用戶就一定不喜歡嗎?誠然否也。一些站點，其內(nèi)容往往是經(jīng)過搜集整理后聚合而成的，那么這些站點對用戶來說就是有價值的，其相對應的文章理應獲得較好的排名。

很多SEO他們懶，進行所謂的偽原創(chuàng)，你說你偽原創(chuàng)時插入點自己的觀點與資料也成，結果你們就是改個近義詞什么的，于是我就用到了特征向量，通過特征向量的判斷，把你們這些低劣的偽原創(chuàng)抓出來。關于這個，判斷思想很簡單，你權重最高的前N個關鍵詞集合極為相似的時候，判斷為重復。這里所謂的相似包括但不僅僅局限于權重最高的前N個關鍵詞重合，于是構建了特征向量，當對比的兩個向量夾角與長度，當夾角與長度的差異度小于某個特定值的時候，我將其定義為相似文章。

如果是一個注重用戶體驗的聚合性網(wǎng)站，那么他的作用是將現(xiàn)有的互聯(lián)網(wǎng)內(nèi)容經(jīng)過精心的分類與關聯(lián)，來方便用戶更好、更有效的閱讀。針對這樣的站點，即便其文章不是原創(chuàng)而是從互聯(lián)網(wǎng)上摘抄的，我也會給予其足夠的重視與排名，因為它良好的聚合內(nèi)容往往更能滿足用戶的需求。你們說，為什么當站文章中有大量相同時，會快速引起搜索引擎懲罰呢?這里我說的不是摘抄與原創(chuàng)的問題，而是你站內(nèi)自己和自己的文章重復。之所以搜索引擎反應這么快，同時懲罰嚴厲，根本原因就是在你的文章中，他提取不到內(nèi)容。現(xiàn)在基本上搜索引擎對于原創(chuàng)的識別，在大面上采用的是關鍵詞匹配結合向量空間模型來進行判斷。Google就是這么做的，在其官方博客有相應的文章介紹。這里，我就做個大白話版本的介紹，爭取做到簡單易懂。