搜索引擎將頁面的去重:
對于一樣的內容常常也出現(xiàn)在不一樣的網站和這個網站的不同連接中,可是,搜索引擎卻很討厭這種重復。進行內容的查詢,要是連續(xù)兩個網站的內容看到的是一樣的文章,那就會讓用戶對瀏覽的感覺變得糟糕。即使這上面的東西是很符合網站內容的。讓返回內容是這兩者中的一個,就需要對文章的內容進行識別并且刪掉一樣的。
這種過程使用的辦法是將內容的特征關鍵詞計算指紋,將內容中的具有代表的詞(一般是高頻詞)找出來,計算它們的數(shù)字指紋。在進行中文分詞、去停止詞、消噪,一般找十個詞就能夠有準確的計算。而選擇的再多,也不會對準確性再有太多的意義了。
就像是MD5算法,它的特點是,特征詞變化一點點,就能讓之后的指紋差很多。
想知道搜索引擎的這些算法,優(yōu)化者需要懂得加上的類詞、語句調序的偽原創(chuàng),不能夠躲開搜索引擎的這些算法,這是由于內容中的特征詞不會改變。而這些算法不一定只是在一個頁面,可能是在段落,融合的文章、轉換的順序也是不會將內容的摘抄變成原創(chuàng)的。
正向索引(索引)
經歷過搜索引擎的以上一些介紹的步驟的處理后的文章,就成了特別的、能夠展現(xiàn)文章內容、使用詞為基礎的內容。然后就能夠提詞了,將內容變成關鍵詞的組合,然后還要知道這些詞的出現(xiàn)多少、頻率、樣式(標題與H標簽、黑字、錨文字……)、地方(像頭一段)。
這樣子,將頁面變成關鍵詞的組合,而且里面的關鍵詞的詞頻、樣式、出現(xiàn)的地方的權重信息也就在里面了。像索引詞的格式:文件1——關鍵詞1、關鍵詞2、關鍵詞7、……、關鍵詞L;文件2——關鍵詞1、關鍵詞7……
文件都有獨立的ID,將其內容顯示為關鍵詞的組合。而在索引庫里,這些詞也成了關鍵詞ID。這種數(shù)據(jù)結構是正向索引。