您所在的位置: 首頁?>?千搜學(xué)院 > 網(wǎng)站優(yōu)化
搜索引擎蜘蛛一個搜索機(jī)制,搜索引擎“蜘蛛”也稱為網(wǎng)絡(luò)爬蟲、網(wǎng)頁蜘蛛,它可以按照一定的規(guī)則來主動地抓取人們所需要的信息的程序及腳本也同時可以抓取網(wǎng)頁上的信息、圖片及視頻等內(nèi)容,方便搜索引擎對其進(jìn)行檢索。
一、什么是搜索引擎蜘蛛
引擎蜘蛛一個搜索機(jī)制,搜索引擎“蜘蛛”也稱為網(wǎng)絡(luò)爬蟲、網(wǎng)頁蜘蛛,它可以按照一定的規(guī)則來主動地抓取人們所需要的信息的程序及腳本也同時可以抓取網(wǎng)頁上的信息、圖片及視頻等內(nèi)容,方便搜索引擎對其進(jìn)行檢索。
把互聯(lián)網(wǎng)上的每個網(wǎng)頁想象成節(jié)點(diǎn),那么許多的網(wǎng)頁就可以形成一個網(wǎng)狀模型,當(dāng)人們在瀏覽網(wǎng)頁點(diǎn)擊網(wǎng)頁鏈接時,網(wǎng)絡(luò)蜘蛛便從一個節(jié)點(diǎn)跳到另一個節(jié)點(diǎn)上,同時互聯(lián)網(wǎng)可以被想象成一張巨大的蜘蛛網(wǎng),蜘蛛在這張巨大的大網(wǎng)上抓取信息到瀏覽器的搜索引擎服務(wù)器上,并建立檢索庫。
二、搜索引擎蜘蛛的來源
在互聯(lián)網(wǎng)時代發(fā)展的前期,互聯(lián)網(wǎng)上的網(wǎng)站還相對較少,用戶想要查取信息還很容易簡便,后來隨著互聯(lián)網(wǎng)的飛速發(fā)展,各種網(wǎng)站的增多,內(nèi)容逐漸的豐富起來,一般的用戶想要找到自己想要的信息便如同是海底撈針,為了解決這一難題,用于滿足大眾檢索信息的機(jī)器人程序“蜘蛛”便應(yīng)運(yùn)而生。
三、蜘蛛的工作原理
網(wǎng)站是由各個網(wǎng)頁組成的,就像是一個蜘蛛網(wǎng),“蜘蛛”通過人們所提供的鏈接來尋找爬行,當(dāng)它通過讀取其中一個網(wǎng)頁的內(nèi)容,找到這個網(wǎng)頁中其他的鏈接地址,然后通過這個找尋其他的地址,如此往復(fù),直到將所有的網(wǎng)頁抓取完成。然后“蜘蛛”抓取網(wǎng)站是一層一層抓取的,就像蜘蛛編織蜘蛛網(wǎng)一樣,所以把搜索引擎爬行抓取網(wǎng)站的過程叫做“蜘蛛爬行”。
網(wǎng)絡(luò)爬蟲”在爬行的時,會對內(nèi)容進(jìn)行檢測,在權(quán)重比較低的網(wǎng)頁發(fā)現(xiàn)了過多的轉(zhuǎn)載抄襲或是內(nèi)容相似度很高的內(nèi)容時,“蜘蛛”便會停止爬行,并且不會抓取收錄這些內(nèi)容。搜索引擎為了提高爬行的速度,一般都會讓多個蜘蛛同時進(jìn)行爬行。
相關(guān)熱搜詞:SE工作原理