百度、360、搜狗、神馬、谷歌排名優(yōu)化
15206197711 
您所在的位置： 首頁(yè)?>?千搜學(xué)院 > 網(wǎng)站優(yōu)化
0
+1
分析網(wǎng)站日志是SEOer的必備技能，通過(guò)對(duì)網(wǎng)站日志進(jìn)行分析，我們可以更加清楚的了解到搜索引擎對(duì)網(wǎng)站爬行抓取的情況，即何時(shí)何種搜索引擎抓取了哪個(gè)URL頁(yè)面以及搜索引擎是否抓取成功，抓取網(wǎng)頁(yè)的數(shù)據(jù)量是多殺等信息。通過(guò)對(duì)這些數(shù)據(jù)的整理分析，我們可以很清楚的了解到網(wǎng)站的運(yùn)行狀態(tài)以及搜索引擎蜘蛛的爬行狀態(tài)，為后期的SEO操作提供數(shù)據(jù)基礎(chǔ)。
思維淺析
說(shuō)到網(wǎng)站日志，很多新手都覺得這個(gè)太復(fù)雜了，表示自己看不懂，更得不出指導(dǎo)SEO操作的結(jié)論。這么說(shuō)大都是由于不清楚網(wǎng)站日志數(shù)據(jù)的具體含義，以及不能正確的讀取網(wǎng)站日志文件所反映出的信息。
所謂的網(wǎng)站日志，并沒有想象中那么深?yuàn)W，簡(jiǎn)單的講就是記錄訪客訪問(wèn)網(wǎng)站的軌跡和痕跡所產(chǎn)生的文件記錄，在這里搜索引擎蜘蛛對(duì)網(wǎng)站的抓取可以看成網(wǎng)站的一種特殊訪客。
01
在分析網(wǎng)站日志之前我們需要對(duì)日志文件的一些基本參數(shù)信息做個(gè)簡(jiǎn)單了解。
#Software:表示軟件名稱
#Version: 表示版本號(hào)
#Date: 表示時(shí)間
#Fields：（這里對(duì)應(yīng)的即是網(wǎng)站日志文件中記錄條目，各項(xiàng)參數(shù)的具體釋義如下）
date：發(fā)請(qǐng)求的日期。
time：發(fā)出請(qǐng)求時(shí)間。
c-ip：客戶端IP地址。
......
02
盡管網(wǎng)站日志中的參數(shù)很多，但對(duì)我們做SEO優(yōu)化來(lái)說(shuō)，需要關(guān)注的是ip地址、時(shí)間、時(shí)區(qū)、訪問(wèn)路徑、http狀態(tài)碼、字節(jié)數(shù)訪問(wèn)頁(yè)面、客戶端瀏覽信息等參數(shù)值。
03
示例：117.26.203.167 - - [02/May/2011:01:57:44 -0700] "GET/index.php HTTP/1.1" 500 19967 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar)"（如果你的日志里格式不是如此，則代表日志格式設(shè)置不同）
117.26.203.167 訪問(wèn)ip
02/May/2011:01:57:44 -0700 訪問(wèn)日期 -時(shí)區(qū)（不同日志時(shí)間格式有所差異）
GET/index.php HTTP/1.1 根據(jù)HTTP/1.1 協(xié)議 抓取根目錄下index.php這個(gè)頁(yè)面（GET表示服務(wù)器動(dòng)作，/代表根目錄）
注意：很多日志里可以看到 200 0 0和200 0 64 則都代表正常抓取。
04
在整個(gè)網(wǎng)站日志中如何區(qū)分哪些是普通訪客哪些是搜索引擎呢？很簡(jiǎn)單，就是通過(guò)觀察日志記錄中表示訪問(wèn)者信息的那一段進(jìn)行區(qū)別。
百度官方給出的UA如下圖所示：
但需要注意的是盡管記錄中的UA與百度官方給出的UA相同，也可能是偽造的百度蜘蛛U(xiǎn)A，因此可以使用IP反查確認(rèn)是否為真實(shí)的百度蜘蛛訪問(wèn)抓取網(wǎng)站。
通過(guò)DNS反查IP的方式判斷spider是否來(lái)自百度搜索引擎。根據(jù)平臺(tái)不同驗(yàn)證方法不同，如linux/windows/os三種平臺(tái)下的驗(yàn)證方法分別如下：
1）、在linux平臺(tái)下，使用host ip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。
2)、在windows平臺(tái)或者IBM OS/2平臺(tái)下，使用nslookup ip命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來(lái)判斷是否來(lái)自Baiduspider的抓取。
3）、 在mac os平臺(tái)下，您可以使用dig 命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來(lái)判斷是否來(lái)自Baiduspider的抓取。
Tips：Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。
分析網(wǎng)站日志是每一位SEOer的必備技能，通過(guò)網(wǎng)站日志可以更加清楚的了解到搜索引擎爬行抓取網(wǎng)站內(nèi)容的情況，同時(shí)當(dāng)網(wǎng)站出現(xiàn)被黑或者掛馬等情況，通過(guò)分析網(wǎng)站日志，也能快速的定位到可疑文件，幫助站長(zhǎng)快速解決網(wǎng)站的安全隱患。
