一、高效過濾技巧：3步搞定無效請求，避免數(shù)據(jù)失真（核心技巧）

技巧1：合并過濾命令，一次完成所有無效請求排除

• Nginx合并命令（直接復(fù)制，替換日志路徑即可）： grep "$(date +%d/%b/%Y)" /var/log/nginx/access.log | grep -v -E "bot|spider|curl|wget" | grep "200 OK" | grep -v -E "\.js|\.css|\.png|\.jpg"
• Apache合并命令（CentOS，直接復(fù)制）： grep "$(date +%d/%b/%Y)" /var/log/httpd/access_log | grep -v -E "bot|spider|curl|wget" | grep "200 OK" | grep -v -E "\.js|\.css|\.png|\.jpg"
• 技巧要點：命令順序不可亂（日期→爬蟲→有效狀態(tài)碼→靜態(tài)資源），確保過濾后的數(shù)據(jù)，全是“當(dāng)天、真實用戶、有效頁面請求”，可直接用于統(tǒng)計PV。

技巧2：精準(zhǔn)匹配爬蟲標(biāo)識，避免誤判真實用戶

• 擴展爬蟲關(guān)鍵詞：除了“bot、spider”，新增“Baiduspider、Googlebot、Yahoo! Slurp”（主流搜索引擎爬蟲），過濾命令優(yōu)化為：grep -v -E "bot|spider|Baiduspider|Googlebot|curl|wget"；
• 避免誤判真實用戶：部分真實瀏覽器標(biāo)識含“bot”（如“botnet”），可加上“^”限定開頭，過濾命令調(diào)整為：grep -v -E "^bot|^spider"（僅過濾以bot/spider開頭的爬蟲標(biāo)識）；
• 快速驗證：過濾后，隨機查看幾條日志，確認(rèn)客戶端標(biāo)識均為“Mozilla/5.0、Chrome”等真實瀏覽器標(biāo)識，無爬蟲痕跡。

技巧3：靈活過濾靜態(tài)資源，適配不同網(wǎng)站場景

• 擴展靜態(tài)資源過濾命令：grep -v -E "\.js|\.css|\.png|\.jpg|\.ico|\.gif|\.svg"；
• 避坑細(xì)節(jié)：若網(wǎng)站有動態(tài)圖片接口（如/img/123?type=png），不可按后綴過濾，可改為過濾靜態(tài)資源路徑（如grep -v "/static/"），避免誤過濾有效接口請求。

二、核心數(shù)據(jù)提取技巧：快速獲取PV、峰值，適配并發(fā)數(shù)計算

技巧4：1條命令統(tǒng)計當(dāng)天有效PV，無需手動計數(shù)

# Nginx示例：統(tǒng)計當(dāng)天有效PV
grep "$(date +%d/%b/%Y)" /var/log/nginx/access.log | grep -v -E "bot|spider|curl|wget" | grep "200 OK" | grep -v -E "\.js|\.css|\.png|\.jpg" | wc -l

技巧5：峰值時段+峰值PV，1條命令精準(zhǔn)定位

# Nginx示例：提取當(dāng)天PV最高的5個時段（含峰值）
grep "$(date +%d/%b/%Y)" /var/log/nginx/access.log | grep -v -E "bot|spider|curl|wget" | grep "200 OK" | grep -v -E "\.js|\.css|\.png|\.jpg" | awk '{print $4}' | cut -d: -f1-2 | sort | uniq -c | sort -nr | head -5

技巧6：快速統(tǒng)計UV，輔助判斷訪問規(guī)模

# Nginx示例：統(tǒng)計當(dāng)天有效UV
grep "$(date +%d/%b/%Y)" /var/log/nginx/access.log | grep -v -E "bot|spider|curl|wget" | grep "200 OK" | awk '{print $1}' | sort | uniq | wc -l

三、效率提升技巧：新手必學(xué)，節(jié)省解讀時間（避開繁瑣操作）

技巧7：聚焦4個核心字段，其余字段直接忽略

• 客戶端標(biāo)識（$8）：僅用于過濾爬蟲；
• 訪問時間（$4）：僅用于定位峰值時段；
• 請求路徑（$7）：僅用于區(qū)分有效頁面請求；
• 狀態(tài)碼（$9）：僅用于判斷請求是否有效。

技巧8：大日志“分片解讀”，避免服務(wù)器卡頓

• 查看最新100條日志（快速排查近期請求）：tail -100 日志路徑（如tail -100 /var/log/nginx/access.log）；
• 查看當(dāng)天上午的日志（分片統(tǒng)計）：grep "$(date +%d/%b/%Y):09" 日志路徑（僅解讀9點-10點的日志）；
• 技巧要點：大日志解讀，優(yōu)先“分片統(tǒng)計”，再合并結(jié)果，避免一次性解讀完整日志，節(jié)省服務(wù)器資源。

技巧9：常用命令保存為別名，無需重復(fù)輸入

# 示例：給Nginx有效PV統(tǒng)計命令設(shè)置別名（臨時生效）
alias nginx_pv='grep "$(date +%d/%b/%Y)" /var/log/nginx/access.log | grep -v -E "bot|spider|curl|wget" | grep "200 OK" | grep -v -E "\.js|\.css|\.png|\.jpg" | wc -l'

# 后續(xù)使用：直接輸入 nginx_pv，即可統(tǒng)計當(dāng)天有效PV

四、異常排查技巧：快速定位日志中的問題，輔助服務(wù)器運維

技巧10：按狀態(tài)碼快速排查異常，定位服務(wù)器問題

# Nginx示例：統(tǒng)計當(dāng)天所有狀態(tài)碼數(shù)量
grep "$(date +%d/%b/%Y)" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c | sort -nr

• 404數(shù)量過多：可能是頁面鏈接錯誤、資源缺失，需排查網(wǎng)站鏈接；
• 500數(shù)量過多：服務(wù)器自身故障（如代碼報錯、數(shù)據(jù)庫異常），需查看錯誤日志（error.log）排查；
• 302數(shù)量過多：頁面跳轉(zhuǎn)異常，需排查網(wǎng)站跳轉(zhuǎn)配置。

技巧11：通過IP定位異常請求（如惡意請求）

# Nginx示例：提取當(dāng)天請求次數(shù)最多的10個IP
grep "$(date +%d/%b/%Y)" /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -10

技巧12：區(qū)分訪問日志與錯誤日志，不混淆排查方向

• 訪問日志（access.log）：僅用于提取有效訪問量、統(tǒng)計PV/UV、定位峰值，排查請求相關(guān)問題；
• 錯誤日志（error.log）：僅用于排查服務(wù)器報錯（如500錯誤、配置錯誤），命令：tail -100 錯誤日志路徑（如tail -100 /var/log/nginx/error.log），快速查看近期報錯。

五、場景適配技巧：確保數(shù)據(jù)貼合實際，支撐并發(fā)數(shù)計算

技巧13：快速區(qū)分內(nèi)網(wǎng)/外網(wǎng)日志，避免誤導(dǎo)計算

• 內(nèi)網(wǎng)IP特征：以192.168.xxx.xxx、10.xxx.xxx.xxx、172.16.xxx.xxx開頭，此類日志僅用于測試，不用于線上并發(fā)數(shù)計算；
• 快速過濾外網(wǎng)日志：grep -v -E "192.168|10\.|172\.16" 日志路徑，僅保留外網(wǎng)IP請求日志。

技巧14：選擇“正常日志”，排除異常日期干擾

• 優(yōu)先選擇近7天的日志，排除節(jié)假日、活動日、服務(wù)器故障日（可通過狀態(tài)碼統(tǒng)計排查故障日）；
• 若某一天PV是平時的5倍以上（如日常1000，某一天5000），則排除該日期日志，不用于并發(fā)數(shù)計算，避免誤導(dǎo)服務(wù)器配置。

六、技巧總結(jié)（貼合前文，形成閉環(huán)）

• 3個核心：聚焦有效PV、峰值時段、異常排查，不偏離需求；
• 4個重點：掌握合并過濾、命令統(tǒng)計、分片解讀、狀態(tài)碼排查，提升效率；
• 5個避免：避免過濾不徹底、避免混淆PV/UV、避免解讀無關(guān)字段、避免用異常日志、避免混淆內(nèi)網(wǎng)/外網(wǎng)日志。