年前，優(yōu)刻得深圳分公司收到一面錦旗，寫著“匠心服務(wù)，bug終結(jié)者”。送來這面錦旗的是與優(yōu)刻得合作多年的老朋友——小恩愛。關(guān)于這面錦旗的故事要從去年小恩愛的一次內(nèi)部的業(yè)務(wù)整合說起。

小恩愛是一款專為情侶打造的社交類App，情侶可以通過小恩愛在線私密社區(qū)定向互動。與優(yōu)刻得從2013年合作至今已有8年之久，如今，小恩愛的用戶規(guī)模已達(dá)到1.5億。隨著業(yè)務(wù)的不斷發(fā)展，小恩愛在2020年年末決定進(jìn)行一次內(nèi)部存量資源的大整合，以迎接2021年業(yè)務(wù)的大發(fā)展。其中需要重點解決的問題就包括一個困擾他們6年之久的“疑難雜癥”。

這個“難題”說大不大，說小不小，最直接的表現(xiàn)就是，大約接近1%的小恩愛用戶會間歇性遭遇訪問異常，不是頁面顯示不全，就是功能使用異常，小恩愛的技術(shù)團(tuán)隊也曾針對這個問題排查過多次，但幾次分析業(yè)務(wù)代碼，都沒有發(fā)現(xiàn)異常，相關(guān)的日志也沒有報出錯誤，久而久之就成了歷史遺留問題。

2020年末，小恩愛趁著內(nèi)部資源整合的機會，把這個問題列入重點清理目錄。優(yōu)刻得 UCloud作為小恩愛合作的云服務(wù)商，參與了這次排查。開始，優(yōu)刻得 UCloud技術(shù)人員依照慣例，從云平臺、云產(chǎn)品側(cè)排查故障，并沒有發(fā)現(xiàn)問題。

優(yōu)刻得 UCloud技術(shù)團(tuán)隊沒有就此結(jié)束“任務(wù)”，而是從客戶端入手，“一查到底”。讓技術(shù)人員意外的是，一個看似不經(jīng)意的bug，涉及到的鏈條卻覆蓋了用戶終端、優(yōu)刻得 UCloud公有云，以及小恩愛的業(yè)務(wù)代碼，短時間內(nèi)很難精準(zhǔn)定位故障所在位置，只能逐步分段去排查與分析可能性。

為了更好復(fù)現(xiàn)問題，優(yōu)刻得 UCloud技術(shù)團(tuán)隊協(xié)助小恩愛一起聯(lián)系終端用戶，讓不同地域的用戶用網(wǎng)頁瀏覽器來訪問小恩愛，顯示一部分相同地域用戶會出現(xiàn)訪問異常，初步確認(rèn)故障的發(fā)生有很強地域性。

緊接著，優(yōu)刻得 UCloud技術(shù)團(tuán)隊通過mtr、ping等工具進(jìn)行網(wǎng)絡(luò)端故障排查，啟動多個不同服務(wù)端口進(jìn)行測試，得到的結(jié)論是：來自一些特定地域的用戶以“http://域名”形式訪問小恩愛網(wǎng)站時會出現(xiàn)訪問異常，而當(dāng)用戶以“http://域名:port”的形式訪問時，故障就消失了。對于這一現(xiàn)象，優(yōu)刻得 UCloud技術(shù)團(tuán)隊將關(guān)注點轉(zhuǎn)移到用戶請求的環(huán)節(jié)。

優(yōu)刻得 UCloud在公司內(nèi)部協(xié)調(diào)ULB和網(wǎng)絡(luò)產(chǎn)品團(tuán)隊，配合小恩愛對ULB收發(fā)請求進(jìn)行全鏈路抓包分析：從用戶請求發(fā)出到小恩愛后端主機，再到小恩愛主機服務(wù)，沒有發(fā)現(xiàn)任何問題。排查工作瞬間陷入僵局。

在對排查過程進(jìn)行復(fù)盤時，優(yōu)刻得 UCloud技術(shù)團(tuán)隊再次比對故障用戶的請求地址，發(fā)現(xiàn)故障用戶的請求代碼中多出“x-wsb-identity、x-up-calling-line-id”這兩個head；隨即，優(yōu)刻得 UCloud技術(shù)團(tuán)隊利用curl模擬用戶請求，主動刪掉這兩個head，訪問立即恢復(fù)正常。

由此，優(yōu)刻得 UCloud基本確認(rèn)，問題的根源在于部分地域的網(wǎng)絡(luò)接入服務(wù)商，在用戶請求中會自動增加head，導(dǎo)致部分用戶訪問時出現(xiàn)異常。

優(yōu)刻得 UCloud技術(shù)團(tuán)隊把這一問題現(xiàn)象反饋給小恩愛方面，小恩愛從后臺進(jìn)一步核查發(fā)現(xiàn)，x-wsb-identity、x-up-calling-line-id與其他head格式相比，少了空格，導(dǎo)致底層網(wǎng)絡(luò)工具庫在解析head時容易解析失敗，而解析工具沒有發(fā)出錯誤提示；至此，小恩愛方面修改了底層網(wǎng)絡(luò)工具庫，兼容格式不正確的head，解決了這一困擾六年之久的大BUG。

在解決故障的當(dāng)天，小恩愛CEO黃宇韜第一次在朋友圈寫下了：“改了一行代碼里的一個字符，徹底終結(jié)了六年來App的一個疑難bug，簡直太震撼了，造成如此復(fù)雜的問題是如此簡單的真相。”

一個看似簡單的故障，卻是來無影去無蹤的“高手”，需要花費比其他故障更多的時間、耐心來尋找和解決。在這背后，是優(yōu)刻得一直遵循的客戶為先的服務(wù)理念，在用戶遇到困難時一查到底，為客戶排憂解難，也因此收獲了客戶的真誠點贊。