與沙共舞 第二十八章,重大事故
更新:10-18 06:58 作者:令狐與無忌 分類:女生小說
第二天中午,曹松和錢旦站在st電信樓下準備打電話叫兄弟們一起去吃飯。
曹松撥着手機,越撥越緊張:「旦哥,我打樓上幾個人的電話打不通了。」
錢旦掏出手機:「我打下林漢的電話。」
那天林漢不在st電信,在偉華的辦公室里。
錢旦也緊張了:「打不通。」
曹松說:「旦哥,我打你電話。」
說罷他撥了錢旦的電話,兩個人面對面站着,儘管曹松沒有用免提,錢旦還是清清楚楚聽見他手機里的忙音。
兩個人背上直冒汗,轉身「噔噔噔」往樓上跑。
他倆衝進機房,就見甘法斯和兩個客戶圍着小偉,小偉專注地盯着維護終端。曹松叫:「小偉,怎麼回事?」
小偉聲音顫抖:「不知道,好像業務全斷了,我在跟蹤消息、看日誌。」
「你怎麼不通知我們?」
「我不知道你們在哪兒,打你們電話打不通。」
曹松看了一眼維護終端,當機立斷:「別找原因了,你把幾個業務進程重啟一下,我去把交換機的幾塊板子倒換了。」
他倆分頭操作,一個重啟主機上的軟件進程,一個倒換交換機上的主備板,然後,幾個人焦急地等待着,幾十秒的時間特別漫長。
小偉喊:「哎,應該是好了,我撥測看看。」
話音未落,老鍾黑着臉走了進來,陳永生緊跟在後面。
老鍾大聲說:「怎麼回事?我正在見ceo,說業務全斷了,是我們預付費系統的問題!」
曹松趕緊說:「好了,好了,我們正在撥測,已經恢復了。」
老鍾連着發問:「斷了多久?斷了多少用戶?什麼原因?」
曹松回答:「看日誌斷了三十分鐘,還不知道原因。」
老鍾很不滿意:「不知道原因?你們斷了也不知道怎麼斷的?好了也不知道怎麼好的?」
錢旦解釋說:「鍾總,我們先通過重啟、復位把業務恢復了,接下來再找原因。我們處理重大事故應該是優先恢復業務、然後再找原因這個順序的。」
老鐘身後的陳永生發言:「不知道事故原因?那事故會不會重現?」
錢旦趕緊表態:「我們守着,找到原因之前我們全部守在這裏。已經向家裏通報事故,拉研發的專家上來分析了。」
老鍾要求:「向家裏哪個領導通報事故了?給你們王總打電話沒有?馬上安排最牛的研發專家支持,趕緊查清楚原因,我先回ceo那裏去,有進展第一時間打電話給我。」
陳永生跟着老鍾走出去又折返回來,把錢旦拉到一旁,壓低聲音說:「最好別是偉華的原因,尤其不能是人為事故,即使是,你也要弄成不是,不然要『死人』的。」
通信網絡的重大事故通常指的是因為設備故障導致電話打不通、短訊發不出、上網上不了等業務中斷的情況。這樣的重大事故不僅會給電信運營商造成經濟損失、品牌傷害,還可能帶來惡劣的社會影響。
一張通信網絡不可能永遠是零事故,但必須能夠及時恢復事故,必須避免同樣的事故一再發生,偉華作為設備供應商,有理所當然的責任和義務。
偉華有嚴格的事故處理以及回溯的機制,在每一起重大事故處理完成後都必須先進行技術回溯,找到導致事故發生的所有原因,識別出根因,然後在技術回溯的基礎上進行管理回溯,找到在業務流程、管理機制上的改進點,並且對責任人進行相應的問責。
重大事故的根因分類要麼是因為客戶或者網絡上的第三方設備導致的非供方原因事故,要麼是因為偉華的設備原因或者現場服務人員操作錯誤導致的供方原因事故。
最糟糕是被定性為現場服務人員操作錯誤導致的人為事故,當事人往往會受到嚴厲的處罰,例如一年多以前,也門代表處的人為重大事故之後,當事工程師被辭退,代表處服務主管被撤職、調離,連地區部的老韓、老謝都負連帶責任被通報批評並被罰掉一筆「巨款」。
幾個人已經不存在吃午飯這回事了,也忘記了晚飯。
他們一直忙到深夜才把事故的來龍去脈梳理清楚,st電信的這套預付費系統的核心數據網絡未與客戶維護人員的維護操作網絡做有效隔離,客戶維護人員的網絡也沒有與客戶辦公室的辦公網絡做有效隔離,正是其辦公室網絡上的異常網絡流量,也就是所謂的網絡風暴導致核心系統受到影響,從而導致事故發生。
事故中斷時長三十分鐘,五十萬用戶呼叫受影響,也就是說當天中午蘇丹有五十萬手機用戶在三十分鐘內打不通電話。
事故的導火線是客戶辦公室網絡的網絡風暴,客戶的維護團隊也不想把賬算在自己頭上,和曹松他們一起寫了報告,把事故原因歸結在了其辦公網絡的管理上,再加上陳永生跑上跑下地做着幾個關鍵客戶的關係,兩邊的管理層對曹松他們並沒有太大不滿,只是責令雙方技術團隊完成數據網絡的整改。
過了兩天,曹松、錢旦召集軟件服務團隊的所有成員開事故總結會。
小偉講解了事故回溯報告,他說:「這次幸好是客戶原因造成的事故,影響不算太大,我們要提高警惕,不能再出事故。」
曹松站起來走到門口望望外面,把門關上,等不及回到座位上就開口了:「沒有外人,別客戶原因事故了,我一世英名差一點就毀在蘇丹了!這就是人為事故,幾年前在國內就發生過因為網絡沒有隔離,客戶維護人員在維護終端上用『金山影霸』看電影把網絡搞癱了的事故。早幾年公司就發過預警要求全網整改,現在都是哪一年了?虧得是在蘇丹,要是在國內現在出這種事故我就死定了。都算我的錯,下不為例,我明天請大家好好吃一頓去。」