[AI 回顧] 微軟 365 全球故障:例行變更如何牽動雲端與 AI 服務
摘要:微軟網路升級埋下的問題引發跨服務故障,凸顯雲端集中風險與備援難題。
內容:
微軟這次大規模故障,最終公布的初步原因不是網路攻擊,也不是 AI 代理操作,而是早前一次網路容量升級引入的問題,在後續網路變更後顯現。微軟還特別聲明,事件「與網路攻擊或 AI 代理無關」。這句罕見的澄清,也反映外界已開始關注 AI 代理是否可能影響生產環境。
故障在週四上午陸續浮現。約 9 時 45 分,Teams 先出現訊息無法傳送、聊天紀錄無法讀取等狀況;微軟當時將問題歸因於資源使用增加,並於 10 時 53 分表示已修復。但到 11 時 17 分,Outlook 又開始無法正常使用,微軟開立編號 EX1550543 的事件工單。下午 1 時左右,DownDetector 收到約 13 萬筆 Outlook 報障,通報來自 74 個國家與地區。
下午 1 時 26 分,微軟再開立 MO1550821 工單,處理依賴郵件後端的其他服務。受影響範圍不只郵箱:Exchange Online 的網頁、桌面與手機端連線異常;Teams 的日曆、會議邀請和線上活動建立受阻;SharePoint 外部共享出問題;Copilot 無法正常開啟對話或讀取郵件、日曆與檔案。Defender XDR、Purview、Microsoft Graph、Power BI 和 Power Apps 也分別出現延遲、逾時或登入異常。一層共用後端故障,牽動了多條產品線。
外部網路監測公司 ThousandEyes 記錄到連線重設、連線遭拒、回應逾時及大量伺服器端錯誤;其觀測顯示,封包遺失發生在微軟自身網路內,而非使用者的寬頻線路。有報導指出,故障期間 Azure 狀態頁仍顯示沒有活動事件,Microsoft 365 狀態頁卻載入緩慢甚至無法開啟,凸顯不同服務狀態頁可能提供不一致的故障視角。不過,這次事件與特定 Azure 網路變更的關係,各方說法並不一致,不能視為已確認的結論。
下午 2 時 18 分,微軟表示負載升高並非因為使用者流量增加,而是可用的處理能力下降。之後的通報提到,部分伺服器未通過自動健康檢查,因而被移出服務。健康檢查原本用來隔離故障機器;但當大量機器已因過載而無法回應,持續將它們移出服務,可能讓剩餘機器承受更大壓力,形成連鎖效應。
微軟一度懷疑處理伺服器健康狀態的元件,並測試替代檢查方式、恢復部分伺服器。然而,這些措施未達預期效果;後續分析指出,被移出的伺服器當時確實已無法處理請求,健康檢查未必判錯。更深一層的瓶頸,是負責建立安全連線的核心程序承受不住壓力,請求甚至無法進入後續處理流程。部分恢復的伺服器一接觸真實流量,又再次失效。
微軟隨後限制部分地區的特定流量、依先前版本的設定重建伺服器,並開始回滾一項與故障起點時間相近的網路配置變更。深夜通報又指出,路由服務對後端的呼叫量激增;這可能與大量客戶端反覆重試有關,而不代表實際使用者突然增加。到了週五凌晨,上游認證與路由設定的修補程式部署至部分設施後,情況才逐步穩定。微軟也把郵件的逾時視窗延長至 48 小時,優先避免延遲送達的郵件被過早判定為失敗。
影響延伸到企業之外。日本政府表示,跨部門通訊受阻,已啟用電話等替代方式;新加坡政府科技局表示,政府郵件中斷正與微軟合作處理,當地法院也通報收發郵件出現問題,同時強調緊急服務維持正常。這些案例顯示,當政府辦公流程依賴同一套雲端服務,商業系統故障也可能成為公共服務問題。
經濟影響方面,Anderson Economic Group 初步估計生產力損失約 70 億美元,並估算週四約 2,600 萬人、週五約 5,100 萬人的工作受到可計量的影響。這是未能完成工作所折算的產值,不是微軟須支付的賠償,也不是直接蒸發的現金;數字仍屬初步估算。
微軟特別否認 AI 代理涉入,有其產業背景。《金融時報》曾報導,亞馬遜雲一宗故障與工程師使用編碼代理 Kiro 進行變更有關;亞馬遜則將問題歸因於存取控制配置不當,強調不是 AI 本身造成。兩種說法指向同一個治理問題:當代理取得足以修改生產環境的權限,授權範圍與變更審查就格外重要。就這次微軟事件而言,目前沒有證據顯示 AI 代理是肇因。
AI 在本次故障中更直接的角色,反而是下游受害者。OpenAI 提醒使用者,與微軟的新連線及部分工具可能異常;Anthropic 也通報上游服務商問題,Claude 連接郵件、日曆等工具的請求受到影響。企業 AI 助手若要讀取郵件、文件與行事曆,就必然依賴這些辦公系統。相關後端失效時,AI、資料工具及安全合規服務也可能一起受波及。
另一個值得討論的背景是擴容壓力。微軟表示,問題源於先前的網路容量升級;在 AI 需求與基礎設施投資持續增加的環境下,頻繁變更可能帶來更多操作風險。不過,「AI 需求促成此次故障」是對產業背景的推論,並非微軟公布的根因,兩者不能畫上等號。
對企業而言,「改用多雲」也不是郵件與身分系統的簡單解方。算力和儲存較容易分散,但郵件路由、單點登入、帳號權限與通訊錄通常仰賴同一套權威系統;維持兩套即時一致的環境,成本與複雜度都很高。因此,現實中的備援往往是電話、簡訊或其他聊天工具,能維持基本溝通,卻未必能立即恢復原有業務流程。
個人與團隊仍可做一些準備:為重要郵件保留本機副本;將關鍵聯絡人的電話存在手機本機;妥善保存雙重驗證備份碼;有截止日期的報稅、簽證或政府申請,不要等到最後一天才透過單一線上服務辦理。
監管也開始正視大型雲端供應商的集中風險。歐盟金融業數位營運韌性法規 DORA 之下,三大監管機構公布的首批關鍵資訊通訊技術第三方服務商名單包含微軟及其他大型科技企業。當少數供應商支撐大量企業與公共服務,一次例行變更的影響就不再只是單一公司的內部事故。
目前微軟完整的事後報告尚未公布,故障如何從最初的容量升級一路傳導至各服務,仍應以後續正式報告為準。比找出這一次的觸發點更重要的問題是:下一次不可避免的擴容與變更,微軟將如何避免同樣的連鎖失效?
.png)
沒有留言:
張貼留言