2）尷尬而危險的平衡——更高的恢復(fù)要求

2022年6月16日凌晨，在提交初步解決方案后，嘉為技術(shù)團隊與開始域IT管理員溝通實施細節(jié)，卻發(fā)現(xiàn)遠程實施該方案存在著以下不可預(yù)估的風險：

• 沒有健康A(chǔ)D的可用備份。
• 無法對主域控制器執(zhí)行重啟操作，僅有主域控制器能提供認證服務(wù)，停機影響過大。

由于當前主要業(yè)務(wù)功能未受到很大影響，于是約定當日下午到企業(yè)現(xiàn)場進行故障處理。經(jīng)過現(xiàn)場溝通，我們對其AD域故障事件的復(fù)雜性有了全面的認知：

① 恢復(fù)方案不能中斷業(yè)務(wù)：主域控無法停機，任何涉及重啟的修復(fù)操作不在考慮范圍之內(nèi)。

② 恢復(fù)方案受復(fù)雜環(huán)境影響大：AD域環(huán)境混亂，恢復(fù)方案需要排除的影響點過多，其中包括：

• 環(huán)境中域控制器版本橫跨Windows Server 2008 R2到Windows Server 2019，且服務(wù)器沒有定期進行補丁更新，DFS組件可能存在漏洞；
• 網(wǎng)絡(luò)環(huán)境復(fù)雜，橫跨多個機房，域控間應(yīng)開啟的網(wǎng)絡(luò)策略并未全部放通，且域控制器皆為物理服務(wù)器，人員響應(yīng)有時空上的困難；
• 各地域控制器由不同管理員管理，其上安裝了各類服務(wù)，存在個別自行下線，元數(shù)據(jù)殘留的域控制器。

③ 恢復(fù)方案的時間壓力大：618期間，業(yè)務(wù)流量大，連續(xù)性要求高，當前僅一臺域控制器提供認證，隨時可能發(fā)生業(yè)務(wù)中斷，必須盡快恢復(fù)。

既不能停機，又沒有AD健康備份的保障，再加上參差不齊的服務(wù)器配置、復(fù)雜難捋的網(wǎng)絡(luò)環(huán)境以及業(yè)務(wù)高峰的現(xiàn)實壓力，此時這套AD系統(tǒng)，正處在一個尷尬而危險的平衡點，隨時有可能繃斷。

在對故障信息有了以上清晰的認知后，嘉為團隊提出了一個新的解決方案，用過隔離輔助域控，進行林恢復(fù)。

3）新方案的制定——保障業(yè)務(wù)連續(xù)穩(wěn)健恢復(fù)

2022年6月17日上午，嘉為團隊再一次對企業(yè)AD域環(huán)境進行了深度調(diào)研，獲取各個域控的基本信息、應(yīng)用角色以及受損情況。

針對域控上的服務(wù)角色，如DHCP、DPS、CA等，分別制定了遷移方案，以此形成了服務(wù)器信息調(diào)研表、拓撲圖，故障恢復(fù)流程、checklist、恢復(fù)備案等合一的AD環(huán)境故障恢復(fù)方案。

同時與企業(yè)AD管理員、網(wǎng)絡(luò)管理員、應(yīng)用管理員等幾乎所有相關(guān)的IT管理員溝通，并組織了多次的方案討論，最終確定了恢復(fù)方案。

在最終確定的恢復(fù)方案中，高版本的輔助域控將作為恢復(fù)基點，在隔離環(huán)境中執(zhí)行以下操作：

• 奪取操作主機角色
• 清理其他域控的元數(shù)據(jù)
• 執(zhí)行SVSVOL權(quán)威還原

確保林恢復(fù)完成后，再進行一系列的域控搭建、服務(wù)角色遷移、脫域計算機處理等操作：

4）新方案的執(zhí)行——些許波折，成功執(zhí)行

2022年6月18日晚。所有人到崗待命，開始執(zhí)行恢復(fù)方案。

然而在準備隔離環(huán)境域控制器第一步時，就發(fā)生了令氣壓驟增的情況，原定計劃需要使用生產(chǎn)環(huán)境的輔助域控進行裸機備份，再將裸機備份還原到隔離環(huán)境中，進行修復(fù)。

然而，企業(yè)整體環(huán)境中的虛擬化平臺資源極少，大部分服務(wù)器均為物理機，在進行裸機備份還原的過程中，客戶提供的虛擬機始終無法成功還原備份。

在經(jīng)過2小時的嘗試后，嘉為團隊決定采用備份還原驗證域生產(chǎn)服務(wù)器恢復(fù)并行的策略，即將備份提供給嘉為，讓其使用其他可用環(huán)境還原驗證，同時將一臺生產(chǎn)環(huán)境的輔助域控制器進行隔離，進行恢復(fù)操作。

這樣的決定，雖然稍微提高了對生產(chǎn)環(huán)境服務(wù)器的風險，但范圍可以接受（限定在1臺輔助域控制器）。終于在次日凌晨3點，成功在隔離環(huán)境中執(zhí)行了林恢復(fù)，應(yīng)用接入認證正常，常規(guī)域服務(wù)功能驗證正常。

凌晨6點時，其他站點的輔助域控制器進行了替換，服務(wù)角色特逐步開始遷移，終于在員工上班前，所有角色完成了遷移并通過了功能驗證。完成上述工作后，企業(yè)AD域的基本業(yè)務(wù)均已恢復(fù)，AD域的可用性得到保障，所有人都松了一口氣。

03. 案例示警

針對上述AD域故障恢復(fù)案例，我們可以提供一些具體的建議或建設(shè)范疇：

• 提高認知：AD是基礎(chǔ)架構(gòu)核心系統(tǒng)，明晰AD運維在企業(yè)內(nèi)部的定位。
• AD設(shè)計規(guī)范：使用什么版本的系統(tǒng)、開通哪些網(wǎng)絡(luò)端口、何時增加域控、何時增加站點、對接入應(yīng)用有什么要求等范疇，建議制定相關(guān)的規(guī)范，以確保AD域環(huán)境的規(guī)范。
• 災(zāi)難恢復(fù)演練：做好AD備份，定期進行災(zāi)難恢復(fù)演練，更新災(zāi)難恢復(fù)文檔，制定災(zāi)難恢復(fù)響應(yīng)流程。
• 建設(shè)AD域服務(wù)監(jiān)控。

正如開頭所說，AD是一套在許多企業(yè)內(nèi)部落地的的基礎(chǔ)架構(gòu)系統(tǒng)，許多事件的參考信息可以很便捷地在網(wǎng)絡(luò)上查閱，有關(guān)特定事件的處理、特定的功能實現(xiàn)也有齊備的文檔參考，但這僅僅只能提高運維人員處理特定問題的能力，卻無法在AD運維的整體邏輯上提供保障。

實際上，我們?nèi)匀粫槐橛忠槐榈慕ㄗh和幫助客戶建立起適用于企業(yè)的AD運維管理規(guī)范，它們是圍繞AD的操作文檔、規(guī)章制度、流程管理、運維工具和一系列運維實踐，是這些要素共同服務(wù)于企業(yè)IT管理理念的產(chǎn)物。對于AD而言，健壯的“體魄”，而非“藥石”，能更好地避免“傷筋動骨”。

04. 嘉為AD運維服務(wù)

針對企業(yè)AD運維，嘉為團隊提供全面一站式的技術(shù)服務(wù)，包括：AD及基礎(chǔ)架構(gòu)實施、AD域升級與架構(gòu)優(yōu)化、AD安全加固、AD HW服務(wù)等，助企業(yè)打造堅如磐石的IT系統(tǒng)，為企業(yè)信息系統(tǒng)保駕護航。

除此之外，嘉為還提供規(guī)劃咨詢服務(wù)、系統(tǒng)建設(shè)服務(wù)、二線專家服務(wù)、系統(tǒng)優(yōu)化服務(wù)、IT運維整體外包服務(wù)、人員派駐等服務(wù)，企業(yè)可以根據(jù)需求自由組合選擇使用的服務(wù)內(nèi)容和范圍。

05. 智能轉(zhuǎn)型——WeOps一體化運維平臺

針對該科技公司AD域故障事件，嘉為團隊后續(xù)推薦了WeOps一體化運維平臺，持續(xù)賦能，幫助企業(yè)運維逐步邁向智能化。

嘉為藍鯨WeOps，是一款專注于保障企業(yè)業(yè)務(wù)連續(xù)性、支持國產(chǎn)化的一站式運維平臺，以故障定位和全生命周期管理為核心，融合聯(lián)動資源中心、健康掃描、監(jiān)控告警、知識庫、數(shù)字大屏及自動化運維工具等多項功能。

有關(guān)企業(yè)AD運維，WeOps平臺可從預(yù)防和監(jiān)控故障處理兩方面保駕護航：

1）預(yù)防

WeOps平臺可針對日常排查時發(fā)現(xiàn)的一系列隱患做到及時預(yù)防。案例中由于企業(yè)AD不規(guī)范導(dǎo)致系統(tǒng)存在沒有備份、沒有補丁安裝、網(wǎng)絡(luò)環(huán)境負載等隱患，而WeOPs平臺可通過作業(yè)平臺定時自動備份、通過補丁安裝進行定期安裝、通過平臺進行網(wǎng)絡(luò)設(shè)備的自動發(fā)現(xiàn)，生成拓撲完美解決上述問題。

2）監(jiān)控故障處理

WeOps平臺中的監(jiān)控告警系統(tǒng)，可做到持續(xù)監(jiān)控，智能告警，提前發(fā)現(xiàn)問題，降低業(yè)務(wù)影響，一旦發(fā)生故障，可通過拓撲圖分析關(guān)聯(lián)影響，同時結(jié)合資產(chǎn)管理分析資產(chǎn)影響情況，最后采用自動化工具快速解決故障，持續(xù)保障企業(yè)業(yè)務(wù)連續(xù)性。

嘉為藍鯨WeOps平臺滿足國產(chǎn)化兼容，支持在國產(chǎn)環(huán)境下的一站式運維，自主可控，幫助用戶解決工具功能單一、眾多IT運維對象管理難、自動化程度低、信創(chuàng)生態(tài)產(chǎn)品兼容等問題，助力客戶安全落地一站式運維場景。