大數據在電力通信網中的應用:電力通信網的數據主要來源于設備告警，設備運維，業(yè)務數據等各個環(huán)節(jié)，其數據具有數據量大，數據類型繁多，數據價值高等特征�；诤Ａ康臄祿�，對設備故障的預測，對于提高電力通信網系統(tǒng)的可靠性，減輕設備管理和維護的負擔具有重要意義�；陔娏νㄐ啪W的大數據應用將促進電網通信運行水平和管理效率的提高，“在進一步提升電網安全預控水平和供電可靠性的同時，帶來巨大的社會效益。”
循環(huán)神經網絡：大量的機器學習的任務都是處理時序相關的輸入，比如視頻分析，音樂檢索，時序相關的預測等等。循環(huán)神經網絡通過神經網絡內部的節(jié)點的循環(huán)能夠獲取序列的動態(tài)性。不同于普通的前饋神經網絡，RNN能夠在很長的上下文窗口中記住代表信息的狀態(tài)。在過去的幾年中，大量的論文在翻譯、圖像相關等領域使用RNN取得了很大的成果。在實際的應用中門控RNN，包括LSTM，GRU是最有效的模型，其允許網絡在較長的時間內積累信息，而且可以解決梯度爆炸和梯度消失的問題。Klaus Greff詳細的總結了LSTM的基礎架構和其相應的變體，以及LSTM在演講識別，手寫識別等方面的重大成功。他發(fā)現大部分LSTM的變體并沒有很大的提升網絡的性能，強調了忘記門和激活函數在LSTM中的重要作用。
Ke Zhang等人基于IT系統(tǒng)的日志，使用LSTM預測復雜IT系統(tǒng)的故障，結論發(fā)現LSTM在預測效果明顯好于機器學習的方法，展示出了LSTM在此領域的潛在優(yōu)勢。LSTM也被用在硬盤的故障預測，Chang Xu等使用時序的屬性，采用RNN的模型對硬盤的健康狀況進行預測，取得了很大的成功。RNN近年來在醫(yī)療領域取得了很大的成功，Edward Choi基于電子健康病歷的記錄，使用GRU的模型取進行心臟疾病的預測，相比傳統(tǒng)的機器學習方法性能上有很大的提高。
國內基于電力通信網設備日志的研究主要集中在故障定位和告警關聯(lián)性分析兩個方面，有大量的相關的論文。Jiang ZHONG等人使用某通信網絡設備的告警數據采用隨機森林、貝葉斯網絡等傳統(tǒng)的機器學習算法進行故障的預測，但是預測精度很差。目前電力通信網數據的相關研究基本采取的是傳統(tǒng)的機器學習方法，本文創(chuàng)新式地采用深度學習的方法，利用深度學習的強大的能力，使用改進的LSTM，將很大程度上提高預測的精度。深度學習相關的方法將給電力通信網的問題提供新的更好的解法。
問題拆分
首先提出了數據預處理和構建時序輸入的方法。LSTM相比簡單的循環(huán)神經網絡，更易于學習長期的依賴，能夠很好的解決序列相關的預測問題。因為設備告警之間存在很強的關聯(lián)性，通過PCA能夠確保變量之間的獨立性。本發(fā)明還使用目標復制的策略對LSTM進行改進，在時序每一步中都可以帶來局部的誤差信息，相比簡單的只在最后一步進行目標輸出，該策略能夠提升模型的精度，降低過擬合的風險。結合dropout，本發(fā)明提出LSTM的預測模型，深度學習能夠取得更好的預測精度。同時，本發(fā)明首次使用了LSTM對電力通信網告警數據進行建模，識別其內部的時序模式。
問題解決
電力通信網作為智能電網的支撐網絡，其可靠性已成為智能電網智能化和經濟、安全運行的先決條件。在電力通信網這種特殊的環(huán)境下，網絡系統(tǒng)的可靠性顯得尤為重要，特別是在一些關鍵業(yè)務的執(zhí)行過程中，設備的故障會導致重要信息的丟失，甚至業(yè)務的失敗。針對此環(huán)境下的設備故障的預測，能夠大大的減少業(yè)務失敗的風險，極大的提升設備維護和維修的水平。
電力通信網現已經積累了大量的數據，電力通信網的數據主要來源于設備告警，設備運維，業(yè)務數據，機房溫度、濕度數據等各個方面，其數據具有數據量大，數據類型繁多，數據價值高等特征。本發(fā)明主要以網絡設備的告警日志數據為基礎，提出一種基于改進的LSTM電力通信網設備故障預測模型，相比其他傳統(tǒng)的機器學習模型，
一種基于改進的LSTM的電力通信網設備故障預測方法，其特征在于，包括：
步驟1，對電力通信網設備的告警數據和機房動環(huán)數據進行預處理；
步驟2，構建基于時序的輸入，時間窗口構成一個時間序列，對于一個單獨的時間窗口ti，包含如下的幾類特征：
特征一、這個時間窗口內，設備所在機房的溫度的平均值，濕度的平均值，分別記為Ti,Hi
特征二、對于某臺設備，其告警的類型是固定的，表示為A1,A2,A3...Am.那么每種告警在該時間窗口內出現的次數為
特征三、對于每種在該時間窗口內發(fā)生的告警對應的持續(xù)時間(結束時間與開始時間之差)為
特征四、時間窗口的中心時間點距離設備上一次故障的時間長度Wi,如果設備正處于故障之中Wi為0；
特征五、三種告警級別提示、次要、重要、緊急在該時間窗口內分別發(fā)生的總次數L1i,L2i,L3i,L4i；
對于每種告警，比如A1，選擇前pre(本發(fā)明建議選擇5)個窗口，計算在pre個窗口中A1發(fā)生過的個數記為則概率
對于上述數值型的特征為了消除不同特征之間的量綱影響，需要對數據進行歸一化處理；綜上所述，將基于時序的輸入表示為向量的方式,如下所示：
步驟3，構建預測模型，并采用該模型進行電力通信網設備故障預測，具體是：定義模型從下往上依次是輸入層，PCA，LSTM隱藏層，dropout，輸出層；基于改進的LSTM構建深度神經網絡，來解決電力通信設備故障預測的問題，預測設備下一個時間窗口是否會發(fā)生故障是一個二分類的問題；給一個序列x1,x2...xT，需要學習一個分類器能夠生成真實結果y的預測值這里的y表示的是xT之后的時間窗口是否會發(fā)生故障；采用沒有peephole連接的LSTM記憶細胞來構造深度神經網絡，在LSTM隱藏層的上層構建了一個全連接的輸出層，使用sigmoid的激活函數輸出最終的預測目標；并使用交叉熵作為損失函數；
采用了目標復制的策略構建LSTM的預測架構，在每一個步驟上都進行輸出預測，從而在每一步中都可以帶來局部的誤差信息；基于該LSTM的預測架構，損失函數如下所示：
其中α∈[0,1]是一個超參數，表示在序列的中間步驟中其預測結果的相對重要性；
為了防止神經網絡的過擬合在LSTM隱藏層和輸出層之間使用dropout，并使用L2的權重衰減，基于這兩種防止過擬合的方案，分類器能夠取得更好的性能。
在上述的一種基于改進的LSTM的電力通信網設備故障預測方法，所述步驟1的預處理具體處理方法是：
步驟2.1、對非法的告警進行剔除，這些數據視其為臟數據，臟數據的輸入會影響預測的結果，主要包含以下幾種情況：告警的發(fā)生或者結束時間為非法時間，告警的結束時間早于告警的開始時間，告警類型的信息未定義等；
步驟2.2、定義閥值Threshold,如果告警的結束時間與開始時間之差，小于Threshold，將其過濾；Threshold可以通過繪制告警持續(xù)時間的曲線圖，結合專家知識進行評估，在本發(fā)明中建議閥值設為20秒；
步驟2.3、機房的溫度濕度數據一般是每隔五分鐘采集一次，但是有些數據存在缺失值，對于缺失的數據使用離該時間點最近的溫度、濕度數據進行代替。
在上述的一種基于改進的LSTM的電力通信網設備故障預測方法，還包括一個驗證步驟，具體是：
步驟4：將數據分成多份進行交叉驗證，從而選擇出更好的超參數；如果訓練的數據集較大，則可以采用小批量的隨機梯度下降法進行模型的訓練，可以節(jié)省計算資源，同時損失函數的下降會更加穩(wěn)定；為了評價模型的好壞，采用Precision、Recall、AUC、F1等指標進行綜合評價。
該模型有如下的優(yōu)點:
1.深度學習相比傳統(tǒng)的機器學習方法，如支持向量機，貝葉斯網絡、決策樹等模型，在大數據量的問題中，具有更好的學習和泛華能力。傳統(tǒng)的Logistic Regression等模型,為了使模型具有非線性的能力，需要采取離散化，特征組合等策略，需要大量的精力花費在特征工程上，非常依賴人力和領域的經驗知識，不夠智能。而深度學習能夠對特征自動進行排列組合，只需要輸入一階特征，省去了手動構造高階特征的工作量。考慮本文要解決的問題，在大規(guī)模通信網的故障預測中問題中，由于網絡本身的復雜性，導致特征的提取具有很大的難度，所以傳統(tǒng)的模型很難取得很好的預測效果。
2.LSTM相比簡單的循環(huán)神經網絡，更易于學習長期的依賴，能夠很好的解決序列相關的預測問題。通過多層的非線性轉換，LSTM能夠很好的適應復雜任務的建模。通過足夠的樣本數據的訓練，該模型能挖掘出混亂數據中的大量的有價值的信息。在設備完全發(fā)生故障之前往往會表現出一些癥狀，可以視為故障的潛伏期，這些癥狀主要是通過設備發(fā)出的告警、日志表現出來，有些故障的潛伏期很長，有些故障潛伏期很短，所以在時序上存在長期依賴和短期依賴兩種情況，而LSTM能夠很好地應對兩種依賴，從而取得很好的預測效果。在很多問題上，LSTM已經取得了很大的成功。
3.本發(fā)明對LSTM進行了改進，首先體現在神經網絡輸入特征的處理，對構建的特征進行PCA的主成分分析，降低數據的維度，因為設備告警之間存在很強的關聯(lián)性，如A告警發(fā)生的同時可能會導致B告警的發(fā)生，通過PCA主成分分析能夠確保變量之間的獨立性，同時可以達到去噪的效果。
4.在本發(fā)明中，通過目標復制策略改進了LSTM，使該模型能夠取得更好的性能，提高了模型的魯棒性，降低了過擬合的風險。本發(fā)明提出了適合電力通信網設備故障預測的深度學習架構。
