基于Hadoop云平臺的大數據集群服務運行狀態監控及預警研究
「大數據分析平臺集成的功能較多，保存的數據規模也非常大，訪問次數也非常頻繁，因此大數據分析平臺運行過程中需要加強狀態監控，以便能夠實時的分析平臺的負載能力，提高平臺的資源利用率。本文詳細地分析大數據集群服務運行狀態監控和預警模式，從操作日志、運行狀態等多個方面分析平臺狀況，以便能夠及時的處理突發事件，保證大數據平臺安全穩定運行。(2023-2-25)」
關鍵詞：大數據;運行監控;預警;數據挖掘
中圖分類號：TP277 文獻標識碼：A 文章編號：1007-9416（2019）12-0181-01
0 引言
目前，電信運營商和移動互聯網等企業為了吸引用戶，為用戶提供了更多的信息服務，不僅包括傳統的數據語音通信服務，還包括高清視頻、文本圖像等內容服務。為了提高用戶服務質量，搶占更多的市場份額，已經構建了較多的大數據平臺，這些平臺承載著數以億計的用戶和海量數據資源，監控這些平臺的運行狀態就顯的非常重要[1]。因此，本文基于筆者多年研究，以突破基于移動互聯網的大數據分析技術，形成“基于移動互聯網的業務支撐大數據管理平臺”為宗旨，設計一個新型的大數據平臺預警和監控模式，實時監控大數據平臺運行情況。
1 大數據集群服務運行狀態監控及預警研究
大數據平臺包括的功能非常多，分別是采集層、存儲層、計算層、模型層、服務層、應用層、運營管理及安全備份。因此，大數據集群服務運行狀態監控及預警就顯的非常重要，也是大數據平臺的一個重要子功能[2]。系統監控的指標主要包括三個方面，一是物理硬件運行狀態，比如CPU、存儲器等，二是監控接入的應用軟件數量和訪問用戶數量，三是監控系統的運行負載能力、運行可靠性等，其中最為關鍵的就是物理硬件的監控，因為這些設備涉及到數據信息的加工和保存，一旦發生錯誤就會產生不可估量的損失。監控預警可以使用狀態數據挖掘和分析模塊輸出。
大數據集群服務運行狀態監控和預警功能可以歸納為以下五個方面，分別是選擇數據采集及管理系統、構建Hadoop集群監控平臺、數據整合和預處理、數據信息存儲、狀態數據挖掘和分析[3]。如圖1所示。
�。�1）數據采集及管理系統。大數據平臺運行中，其面臨的數據資源非常多，為了提高這些數據資源的組織管理效率，需要使用與之匹配的操作系統，盡可能的提高大數據的優先級訪問、熱點數據存儲，管理大數據的物理存儲空間，實現資源的調度和分配。本文結合監控平臺的實際情況，選擇RedHat操作系統，其可以作為底層工具，實現數據采集和處理，保證系統的可擴展性。（2）構建Hadoop集群監控平臺。Hadoop是一個軟件平臺，其可以運行大數據處理軟件，最核心的技術為MapReduce，能夠將大量的計算機組成一個集群，實現海量數據分布式計算，實施監控平臺的運行。（3）數據整合和預處理。大數據集成的資源非常多，比如文件日志、關系數據、對象數據等，這些有結構性數據也有非結構性數據，因此在把數據整合在一起時需要進行預處理，以便能夠利用企業服務總線進行通信傳輸，提高數據的一致性和可靠性。數據預處理可以利用HiveSQL工具，能夠實現信息加工。（4）數據存儲。大數據平臺最重要的功能就是存儲。數據存儲可利用HBase和Kudu等存儲管理工具，本文選擇使用HBase軟件，建立一個生態存儲圈，不斷地提高大數據平臺的存儲和管理水平，還可以降低訪問延遲，提高數據分析能力。（5）狀態數據挖掘和分析。該平臺可以針對系統平時運行的日志數據進行挖掘和分析，從而可以發現其中產生的錯誤，然后追蹤和分析錯誤產生的原因，并且查看關聯的軟硬件資源，從而及時的發現存在問題，迅速采取措施解決問題。
2 Hadoop云平臺在大數據集群服務運行狀態監控及預警中的應用與設計
大數據集群服務運行狀態監控及預警平臺構建完畢之后，其最為關鍵的就是Hadoop云平臺的應用和設計。Hadoop云平臺目前已經吸引了很多的商業公司進行研發和設計，構建了各種開源組件，包括Sqoop、Hbase和Spark等。Hadoop包括很多的組成元素，最底層的組成元素就是Hadoop Distributed File System（HDFS），其可以保持Hadoop集群平臺中的所有存儲節點文件，HDFS的上一層就是一個MapReduce引擎，這個引擎包括兩個組成部分，分別是JobTrackers和TaskTrackers，利用Hadoop可以實現數據處理和操作，進一步滿足分布式數據操作。
Hadoop云平臺是一個為大數據平臺提供并行處理的計算模型，更適用于集群平臺高性能計算，允許數以億計的節點進行分布式集群，可以實現分布式操作服務。Hadoop云平臺提供一個龐大的、設計精良的并行計算軟件，自動化地完成計算任務，分配大數據存儲空間資源，實現數據分布存儲、通信和容錯處理。Hadoop云平臺能夠處理海量的半結構化數據，利用并行的結構解決特定的、復雜的數據處理問題，比如在一個關系數據庫中，其可以使用SQL語言執行數據插入、查詢、修改和刪除操作，還可以使用傳統的C++語言、Java語言等解決這個問題，實現數據庫操作語言與傳統程序語言的有效結合，實現一個功能更加強的數據處理功能。
3 結語
大數據平臺的正常運行影響運營商和內容服務商的用戶體驗，因此加強大數據平臺的運行監控和預警，及時的優化存儲空間和占用資源，就可以提高平臺的可用性、可靠性和完整性，也可以提高平臺的服務水平和質量。
參考文獻
[1] 宋亞奇，周國亮，朱永利，等.云平臺下輸變電設備狀態監測大數據存儲優化與并行處理[J].中國電機工程學報，2015，35（02）：255-267.
[2] 張帥，賈如春.基于Hadoop的大數據信息安全監控云平臺設計與研究[J].計算機測量與控制，2017，25（09）：72-74+78. [3] 劉殊.基于Hadoop的分布式云監控平臺系統的研究與設計[J].電子設計工程，2016，24（15）：9-12.
Research on Monitoring and Early Warning of Big Data Cluster Service Operation Status Based on Hadoop Cloud Platform
XU Yu-biao
�。═echViewInfo Co.，Ltd.，Guangzhou Guangdong 510305）
Abstract：The big data analysis platform integrates more functions， the scale of the stored data is very large， and the number of visits is very frequent. Therefore， the status monitoring of the big data analysis platform needs to be strengthened in order to analyze the load capacity of the platform in real time and improve The resource utilization of the platform. This article analyzes the operation status monitoring and early warning mode of the big data cluster service in detail， and analyzes the platform status from various aspects such as operation logs and operation status， so as to be able to deal with emergencies in time and ensure the safe and stable operation of the big data platform.
Key words：big data; operational monitoring; early warning; data mining
(9M眠)
中圖分類號：TP277 文獻標識碼：A 文章編號：1007-9416（2019）12-0181-01
0 引言
目前，電信運營商和移動互聯網等企業為了吸引用戶，為用戶提供了更多的信息服務，不僅包括傳統的數據語音通信服務，還包括高清視頻、文本圖像等內容服務。為了提高用戶服務質量，搶占更多的市場份額，已經構建了較多的大數據平臺，這些平臺承載著數以億計的用戶和海量數據資源，監控這些平臺的運行狀態就顯的非常重要[1]。因此，本文基于筆者多年研究，以突破基于移動互聯網的大數據分析技術，形成“基于移動互聯網的業務支撐大數據管理平臺”為宗旨，設計一個新型的大數據平臺預警和監控模式，實時監控大數據平臺運行情況。
1 大數據集群服務運行狀態監控及預警研究
大數據平臺包括的功能非常多，分別是采集層、存儲層、計算層、模型層、服務層、應用層、運營管理及安全備份。因此，大數據集群服務運行狀態監控及預警就顯的非常重要，也是大數據平臺的一個重要子功能[2]。系統監控的指標主要包括三個方面，一是物理硬件運行狀態，比如CPU、存儲器等，二是監控接入的應用軟件數量和訪問用戶數量，三是監控系統的運行負載能力、運行可靠性等，其中最為關鍵的就是物理硬件的監控，因為這些設備涉及到數據信息的加工和保存，一旦發生錯誤就會產生不可估量的損失。監控預警可以使用狀態數據挖掘和分析模塊輸出。
大數據集群服務運行狀態監控和預警功能可以歸納為以下五個方面，分別是選擇數據采集及管理系統、構建Hadoop集群監控平臺、數據整合和預處理、數據信息存儲、狀態數據挖掘和分析[3]。如圖1所示。
�。�1）數據采集及管理系統。大數據平臺運行中，其面臨的數據資源非常多，為了提高這些數據資源的組織管理效率，需要使用與之匹配的操作系統，盡可能的提高大數據的優先級訪問、熱點數據存儲，管理大數據的物理存儲空間，實現資源的調度和分配。本文結合監控平臺的實際情況，選擇RedHat操作系統，其可以作為底層工具，實現數據采集和處理，保證系統的可擴展性。（2）構建Hadoop集群監控平臺。Hadoop是一個軟件平臺，其可以運行大數據處理軟件，最核心的技術為MapReduce，能夠將大量的計算機組成一個集群，實現海量數據分布式計算，實施監控平臺的運行。（3）數據整合和預處理。大數據集成的資源非常多，比如文件日志、關系數據、對象數據等，這些有結構性數據也有非結構性數據，因此在把數據整合在一起時需要進行預處理，以便能夠利用企業服務總線進行通信傳輸，提高數據的一致性和可靠性。數據預處理可以利用HiveSQL工具，能夠實現信息加工。（4）數據存儲。大數據平臺最重要的功能就是存儲。數據存儲可利用HBase和Kudu等存儲管理工具，本文選擇使用HBase軟件，建立一個生態存儲圈，不斷地提高大數據平臺的存儲和管理水平，還可以降低訪問延遲，提高數據分析能力。（5）狀態數據挖掘和分析。該平臺可以針對系統平時運行的日志數據進行挖掘和分析，從而可以發現其中產生的錯誤，然后追蹤和分析錯誤產生的原因，并且查看關聯的軟硬件資源，從而及時的發現存在問題，迅速采取措施解決問題。
2 Hadoop云平臺在大數據集群服務運行狀態監控及預警中的應用與設計
大數據集群服務運行狀態監控及預警平臺構建完畢之后，其最為關鍵的就是Hadoop云平臺的應用和設計。Hadoop云平臺目前已經吸引了很多的商業公司進行研發和設計，構建了各種開源組件，包括Sqoop、Hbase和Spark等。Hadoop包括很多的組成元素，最底層的組成元素就是Hadoop Distributed File System（HDFS），其可以保持Hadoop集群平臺中的所有存儲節點文件，HDFS的上一層就是一個MapReduce引擎，這個引擎包括兩個組成部分，分別是JobTrackers和TaskTrackers，利用Hadoop可以實現數據處理和操作，進一步滿足分布式數據操作。
Hadoop云平臺是一個為大數據平臺提供并行處理的計算模型，更適用于集群平臺高性能計算，允許數以億計的節點進行分布式集群，可以實現分布式操作服務。Hadoop云平臺提供一個龐大的、設計精良的并行計算軟件，自動化地完成計算任務，分配大數據存儲空間資源，實現數據分布存儲、通信和容錯處理。Hadoop云平臺能夠處理海量的半結構化數據，利用并行的結構解決特定的、復雜的數據處理問題，比如在一個關系數據庫中，其可以使用SQL語言執行數據插入、查詢、修改和刪除操作，還可以使用傳統的C++語言、Java語言等解決這個問題，實現數據庫操作語言與傳統程序語言的有效結合，實現一個功能更加強的數據處理功能。
3 結語
大數據平臺的正常運行影響運營商和內容服務商的用戶體驗，因此加強大數據平臺的運行監控和預警，及時的優化存儲空間和占用資源，就可以提高平臺的可用性、可靠性和完整性，也可以提高平臺的服務水平和質量。
參考文獻
[1] 宋亞奇，周國亮，朱永利，等.云平臺下輸變電設備狀態監測大數據存儲優化與并行處理[J].中國電機工程學報，2015，35（02）：255-267.
[2] 張帥，賈如春.基于Hadoop的大數據信息安全監控云平臺設計與研究[J].計算機測量與控制，2017，25（09）：72-74+78. [3] 劉殊.基于Hadoop的分布式云監控平臺系統的研究與設計[J].電子設計工程，2016，24（15）：9-12.
Research on Monitoring and Early Warning of Big Data Cluster Service Operation Status Based on Hadoop Cloud Platform
XU Yu-biao
�。═echViewInfo Co.，Ltd.，Guangzhou Guangdong 510305）
Abstract：The big data analysis platform integrates more functions， the scale of the stored data is very large， and the number of visits is very frequent. Therefore， the status monitoring of the big data analysis platform needs to be strengthened in order to analyze the load capacity of the platform in real time and improve The resource utilization of the platform. This article analyzes the operation status monitoring and early warning mode of the big data cluster service in detail， and analyzes the platform status from various aspects such as operation logs and operation status， so as to be able to deal with emergencies in time and ensure the safe and stable operation of the big data platform.
Key words：big data; operational monitoring; early warning; data mining
(9M眠)