摘要：大數(shù)據(jù)的產(chǎn)生為公路工程質(zhì)量監(jiān)控技術(shù)帶來機(jī)遇與挑戰(zhàn)。公路工程質(zhì)量監(jiān)控大數(shù)據(jù)具有典型的“４Ｖ”特征。為深入分析大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的應(yīng)用，從公路工程質(zhì)量監(jiān)控大數(shù)據(jù)的產(chǎn)生、處理流程與關(guān)鍵技術(shù)等方面進(jìn)行論述。分析了公路工程質(zhì)量監(jiān)控大數(shù)據(jù)的存儲結(jié)構(gòu)、計算過程以及數(shù)據(jù)可視化處理的流程，提出了公路工程質(zhì)量監(jiān)控大數(shù)據(jù)應(yīng)用時所面臨的問題與挑戰(zhàn)。

關(guān)鍵詞：大數(shù)據(jù)；公路工程；質(zhì)量監(jiān)控；應(yīng)用與挑戰(zhàn)

引言

近年來，隨著交通建設(shè)的迅速發(fā)展，截止２０１５年我國公路總里程將達(dá)到４５０萬公里，其中高速公路通車總里程達(dá)到１０．８萬公里，全國高速公路路網(wǎng)已基本形成規(guī)模，促進(jìn)了區(qū)域經(jīng)濟(jì)的發(fā)展，社會效益較好。在交通部發(fā)布的《國家公路網(wǎng)規(guī)劃（２０１３年—２０３０年）》發(fā)展規(guī)劃中，全國高速公路通車?yán)锍填A(yù)計達(dá)到４０萬公里，我國將基本實(shí)現(xiàn)省際多路連通、地市高速通達(dá)、縣縣國道覆蓋的目標(biāo)［１］。從上述規(guī)劃來看，僅高速公路的建設(shè)缺口就近３０萬公里，其建設(shè)任務(wù)較重，另一方面，在工程建設(shè)過程中的質(zhì)量監(jiān)控也提出了新課題。以西部地區(qū)為例，交通運(yùn)輸部質(zhì)量監(jiān)督局已在２０１２年３月啟動了西部項目“公路工程質(zhì)量安全過程控制智能化與遠(yuǎn)程監(jiān)控技術(shù)研究”的研究工作，項目要求采用信息化技術(shù)手段，融入現(xiàn)代計算機(jī)技術(shù)、實(shí)時信息傳輸技術(shù)，人工智能化技術(shù)到工程監(jiān)督中，對重點(diǎn)工程、重點(diǎn)部位的實(shí)時監(jiān)控，實(shí)現(xiàn)工程質(zhì)量安全監(jiān)管的實(shí)時化、智能化、遠(yuǎn)程化，彌補(bǔ)人為管理的漏洞和缺失，提高質(zhì)量監(jiān)控和監(jiān)管效能，以保障公路工程的建設(shè)質(zhì)量［２］。公路工程建設(shè)的智慧化監(jiān)管，需要對在其在建設(shè)過程中產(chǎn)生的大數(shù)據(jù)進(jìn)行透徹分析，服務(wù)于管理者和決策者，便于及時排查和糾正在工程施工過程中潛在安全隱患，為生命和財產(chǎn)提供安全保障。

１公路工程質(zhì)量監(jiān)控大數(shù)據(jù)來源及其特點(diǎn)

就大數(shù)據(jù)而言，是一個抽象模糊的概念，大部分人也只是從數(shù)據(jù)量的大小和規(guī)模去感知，像ＴＢ、ＰＢ、ＺＢ、ＹＢ這樣的數(shù)據(jù)量存儲單位被理解為大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別，很顯然這僅僅是海量數(shù)據(jù)，在ＩＴ界被公認(rèn)的具有Ｖｏｌｕｍｅ（容量大）、Ｖａｒｉｅｔｙ（種類多）、Ｖｅｌｏｃｉｔｙ（速度快）和Ｖａｌｕｅ（價值密度低）特征的數(shù)據(jù)，才能被稱為大數(shù)據(jù)，簡稱大數(shù)據(jù)４“Ｖ”特征［３］。

１．１公路工程質(zhì)量監(jiān)控中大數(shù)據(jù)的來源

公路工程建設(shè)在開始施工到驗收竣工，要產(chǎn)生大量的、類型各異的數(shù)據(jù)，其主要有以下幾種來源：（１）施工試驗數(shù)據(jù)：道路在施工前需要對工程中的各種使用材料在該項目環(huán)境條件下做實(shí)驗，以得出在該環(huán)境條件和地理區(qū)域條件下相應(yīng)材料的使用混合比及用量等。如：筑路用土，砂石材抖、石灰和水泥，普通水泥混凝土，穩(wěn)定土和建筑砂漿，瀝青材料，瀝青混合料等相關(guān)實(shí)驗數(shù)據(jù)，用數(shù)據(jù)來保障施工質(zhì)量，確保規(guī)范施工。（２）施工監(jiān)控數(shù)據(jù)：在工程項目施工階段，人員行為規(guī)范、施工操作規(guī)范、壓力傳感數(shù)據(jù)，施工環(huán)境溫度（濕度）等產(chǎn)生的文字、圖片、聲音和視頻數(shù)據(jù)。（３）施工應(yīng)急數(shù)據(jù)：在施工過程中會有各種突發(fā)事件，如何科學(xué)地把突發(fā)事件帶來的危害降到最低，最大程度減少人員和財產(chǎn)損失，是工程應(yīng)急處理的難題。在施工過程中，利用各種傳感器對突發(fā)事件進(jìn)行動態(tài)監(jiān)測，將對應(yīng)急處置起到關(guān)鍵性的作用，而該過程中將產(chǎn)生大量的數(shù)據(jù)。（４）工程竣工檢測數(shù)據(jù)：在工程項目施工驗收階段，需對路基、路面、交安設(shè)施、機(jī)電系統(tǒng)等進(jìn)行標(biāo)準(zhǔn)檢測，判斷各項功能是否能達(dá)到標(biāo)準(zhǔn)規(guī)范。如路基壓實(shí)度，路面承載能力、應(yīng)力數(shù)據(jù)，標(biāo)識標(biāo)線厚度、反光標(biāo)志系數(shù)等相關(guān)檢測數(shù)據(jù)。根據(jù)《公路工程質(zhì)量檢驗評定標(biāo)準(zhǔn)》ＪＴＧＦ８０－１－２０１２和ＪＴ－ＧＦ８０－２－２００４相關(guān)要求［４］，需產(chǎn)生大量的數(shù)據(jù)。隨著交通建設(shè)的快速發(fā)展，工程質(zhì)量監(jiān)控面臨新的挑戰(zhàn)，沿用以往“人工＋紙筆”的管理方式，基本不能實(shí)現(xiàn)工程質(zhì)量的科學(xué)化管理，根據(jù)工程質(zhì)量“終身制”的相關(guān)要求，在工程設(shè)計使用年限內(nèi)，承擔(dān)相應(yīng)的質(zhì)量終身責(zé)任，如沿用以往的管理方式也不便于責(zé)任的追溯。當(dāng)今“互聯(lián)網(wǎng)＋”時代，利用云計算對工程施工中產(chǎn)生的大數(shù)據(jù)進(jìn)行分析，用數(shù)據(jù)來實(shí)現(xiàn)工程項目中全過程跟蹤管理和全方面實(shí)時監(jiān)測監(jiān)管，實(shí)現(xiàn)工程實(shí)體和質(zhì)量行為的實(shí)時自動監(jiān)管巡查和預(yù)警，將有助于提高工程質(zhì)量，保障國家財產(chǎn)安全。

１．２公路工程質(zhì)量監(jiān)控中大數(shù)據(jù)的特點(diǎn)

（１）數(shù)據(jù)規(guī)模在工程質(zhì)量監(jiān)控中，以施工人員行為監(jiān)控為例，一個質(zhì)量監(jiān)督點(diǎn)采用７２０Ｐ高清視頻圖像采集設(shè)備，每小時圖像采集數(shù)據(jù)經(jīng)壓縮處理后可達(dá)到３ＧＢ左右的大小，全天候采集一個月，產(chǎn)生的數(shù)據(jù)量約為２．１６Ｔ［５］。在工程施工過程中隧道掘進(jìn)、路基路面、橋梁結(jié)構(gòu)、材料攪拌、設(shè)備操作等等都需要對施工人員行為和過程進(jìn)行視頻監(jiān)控，按上述計算，每月產(chǎn)生的數(shù)據(jù)能至少為ＰＢ級以上，按照交通部發(fā)布的《國家公路網(wǎng)規(guī)劃（２０１３年—２０３０年）》發(fā)展規(guī)劃，監(jiān)控視頻數(shù)據(jù)就將產(chǎn)生海量的數(shù)據(jù)。（２）數(shù)據(jù)類型在公路工程施工過程中產(chǎn)生的數(shù)據(jù)類型種類繁多，除工程質(zhì)量視頻監(jiān)控數(shù)據(jù)外，有影響工程施工質(zhì)量的環(huán)境檢測數(shù)據(jù)（如：溫度、濕度），施工材料檢測數(shù)據(jù)，工程質(zhì)量試驗檢測數(shù)據(jù)，潛在地質(zhì)災(zāi)害等數(shù)據(jù)，數(shù)據(jù)類型多樣。（３）數(shù)據(jù)價值密度對于在公路工程質(zhì)量監(jiān)控中產(chǎn)生的數(shù)據(jù)本身而言，數(shù)據(jù)量大，但其價值密度較小。如施工人員操作不符合規(guī)范，通常情況下就只有幾秒或幾分鐘，在ＰＢ級以上的數(shù)據(jù)量里，其占有的價值密度較低。（４）高速性在公路工程質(zhì)量監(jiān)控中，除對工程質(zhì)量本身監(jiān)督外，還應(yīng)對工程質(zhì)量進(jìn)行把控和預(yù)警。如：路面未達(dá)到養(yǎng)護(hù)期要求而強(qiáng)行進(jìn)行下一周期施工，此時系統(tǒng)就應(yīng)快速地對大數(shù)據(jù)進(jìn)行分析，并及時發(fā)出預(yù)警提示。

２大數(shù)據(jù)的處理

隨著“互聯(lián)網(wǎng)＋”時代的發(fā)展，人們對各行各業(yè)中產(chǎn)生的大數(shù)據(jù)進(jìn)行分析，給眾多決策者提供了有力的決策支持［６］。如：沃爾瑪超市通過大數(shù)據(jù)分析在超市行業(yè)中曾經(jīng)取得的輝煌成就；阿里巴巴通過大數(shù)據(jù)分析在電子商務(wù)行業(yè)取得的突破；滴滴打車或Ｕｂｅｒ通過大數(shù)據(jù)分析在出租車行業(yè)中取得的地位等等；均是基于大數(shù)據(jù)分析或處理而取得的成功案例［７］。然而在公路工程施工質(zhì)量監(jiān)控方面，大數(shù)據(jù)的應(yīng)用還較薄弱，通過對公路工程質(zhì)量監(jiān)控中產(chǎn)生的大數(shù)據(jù)進(jìn)行分析，對不合格或不符合規(guī)范的工程質(zhì)量及時的啟動預(yù)警機(jī)制，將減少國家的財產(chǎn)損失，保障交通參與者的生命安全，為公路工程建設(shè)提供技術(shù)支撐。

２．１云計算

公路工程質(zhì)量監(jiān)控大數(shù)據(jù)中，核心是對于數(shù)據(jù)的分析和處理。“云計算”是大數(shù)據(jù)處理的基礎(chǔ)，為數(shù)據(jù)分析提供技術(shù)保障。云計算利用Ｉｎｔｅｒｎｅｔ和虛擬技術(shù)把計算機(jī)各種軟、硬件資源融為一體，形成大規(guī)模的共享資源池，為用戶提供ＩａａＳ（基礎(chǔ)設(shè)施即服務(wù)），ＰａａＳ（平臺即服務(wù)），ＳａａＳ（軟件即服務(wù)）［８］。云計算是典型的分布式模型，為公路工程質(zhì)量監(jiān)控大數(shù)據(jù)并行處理提供平臺。Ｇｏｏｇｌｅ、ＩＢＭ、阿里云等知名公司大數(shù)據(jù)分析處理和應(yīng)用都是基于云計算為基礎(chǔ)，最典型的應(yīng)用就是分布式文件系統(tǒng)、批處理技術(shù)、分布式數(shù)據(jù)庫等［９］。

２．２大數(shù)據(jù)存儲技術(shù)

公路工程質(zhì)量監(jiān)控中產(chǎn)生的大數(shù)據(jù)在ＰＥ級以上，怎樣降低存儲成本、提高數(shù)據(jù)并發(fā)吞吐量是大數(shù)據(jù)存儲的關(guān)鍵。分布式文件系統(tǒng)，是大數(shù)據(jù)在存儲中的一種關(guān)鍵技術(shù)，Ｇｏｏｇｌｅ公司研發(fā)的ＧＦＳ（ＧｏｏｇｌｅＦｉｌｅＳｙｓｔｅｍ）分布式文件系統(tǒng)是大數(shù)據(jù)在存儲中的典型應(yīng)用。其與后來研發(fā)的ＭａｐＲｅ－ｄｕｃｅ、ＢｉｇＴａｂｌｅ技術(shù)構(gòu)成了Ｇｏｏｇｌｅ搜索引擎大數(shù)據(jù)存儲的三大核心技術(shù)［１０］。公路工程質(zhì)量監(jiān)控中產(chǎn)生的海量異構(gòu)數(shù)據(jù)，存儲架構(gòu)分為存儲層、基礎(chǔ)管理層、應(yīng)用接口層、訪問層。存儲層主要完成數(shù)據(jù)接入與信息集成、存儲虛擬化存儲設(shè)備；基礎(chǔ)管理層主要包括集群數(shù)據(jù)、并行數(shù)據(jù)倉庫盒實(shí)時數(shù)據(jù)庫；應(yīng)用層接口主要完成任務(wù)管理、調(diào)度與監(jiān)控；訪問層主要包括視頻監(jiān)控系統(tǒng)、環(huán)境監(jiān)測系統(tǒng)、應(yīng)急指揮系統(tǒng)、實(shí)驗檢測系統(tǒng)和工程檔案系統(tǒng)等，如圖１所示。公路工程質(zhì)量監(jiān)控大數(shù)據(jù)與其它類型的大數(shù)據(jù)有所不同，有的數(shù)據(jù)需要急時處理，響應(yīng)急時的特點(diǎn)，以便于做出急時的應(yīng)急響影決策，否則會造成重大經(jīng)濟(jì)損失和人員傷亡。故需要研究公路工程質(zhì)量監(jiān)控大數(shù)據(jù)在存儲結(jié)構(gòu)上的特點(diǎn)，為后續(xù)的數(shù)據(jù)分析提供支撐。

２．３實(shí)時數(shù)據(jù)處理技術(shù)

在公路工程質(zhì)量監(jiān)控產(chǎn)生的大數(shù)據(jù)，類型多樣，包括聲音、圖像、文本等結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)清洗來消除數(shù)據(jù)不一致是非常有必要的，也是數(shù)據(jù)處理的關(guān)鍵因素。在大數(shù)據(jù)實(shí)時處理流程中數(shù)據(jù)分析（ＤａｔａＡｎａｌｙｓｉｓ）是核心，為提高數(shù)據(jù)的訪問速度，建立分布式數(shù)據(jù)庫，利用各種類型的大數(shù)據(jù)分析技術(shù)，對各種異構(gòu)的數(shù)據(jù)進(jìn)行分析，最終利用可視化技術(shù)，把數(shù)據(jù)分析結(jié)果展現(xiàn)給用戶，以滿足公路工程在施工過程中監(jiān)督和決策的需求。傳統(tǒng)數(shù)據(jù)，一般采用關(guān)系數(shù)據(jù)庫來進(jìn)行存儲，ＯＬＴＰＴ和ＯＬＡＰ是傳統(tǒng)數(shù)據(jù)的主流應(yīng)用，ＳＱＬ是傳統(tǒng)關(guān)系數(shù)據(jù)庫存系統(tǒng)的存取標(biāo)準(zhǔn)［１２］。但在公路工程質(zhì)量監(jiān)控中產(chǎn)生的數(shù)據(jù)，有很多不具有關(guān)系數(shù)據(jù)庫的條件，很多數(shù)據(jù)是非關(guān)系數(shù)據(jù)，故需要其它方式的數(shù)據(jù)分析管理技術(shù)。Ｇｏｏｇｌｅ公司于２００４年推出的ＭａｐＲｅｄｕｃｅ技術(shù)，它的并行數(shù)據(jù)處理方式是大數(shù)據(jù)分析和處理的典型應(yīng)用，其主要包括分布式文件系統(tǒng)（ＧＦＳ），并行編程和并行執(zhí)行三個方面。ＧＦＳ為大數(shù)據(jù)的儲存和并行計算提供平臺基礎(chǔ)支撐，采用鍵／值（ｋｅｙ／ｖａｌｕｅ）方式對數(shù)據(jù)進(jìn)行分布式存儲［１２］。ＭａｐＲｅｄｕｃｅ是一個通過將任務(wù)獨(dú)立化進(jìn)行計算的一種模型技術(shù)，主要有Ｍａｐ和Ｒｅｄｕｃｅ兩個階段，首先把公路工程質(zhì)量監(jiān)控中產(chǎn)生的大數(shù)據(jù)按算法進(jìn)行以＜ｋｅｙ，ｖａｌｕｅ＞的形式進(jìn)行任務(wù)分塊，把分塊任務(wù)交由Ｍａｐ進(jìn)行并行執(zhí)行，執(zhí)行完Ｍａｐ函數(shù)后，將數(shù)據(jù)轉(zhuǎn)換成符合模型的＜ｋｅｙ１，ｖａｌｕｅ１＞的形式，并把數(shù)據(jù)寫入硬盤。然后進(jìn)入Ｒｅｄｕｃｅ階段，Ｒｅ－ｄｕｃｅ接受Ｍａｐ階段的執(zhí)行結(jié)果，對數(shù)據(jù)進(jìn)行合并歸約計算，最終得到輸出結(jié)果，并寫入到ＧＦＳ文件系統(tǒng)［１３］。公路工程質(zhì)量監(jiān)控大數(shù)據(jù)ＭａｐＲｅｄｕｃｅ計算過程，如圖２所示。圖２公路工程質(zhì)量監(jiān)控大數(shù)據(jù)計算過程公路工程質(zhì)量監(jiān)控大數(shù)據(jù)ＭａｐＲｅｄｕｃｅ并行計算模型，將簡化數(shù)據(jù)的計算過程，減少數(shù)據(jù)傳遞開銷，使公路工程質(zhì)量監(jiān)控中各類應(yīng)用程序設(shè)計直觀化。

３大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的機(jī)遇與挑戰(zhàn)

３．１大數(shù)據(jù)可視化分析技術(shù)

可視分析技術(shù)的定義是指：一種通過交互式可視化界面來輔助用戶對大規(guī)模復(fù)雜數(shù)據(jù)集進(jìn)行分析推理的科學(xué)與技術(shù)［１４］。大數(shù)據(jù)可視化分析是指在對數(shù)據(jù)挖掘分析的同時，利用可視化用戶界面以及人機(jī)交互技術(shù)，融合人的辨別能力與計算機(jī)的數(shù)據(jù)計算能力，為決策者提供更加科學(xué)、合理的決策依擾。公路工程質(zhì)量監(jiān)控大數(shù)據(jù)可視化分析關(guān)鍵核心是數(shù)據(jù)的集成和接口，而其數(shù)據(jù)規(guī)模大、快速多變、數(shù)據(jù)源異構(gòu)，使得對大數(shù)據(jù)的處理、分析和可視化帶來具大的挑戰(zhàn)。數(shù)據(jù)信息的可視化根據(jù)其特征分為一維信息、二維信息、三維信息、多維信息、層次信息、網(wǎng)絡(luò)信息、時序信息可視化，在公路工程質(zhì)量監(jiān)控大數(shù)據(jù)中主要包括文本可視化、網(wǎng)絡(luò)或圖可視化、時空數(shù)據(jù)可視化、多維數(shù)據(jù)可視化等。文本信息是非結(jié)構(gòu)化數(shù)據(jù)的代表，是公路工程質(zhì)量監(jiān)控大數(shù)據(jù)中的主要信息類型，是記錄施工數(shù)據(jù)的重要環(huán)節(jié)，文本信息可視化可采用把文本語議結(jié)構(gòu)以樹的形式進(jìn)行可視化操作；網(wǎng)絡(luò)或圖是大數(shù)據(jù)中最常見的關(guān)聯(lián)關(guān)系，是記錄施工過程狀態(tài)的重要信息，網(wǎng)絡(luò)或圖可視化可采用基于節(jié)點(diǎn)和邊的可視化方法；時空數(shù)據(jù)是帶地理位置標(biāo)簽的數(shù)據(jù)，是記錄施工環(huán)境狀態(tài)的重要信息，為反應(yīng)時間與空間的變化，一般采用流式地圖來展現(xiàn)；多維數(shù)據(jù)是多個維度空間的數(shù)據(jù)，是記錄整個施工過程的重要信息，一般可采用基于幾何圖形的可視方法來實(shí)現(xiàn)［１５］。

３．２大數(shù)據(jù)在公路工程建設(shè)中的應(yīng)用

大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的應(yīng)用還處于起步初級階段，依托大數(shù)據(jù)建立質(zhì)量監(jiān)督管理、安全監(jiān)督管理、監(jiān)理行業(yè)管理、試驗行業(yè)管理、工程竣（交）工驗收管理、突發(fā)應(yīng)急預(yù)案、事件檢測、應(yīng)急響應(yīng)、現(xiàn)場救援、總結(jié)評估等平臺，以數(shù)據(jù)指標(biāo)為度量，直觀、全面、準(zhǔn)確地監(jiān)測和分析各個環(huán)節(jié)要素的動態(tài)變化數(shù)據(jù)信息，為管理者提供科學(xué)決策依據(jù)，提高監(jiān)管效能。如：工程建設(shè)過程中突發(fā)事件應(yīng)急處理，可利用地理信息系統(tǒng)（ＧＩＳ）平臺，對基礎(chǔ)地圖數(shù)據(jù)、應(yīng)急資源數(shù)據(jù)、重大危險源數(shù)據(jù)進(jìn)行管理并以電子地圖顯示，可及時預(yù)測突發(fā)事件危險存在范圍，輔助突發(fā)事件應(yīng)對機(jī)制的決策。在建項目監(jiān)督管理，通過對試驗檢測實(shí)驗室、各種機(jī)械設(shè)施設(shè)備的數(shù)據(jù)采集，實(shí)現(xiàn)試驗檢測數(shù)據(jù)、設(shè)施設(shè)備主要數(shù)據(jù)的采集與匯聚，生成質(zhì)量監(jiān)控大數(shù)據(jù)。通過對大數(shù)據(jù)的分析和規(guī)范性電子監(jiān)控比對，實(shí)現(xiàn)工程實(shí)體和質(zhì)量行為的實(shí)時自動監(jiān)管巡查和預(yù)警等。

４總結(jié)

這是一個數(shù)據(jù)信息時代，不管是商業(yè)領(lǐng)域還是工程建設(shè)領(lǐng)域，都與數(shù)據(jù)有聯(lián)系，如何科學(xué)的運(yùn)用這些數(shù)據(jù)來分析和解決問題，是各領(lǐng)域應(yīng)重視的問題［１６］。本文對公路工程建設(shè)質(zhì)量監(jiān)控中大數(shù)據(jù)的產(chǎn)生、存儲、處理和數(shù)據(jù)特點(diǎn)等進(jìn)行了深入分析，詳細(xì)介紹了大數(shù)據(jù)處理的關(guān)鍵技術(shù)，對大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中帶來的應(yīng)用進(jìn)行了論述。但大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的運(yùn)用還處于起始階段，如何提高數(shù)據(jù)的采集質(zhì)量，解決工程建中大數(shù)據(jù)傳輸、提高數(shù)據(jù)可靠性等方面還存在著研究的空間，需要更多的研究者去探索和研究。