序論：寫作是一種深度的自我表達。它要求我們深入探索自己的思想和情感，挖掘那些隱藏在內心深處的真相，好投稿為您帶來了一篇大數據應用論文范文，愿它們成為您寫作過程中的靈感催化劑，助力您的創作。

大數據應用論文:醫療衛生系統中大數據的應用

摘要：近年來醫療衛生信息化發展迅速，醫療衛生領域也迎來了大數據時代的潮流。簡述了醫療衛生系統中數據資源現狀，分析了通過大數據平臺構建臨床決策支持系統、提高醫藥產品研發效率、疾病監控防治等方面的應用前景。

關鍵詞：大數據；醫療衛生系統

1數據管理問題

醫療數據是持續、大量增長的大數據。根據估算，中國一個中等城市50年所積累的醫療數據量就會達到10PB級。并且，隨著時間的推移和業務系統的不斷升級換代，醫療數據模式的一致性也無法保證。因此，每天都會有大量的數據持續不斷地導入區域醫療數據中心，并且每當有數據模式的更改，相關的歷史數據也需要做相應的調整。由于醫療數據是多種數據源數據的匯總，醫療數據是關系復雜的多維數據。醫療數據的多維度多粒度為各種信息服務的多角度多層次分析提供了可能，但同時也為大數據分析帶來了挑戰。Hadoop基于開源分布式數據處理平臺，通過特殊的方式組織網絡級數據，可以解決數據存儲水平擴展的挑戰。利用MapReduce并行處理批量事務的能力，從多個數據源（主要是醫療機構的各個業務系統）抽取數據、轉換格式、并導入基于HBase的數據存儲模型。使用Hadoop進行多維分析，利用數據平臺中多維數據非結構化的特征，將大量冗余的維度信息整合到事實表中，可以在冗余維度下靈活地改變問題分析的角度。并結合Hadoop,MapReduce強大的并行化處理能力，無論分析中的維度增加多少，開銷并不顯著增長，不會顯著影響分析的性能。

2大數據應用

2.1構建臨床決策支持系統

臨床決策支持系統可以提高工作效率和診療質量。通過分析疾病的模式和趨勢，臨床決策支持系統分析醫生輸入的條目，比較其與醫學指引不同的地方，從而提醒醫生防止潛在的錯誤，如藥物不良反應。通過部署這些系統，醫療服務提供方可以降低醫療事故率和索賠數，尤其是那些臨床錯誤引起的醫療事故。共享的醫療大數據分析技術將使臨床決策支持系統更智能，首先，大數據中心存儲的海量、高維和非結構化的數據能夠被檢索，由于對非結構化數據的分析能力的日益加強，從而獲取更多的決策支持信息。比如可以使用圖像分析和識別技術，識別醫療影像(X光、CT、MRI)數據，結合患者的電子病歷信息，得到輔助的治療信息。或者挖掘醫療文獻數據建立醫療專家數據庫和醫學知識倉庫，為醫生提供一個決策和清單，在錄入癥狀和檢驗結果后，做是非判斷等集合算法，根據不同病種，建立決策樹算法，逐漸得出診斷結果和治療方案，為醫生的臨床操作提供建議，防止醫生忽略可能存在的罕見疾病，防止誤診。此外，臨床決策支持系統還可以使醫療流程中大部分的工作流流向護理人員和助理醫生，將常規的醫生問診程序化和模式化，結合檢驗化驗等技術手段，醫生只需參與最后的決策和治療環節。使醫生從耗時過長的簡單咨詢工作中解脫出來，從而提高治療效率。

2.2提高醫藥產品研發效率

2.2.1預測建模

醫藥公司在新藥物的研發階段，可以通過數據建模和分析，確定最有效率的投入產出比，從而配備最佳資源組合。模型基于藥物臨床試驗階段之前的數據集及早期臨床階段的數據集，盡可能及時地預測臨床結果。評價因素包括產品的安全性、有效性、潛在的副作用和整體的試驗結果。通過預測建模可以降低醫藥產品公司的研發成本，在通過數據建模和分析預測藥物臨床結果后，可以暫緩研究次優的藥物，或者停止在次優藥物上的昂貴的臨床試驗。除了研發成本，醫藥公司還可以更快地得到回報。通過數據建模和分析，醫藥公司可以將藥物更快推向市場，生產更有針對性的藥物，有更高潛在市場回報和治療成功率的藥物。

2.2.2提高臨床試驗設計的統計工具和算法

使用統計工具和算法，可以提高臨床試驗設計水平，并在臨床試驗階段更容易地招募到患者。通過挖掘病人數據，評估招募患者是否符合試驗條件，從而加快臨床試驗進程，提出更有效的臨床試驗設計建議，并能找出最合適的臨床試驗基地。比如那些擁有大量潛在符合條件的臨床試驗患者的試驗基地可能是更理想的，或者在試驗患者群體的規模和特征二者之間找到平衡。

2.2.3臨床實驗數據的分析

分析臨床試驗數據和病人記錄可以確定藥品更多的適應癥和發現副作用。在對臨床試驗數據和病人記錄進行分析后，可以對藥物進行重新定位，或者實現針對其他適應癥的營銷。實時或者近乎實時地收集不良反應報告可以促進藥物警戒(藥物警戒是上市藥品的安全保障體系，對藥物不良反應進行監測、評價和預防)。或者在一些情況下，臨床實驗暗示出了一些情況但沒有足夠的統計數據去證明，現在基于臨床試驗大數據的分析可以給出證據。

2.3基于大數據的疾病監控防治

大數據的使用可以改善公眾健康監控。首先，隨著移動互聯網現在的不斷發展，越來越多的用戶開始選擇把業務和使用習慣都轉移到了移動端，那么，在基于海量數據用戶搜索的社交APP以及LBS等技術層面，可以建立結合原有疾病監控系統中的流行疾病法定報告數據、流行疾病病例，結合疾病、環境數據，及時發現并繪制出流行病風險地圖。在基于搜索數據和LBS數據方面，分析不同時空尺度人口流動性、移動模式和參數進一步結合病原學、人口統計學、地理、氣象和人群移動遷徙、地域之間等因素和信息，建立流行病時空傳播模型，確定流感等流行病在各流行區域間傳播的時空路線和規律，得到更加準確的態勢評估、預測。并且，通過醫療云和大數據中心，公共衛生部門可以通過覆蓋全國的患者電子病歷數據庫，分析疾病的模式和趨勢快速檢測大規模傳染性疾病進行全面的疫情監測，并通過集成疾病監測和響應程序，快速采取措施進行響應。這基于大數據的疾病監控防治能使傳染病感染率降低，衛生部門可以更快地檢測出新的傳染病和疫情。通過提供準確和及時的公眾健康咨詢，將會大幅提高公眾健康風險意識，同時也將降低傳染病感染風險。大數據共享在疾病監控防治中可以做到以下幾點：

（1）提前確定一定規模的未知疾病，為疫情控制爭取時間。傳統檢測無法監測到任何沒有臨床癥狀的病例的，這些經驗在醫院的臨床經驗中都是空白。但大數據可以通過醫院的共享信息以及搜索監控指定地區的用戶的頻繁搜索關鍵詞，可以檢測到某個地區已經出現的疫情。比如不明原因的肺炎，某地餐館讓多少人出現嘔吐腹瀉等異常狀況等，然后再通過與疾病控制中心的病毒庫中的病毒分析，尋找吻合的病毒，進行比對分析將其找出，為判斷疾病贏取時間。建立大數據中心后，疾病預防可以真正在第一時間內去判斷出疫情的病毒源，進而為控制爭取時間。疾病監控防治的目的是及時制止其傳播的范圍，而大數據則是目前唯一的也是最佳的途徑。

（2）判斷人員流向，控制疫情。在疫情發生后，雖然國家可以第一時間控制住當地疫情，但是人員流動則是無法控制的。利用大數據的監控分析就能監測到傳染源區人員的主要流向目的地，疾控中心可以拿出對應的醫療技術和對應的治療藥品以及疫苗來防治，第一時間趕到相應地點，實施接種疫苗，這樣一來就減少了盲目的廣撒網式的全面布局情況，通過大數據分析的提供人員流動數據，讓控制疫情在效率上大幅度提升。

（3）傳播動力學模型建立。擁有了大數據的全面監控后，疾控中心也就有了更多的實踐支持，就可以開始真正從實踐中建立有關疫情的復雜動態網絡的傳播動力學。

作者:林青 單位:西安培華學院

大數據應用論文:4G移動網絡的大數據與云計算技術應用

摘要：

本文通過對云計算以及4G網絡的定義和特點進行分析，提出了在4G移動網絡平臺上采用云計算技術處理城市智能交通系統中的大數據問題，主要是結合二者的優勢分析智能交通系統的功能，并加以實現，這將給緩解交通壓力、提高行車效率等提供便利。最后對未來智能交通系統開發與應用進行展望。

關鍵詞：4G網絡；大數據；云計算；智能交通；交通云

隨著人們生活水平的提高，汽車逐漸進入到普通家庭，這無疑對道路交通的要求也越來越高，為提高道路行車效率，迫切需要建設一個高性能的智能交通系統（IntelligentTransportationSystems，ITS），以滿足大家的需求。

1智能交通系統的概念

智能交通系統（IntelligentTransportationSystems，ITS）指的是建立在較完善的基礎設施之上，將先進的信息技術、計算機處理技術、數據通訊傳輸技術、電子傳感技術及電子控制技術等有效組合在一起，并運用于整個交通運輸管理體系中，從而能夠在大范圍、全天候發揮作用，建立起的一種準確、實時、高效的綜合運輸和管理系統[1]。依據智能交通系統的概念，我們可以看出，為了解決社會不斷增加的交通需求與有限的道路資源之間的矛盾，使有限的道路資源能被充分利用，提高人們的出行效率，保障人們出行安全，智能交通系統作為信息、通信、傳感與控制技術綜合運用的產物，能給人們帶來便捷。但目前，我國城市交通仍面臨著許多嚴重問題，如成都，作為西南地區的一個大型城市，雖然其承載能力越來越強，路網體系也日趨完善，但隨著汽車保有量的強勁增長，道路供需關系依然非常嚴峻。據成都市交管局數據顯示，截至2014年3月，成都地區的汽車保有量突破268.59萬輛大關，中心城區突破114.18萬輛，這個數據僅次于北京。而且成都已月均增2萬新車，并持續了62個月。一天就會產生數百億條GPS數據，而車牌識別信息、交通監控視頻信息等數據量更大，交通相關的數據量也早以從TB級躍升到PB級[2]，因此，如果要實現對城市道路的交通流量信息、交通狀況、交通違法行為等的全面監測，特別是承擔在交通高峰期采集、處理及分析大量的實時監測數據的工作，整個平臺的運行壓力將會非常巨大，大數據（bigdata）就此產生，大數據分析交通除了流量及車輛的相關信息外，還必須包括路面情況、天氣、突發情況、周邊環境等諸多因素，傳統的交通數據分析法已很難有效處理如此龐大的數據的問題。城市智能交通應具備的特點和需求分析如下。

1.1數據信息海量化

整個城市的交通行為主體作為城市智能交通的分析對象，海量數據必然成為固有特性。

1.2應用負載變化大

城市交通流特性呈現出區域關聯性強，隨時間變化大的特點，系統需要根據實時的交通流數據，做出全面采集、分析、處理等。而傳統的智能交通方案由于無法在全局上統籌，往往會因此陷入彼此孤立的情形。

1.3高穩定性和高可用性

只有要求城市智能交通系統具有高可用性和高穩定性，才能更好地、更快捷地提供暢通、安全、高品質的行程服務，以保障交通運輸的高安全、高時效和高準確性，讓政府、社會和公眾感覺到方便。而目前的很多方案中，由于各生產廠商繁雜、設備類型眾多、質量參差不齊，而國內也缺乏統一的標準，這樣不僅系統維護成本高，而且也很難做到保持智能交通系統的高穩定性。

1.4數據共享需求

目前，正在建設中的智能城市交通系統，大量的終端設備出自不同的廠商或不同平臺，這樣就形成了許許多多的信息孤島，彼此間很難實現共享數據。這在很大程度上影響了系統功能的充分實現，智能交通系統在硬件、接口上應做的統一，從而使行業信息資源的全面整合與共享成為智能交通發揮整體方案優勢、整體統籌資源、統一協調的基礎。

1.5信息實時處理性能要求高

隨著城市交通的擁堵日趨嚴重，人們在出行時要求能隨時隨地通過熟悉的方式獲取所需的出行計劃和實時的出行信息，因此，未來的智能交通需要滿足高效性、實時性的要求。

2大數據與云計算技術對智能交通系統的影響與應用

云計算（cloudcomputing）是將計算任務分布在大量互聯的計算機構成的資源池上，使各種應用系統能夠根據需要獲取存儲空間、計算力和各種軟件服務，該資源池被稱為“云”。“云”是指一些可以自我管理和維護的虛擬計算資源，通常包括寬帶資源、計算服務器、存儲服務器等大型服務器集群[3]。而云計算（cloudcomputing）是一種基于互聯網平臺的計算方式，為計算資源提供全新的計算模式，其服務方式可動態、伸縮且虛擬化，云計算技術還會將所有的計算資源匯集在一起，并通過軟件實現對資源的自動高效管理。這使用戶能更加專注于自己的業務，無需為繁瑣的處理細節感到煩惱。云計算技術之所以能有效處理和應對交通數據量大、可用性高、穩定性要求高、信息實時處理要求高、應用負載波動大、數據共享需求大等問題，并能實現應用的靈活性，高效整合資源，降低運維成本和總能耗，很大程度上是源于其自身的高可靠性、彈性擴容性好、快速部署及按需服務的特性。云計算技術以其高度的信息部署、優異的擴展性以及自動化IT資源調度，成為解決智能交通面臨的問題的關鍵技術手段，成為一種全新概念的信息服務模式，有助于智能交通系統的快速實現。建設基于“云計算”的智能交通系統，要實現交通信息的動態采集、分析、處理及，并及時向用戶提交動態交通信息，報告路況動態變化信息，指導用戶出行計劃，規劃用戶行車線路，從而有效提前進行分流擁堵流量，從而提高交通通行效率[4]。其具體應用如下。

（1）城市中的車、人或設備等每個交通終端節點，均可以實時地通過交通云得到基于整個城市交通信息智能分析后提供的服務。

（2）通過綜合整個城區的交通流信息及汽車的運行計劃信息，每個交通信號燈都得到高效控制，并在面控、立體多維的基礎上進行相關預測；城市交通引導系統也可以與交通信息個性化服務進行無縫結合。

（3）為了更智能地提高交通運行效率，拓展一個智能交通信息服務市場，運營商要相應地通過手機基站定位，向用戶提供實時的交通信息服務，這些信息與交通控制、引導相結合。隨著移動通信網絡的發展，從早期的2G網絡到3G網絡，再發展到當前的4G移動通信網絡，4G網絡使圖像視頻傳輸更加穩定，決策也更具有時效性，并為智能交通系統提供了更多應用的可能，移動網絡在智能化交通信息系統中的運用日趨嫻熟、準確，使智能交通系統真正、全面、高效地服務于社會，為緩減交通壓力做出了更大的貢獻。移動網絡技術還有效地為智能交通系統的發展提供了新的發展思路。

34G移動網絡的網絡結構的核心技術及優點

3.14G移動網絡的網絡結構的核心技術

4G移動網絡體系結構從下往上可分為物理網絡層、中間環境層、應用網絡層。正交頻分復用（OFDM）技術是這一代移動通信網絡的核心技術，該技術可以為用戶提供速率高、時延小的數據交換服務，能達到下行50Mbit/s與上行100Mbit/s的峰值速率。OFDM技術特點包括：具有良好的抗噪聲性能及抗多信道干擾能力，可擴展網絡結構。

3.24G移動網絡的優點

3.2.1通信速度高、靈活性好4G移動通信系統速率可以高達到l00Mbps，甚至是150Mbps。由于4G網絡不僅是面向手機，還面向智能手表、控制器、眼鏡等移動智能終端設備，這些終端設備極大豐富了人們的生活，使通信變得更加靈活多樣。

3.2.2系統兼容性好未來的4G移動網絡要面向全球發展，可以預測4G移動網絡一定會開放出更多標準化的接口，并與全世界各種網絡進行高速通訊、互聯。

3.2.3網絡采用寬頻譜4G移動網絡的每個信道會占有100MHz的頻譜，是3G移動網絡的20倍左右。

3.2.4通訊費用低目前，很多3G移動網絡用戶之所以能方便地過渡到4G移動網絡進行通信，是因為4G移動網絡與3G移動網絡的兼容性較好，且4G移動網絡的系統采用靈活的操作方式。在加上4G移動網絡通訊費用相對較低，為4G移動網絡的快速部署創造了條件。

3.2.5網絡通信質量高4G移動網絡通信時代是高質量通信的時代，與3G移動網絡通信技術相比，4G移動網絡通信技術將在很大程度上提升大數據的交互、處理能力，特別是跟云計算技術的結合，大大提高了效率，4G移動網絡讓廣大人們擁有了前所未有的、便捷的移動網絡交互體驗，面對越來越復雜的網絡環境，通信質量也得到了較好的保障，4G移動網絡通信也能滿足3G移動網絡通信尚不能覆蓋的區域。

4基于云計算的智能交通的關鍵技術

上述的需求，使大數據與云計算技術成為城市智能交通系統的重要支撐。為了有效地將云計算技術與跟4G網絡相結合，提升信息傳遞的準確性和可達性，還需解決以下幾個主要技術問題。

4.1最優路徑規劃問題

云計算技術在智能交通系統中的另一個重要應用是智能交通系統中的最優路徑規劃，它在各類應急系統及車輛路徑導航系統中具有重要作用。智能交通最優路徑規劃是以交通運行數據為基礎，在云計算數據中心對各交通影響因素進行分析、處理和判斷后，再通過短訊、車載終端、GIS電子地圖等各類終端幫助信息，為道路的使用人員提供最優路徑，引導信息及各類實時交通幫助服務信息，以提高車輛的通行效率及行車安全。

4.2智能交通流預測與出行引導問題

基于云計算的智能交通流預測與出行引導可通過物聯網對交通流量數據進行實時采集，對這些數據進行分析和快速處理，以便對道路交通流進行實時動態判別和準確預測，從而正確指導用戶出行，這樣必須建立起智能交通流量采集數據庫及非結構化的數據庫。

4.3智能交通事故預警處理問題

道路交通中的突發事故嚴重影響城市道路交通運行的安全性和可靠性，因此，面對突發事故，必須快速做出反應，提出處理預案，然后對其進行有效、及時地處置。基于大數據分析的交通事故應急處置方案的形成，是通過物聯網技術快速采集和分析交通突發事件及整個道路流量信息，迅速地進行事故故障處理，并及時發出預警信息，提前、有效和安全地疏散車流，達到不影響交通正常運行的目的。

5我國智能交通系統發展趨勢

眾所周知，我國4G移動網絡牌照已經發放，圍繞4G移動網絡的各項業務也快速展開，但目前，網絡通訊費用并沒有下降，這對基于4G移動網絡智能交通系統的開發與使用具有較大影響，相信隨著4G網絡的普及、通信環境的改善、資費的下調，大數據的交互平臺將有望在許多移動設備（如手機、平板電腦）上實現，云計算技術也將得到更廣泛的應用。例如，未來的智能交通系統將會出現自動駕駛系統、大數據與智能交通、生態智能交通系統、移動互聯網與智能交通等。近年來，基于移動網絡智能終端的與交通相關的APP得到飛速發展，因而，移動互聯網技術在人們出行中的作用將越來越大。

6結語

基于4G移動網絡的大數據和云計算技術的智能交通系統是一個復雜的系統工程，它涵蓋了網絡構建、信息采集、系統集成及應用開發等多方面內容，同時也涉及城市交通運行管理中的許多領域。要在4G移動網絡平臺上加快推進大數據和云計算技術在城市智能交通系統中的研究及應用，必須不斷加強技術革新、保障云安全、完善基礎設施建設，并將政府構建的基礎性開放平臺與引導科研機構、高校、企業參與應用研發相結合。

作者：鄧波 黃同成 劉遠軍 單位：邵陽學院信息工程系

大數據應用論文:高校管理會計大數據的應用

2015年1月，“管理會計之中國實踐”走進高校第一站（北京大學站）在北京大學光華管理學院成功舉辦。研討會的主題是“大數據時代，CEO需要怎樣的管理會計”，會上財政部會計司副司長劉光忠強調了管理會計的重要性，并指出管理會計不僅適用于企業，也適用于行政事業單位。作為理論界的先行者和行政事業單位的典型代表，高校在注重管理會計的同時，還要充分發揮大數據在管理會計中的作用。大數據是網絡信息技術發展的產物，具有數據量大、價值高、更新快、類型多的特點，人們通過新技術對大數據進行處理分析，從中提取出有價值的信息，這些信息為相關機構做決策分析提供數據支持，有利于增強決策正確性，提升自身競爭力水平。近幾年我國高校的辦學規模日益擴大，高等教育越來越大眾化，高校與高校之間關于招生、就業、發展的競爭不斷加劇。高校要想在競爭中提升自身競爭力水平、實現長遠穩定的發展目標，就必須善于利用大數據這一工具，讓大數據在高校的管理中發揮作用。管理會計為高校領導作決策提供參考建議，而大數據可以為管理會計提供巨大的數據支持，只有在高校滿足一定的前提條件之后，才能更好地把大數據應用在高校管理會計中。

一、大數據在高校管理會計中的應用前提

（一）增強高校領導對大數據與管理會計關系的認識

高校領導在學校的日常管理中起著模范帶頭作用，領導重視的問題、強調的內容，是全體干部隊伍工作的方向和重點，全體方向一致才能完成目標。在信息化發展迅速的今天，要讓管理會計在高校中真正發揮作用，需要高校領導意識到管理會計就是管理和會計的結合，管理會計人員呈現的不是單純的財務信息，而是從校園大數據中提取的有利于領導決策的數據信息。國內國外的實踐經驗表明，管理會計對于管理的重要性已經不言而喻，作為高校的領導尤其要緊跟時代步伐，善于利用大數據加強管理會計的應用。一旦高校領導意識到大數據可以為管理會計提供數據支持，就會開始注重大數據在管理會計中的應用，那么從各二級學院到各行政部門都會貫徹執行具體應用，就能很大程度改進管理會計在高校的應用效果。在海量大數據的支撐下，管理會計提供的決策建議更具有說服力，領導作出決策再也不用靠直覺、憑經驗了。

（二）注重管理會計人才的引入和培養

敏銳的洞察力、良好的溝通能力、專業的知識素養、嚴謹的職業修養是一個管理會計人員必備的素質。管理會計不同于財務會計，不是僅僅做賬和處理數字那么簡單，而是需要管理會計人員利用專業的知識素養對財務信息和其他信息進行統計分析，利用敏銳的洞察力洞察高校發展中存在的阻礙和優勢、利用良好的溝通能力把分析出的數據、洞察的結果跟領導進行匯報，利用嚴謹的職業修養對一些需要保密的決策三緘其口。當今時代下，大數據對管理會計的應用產生了很大影響，而且大數據理論與技術在逐漸發展，管理會計理論與體系也逐步走向成熟，更需要管理會計人才對大數據發展、高校發展進行全視角觀察，保持清晰的邏輯思維方式對海量數據進行分析整理。所以為了更好地促進管理會計的應用，在招聘管理會計人才時高校要嚴格考察，逐步篩選出高素質、高水平的管理會計人才，隨著市場競爭的變化，還需要定期對管理會計人才進行培養。

（三）引進并更新管理會計信息系統

現在管理會計已逐步實現了信息化，管理會計信息系統以現代管理科學和信息技術為基礎，以財務管理和管理會計提供的模型為基本方法，把管理會計的實務操作與信息化系統結合，不僅可以實現信息傳遞的實時性，還能極大程度地節約物力人力。高校引進管理會計信息系統有利于管理會計工作的開展，在大數據作用于管理會計過程中，大數據的分析利用需要借助管理信息系統，而且隨著大數據量的不斷增加，對信息系統的要求也會越來越高，所以為了確保管理會計的應用效果，就要定期更新管理會計信息系統。

二、大數據在高校管理會計中的應用領域

在高校的行政管理中，即時報賬產生的財務信息、隨時變化的學費繳納情況、新增科研項目的經費登記、基建項目的進度變化、資產的購置與報廢情況變化、隨時變化的水電費使用情況以及畢業生就業情況等構成了實時產生的大數據，這些數據信息對于學校的管理與發展來說具有很大價值。所以學校應根據信息化管理技術，建立一個涵蓋財務處、審計處、資產管理處、科研處、教務處、基建處、發展規劃處等部門的，并且與市場公開信息相連接的“大數據庫”，確保學校行政管理各部門間信息的溝通與傳達，為管理會計實現評價與分析提供基礎。下文將詳細分析大數據在管理會計中的預算管理、本量利分析、決策分析和績效管理中的應用。

（一）預算管理中的應用

高校預算管理的效果決定了高校行政資金的使用效率，關系到高校年度內各項事業是否能正常運行。在編制預算時，有的高校根據“增量預算”方法編制，有的高校根據“零基預算”方法編制，還有部分高校采用“零基預算”與“增量預算”相結合的方法編制，這幾種預算編制方法都不能解決超預算的支出問題，容易造成財務資金沉淀，不能適應目前高校教育事業發展的需要。“滾動預算”法是不規定預算的數額，在預算執行過程中，隨著預算的執行不斷延伸補充預算，逐期向后滾動的預算編制方法，利用這種方法編制預算加大了對預算監督的難度，所以在實際應用中較少用到。但是在當今信息化時代，對數據信息的實時掌握不再是一個不可及的目標，它可以促進高校使用“滾動預算”法編制預算，使用過程中可以將滾動周期縮短到以月或者周為單位，也可以根據各部門重大資金支出周期為單位，通過大數據庫，實現周期性的對部門預算的審批與監督。在審批與監督過程中，要結合學校實際情況和市場公開信息進行分析，例如對于部門某資產的購置預算方案，要先結合部門情況分析其購置必要性和購置數量合理性，再結合市場同類價格信息分析部門報價是否合理，如果不符合這幾項規定之一，該預算方案就不能審批通過。

（二）本量利分析中的應用

高校在確定年度招生計劃時，可以采用本量利分析方法，根據生源總體情況、往年招生計劃、學校容量等數據信息進行綜合考量，結合學校的運營成本進行分析，確定最優的決策方案。假設學校的運營成本分為固定成本和變動成本，固定成本是不隨學生人數增減而變化的成本，包括學校的教學樓、宿舍樓、圖書館等長期固定資產成本，教學設備設施等短期固定資產成本，學校維護安全的治安管理成本，學校職工的工資和福利等薪酬成本等；變動成本是隨著學生人數的增減而變動的成本，包括學生的水費、電費，各院系的報刊費、電話費、網絡費等。假設學校的收入總額是國家撥款和學費（假設沒有校辦企業和其他資金來源），那學校的盈利就是收入總額減去固定成本和變動成本后的差額，從理論上分析招生越多，學校的盈利就越多。但是高校終歸是非盈利組織，不以盈利為目的，我們利用本量利分析的最終目的不是尋求利益最大，而是考慮如何在充分利用學校資源和保證生源質量的前提下，實現學校成本較小的目標。基于大數據資源庫，高校可以充分利用學校的成本數據信息、學校容量數據信息，往年招生情況信息，歷年分數線信息、歷年各省名額分配信息等對招生計劃進行綜合考量，確立一個可以實現校園資源優化配置又能保證學校健康穩定發展的招生計劃。

（三）基建決策中的應用

隨著高等教育的大眾化進程加快，高校擴建已成為一種必然趨勢，但是在哪里擴建、如何擴建、擴建到什么規模則是需要高校管理者深思熟慮的問題。到底是在原來的校園內建設教學樓或宿舍樓等固定資產，還是另尋新址進行擴建；要怎樣進行擴建，是教學樓、宿舍樓和其他教輔設施一起建設，還是分批次按重要性依次建設；到底擴建到什么規模，是不是擴建的越大越好等這些問題，可以根據大數據信息得到解決。在做這些決策時，高校要結合“大數據庫”中的學校財務數據信息、招生計劃信息、國家政策信息、融資渠道信息等進行綜合考慮，做到不盲目擴建、有目的有根據的做出有利于學校發展的決策。

（四）重大采購決策中的應用

每年新生入學，學校都要大批量購置床上用品和學校校服，采購這些物資的原則都是質優價廉，采購方式多是招標。但是以往參與招標的供應商往往受限于地域范圍，例如山東省的供應商不會到海南的高校進行招標，正如海南供應商也不會到山東省高校進行招標一樣，這導致參與招標的供應商每年都是固定的幾家，學校對于采購物資的議價能力不高，很大程度上加大了學校的采購成本。但是現在招標信息是完全公開信息，不管哪里的供應商都可以看到都能參與，學校也可以向產品質量較高但從未參與過學校招標的供應商發送招標邀請，這樣參與學校采購物資招標的供應商就會增多，學校就有較大的議價能力，在諸多供應商中選擇一家或幾家為學校生產采購物資，節省學校的采購成本。在大數據時代，物流發展也同樣迅速，完全不必擔心生產廠家和高校間的距離，也完全不必擔心遠距離下的物流成本，可以結合幾十家物流運輸費用的信息數據進行選擇，選擇一家安全快速的物流公司進行物資運輸。

（五）績效管理中的應用

有效的績效管理可以促進學校與教職工的“雙贏”發展，能讓學校了解教職工的工作狀態，便于發現人才、留住人才，能讓教職工通過考核結果的反饋與對比，清楚地看到自身的優勢與不足。在以往的績效管理中，對教職工的考評流于形式，績效計劃制定不詳細、績效實施缺乏監督、績效考核與反饋不及時。但是大數據的出現可以促進績效管理有效性的實現，通過層級傳遞，各級領導把行政人員和教師人員的詳細崗位職責、工作任務、工作目標等錄入績效管理數據系統。專人負責定期將教職工的教學成果、學術成果、工作業績等數據進行統計并上傳到績效管理數據系統中，為保證績效考核結果的可比性，需要在考慮不同專業、不同學科性質的基礎上將工作成果進行量化。教職工（只有查看權限）可以登陸績效管理系統，查看自己階段性的績效考評結果，并可以向系統提交查看其他教職工績效結果的申請，便于進行橫向對比，在這個過程真正縮短績效考核與反饋的時間間隔，提高了績效管理的效率。在大數據的推動下，教職工的績效考評結果用數字表示，清晰的評價標準和流程讓教職工感受到績效管理的公平公正，這樣的情況下再與學校的獎懲機制相聯系，能極大地促進教職工的工作熱情和積極性。

作者：張詠梅 穆文娟 單位：山東科技大學經濟管理學院

大數據應用論文:計量工作大數據應用與發展

目前，我國計量行業對大數據的理解和應用相對滯后，政府行政部門應通過相關數據收集、統計和挖掘，獲得有價值信息，為產品質量的提升和發展提供更科學的依據。運用大數據推動計量行業快速發展，進而推動產品質量提升，已經成為計量行業未來發展的必然趨勢。

一、計量信息數據整合是做

好質監大數據運用的基礎計量工作中的量值傳遞、產品檢定、測試與校準中，產生了大量有價值的數據信息，所以推進計量工作數據清理整合工作，在建立計量信息數據庫的基礎上，再將產品檢驗、執法系統數據、重點行業、企業、產品的質量數據，以及各個領域涉及產品質量的相關數據進行整合，最終完善整個質監領域的大數據庫。充分運用大數據相關技術，提高質監部門的服務水平，為產品質量監督管理、產品質量提升、國家質量戰略和相關法律法規的制定提供更可靠的依據。

二、大數據運用在計量領域的初步探索

1.建立計量器具數據庫。建立統一的數據庫，將計量器具實行賦碼化管理，逐步完成計量器具的生產、使用等多環節的監管。目前，西安市已經在全國率先將強檢計量器具實行賦碼化管理，賦碼系統建立后，大幅度減少了強檢計量器具瞞報、漏報、不報、拒檢、超期未檢等現象的發生，強化了強檢計量器具在使用中的監管。筆者認為，下一步應組織相關部門逐步將計量器具的生產企業納入數據庫中，實行“一器一碼”制，最終實現通過編碼查詢到計量器具的所有信息，包括生產信息（企業信用信息、生產許可證、出廠合格證、質保信息等）、使用過程中的管理信息（使用方的維修信息、相關檢測機構的檢測報告等）。2.將大數據技術應用于復雜環境下的計量檢測中。計量測試未來發展趨勢是將在保持更高準確度的前提下，回歸到現場環境條件里的計量校準和計量溯源。隨著大規模現代化工業、國防工業和軍事計量的發展，解決復雜環境下的計量校準問題，成為當今計量檢測中的難題和挑戰。建立計量測試儀器設備在每一種環境因素變化情況下的有效數據和變化情況數據的數據庫，并對不同因素的相互作用（包括線性疊加、非線性疊加、交叉調制、加權耦合等）進行仿真模擬（包括模型仿真、數據仿真、半物理仿真、全物理仿真等）。最終通過模仿系統模型和大數據進行處理，以獲得在任何復雜環境條件下的計量校準結果。3.用大數據幫助企業解決計量器具的管理。計量檢測作為企業產品和服務質量控制的重要組成部分，企業對服務機構計量檢測的綜合服務能力要求越來越高。通過大數據技術全面切入客戶質量管理、技術研發環節，為客戶提供全方位解決方案，已成為計量檢測技術服務市場和拓展能力的方向。例如，為醫院提供計量檢測服務的過程中，利用大數據分析、評估醫院計量器具的整體性能，幫助醫院發現醫療設備性能和使用中存在的各種問題，提出相應解決方案，從而提升醫院設備質量控制的整體水平，避免因為醫療設備性能的問題造成醫療事故，為病人的生命安全保駕護航，也更好地體現了民生計量工作中執政為民、全心全意為人民服務的宗旨。4.用大數據可以為計量助推供給側結構性改革和精準服務產業發展，找到準確的發力點和切入點。通過建立區域內計量基標準和社會公用計量標準動態數據庫，努力實現信息資源區域共享、結果互認，從而統籌技術資源，避免重復購買計量標準器具，提高檢測標準器的利用率，從而充分發揮區域計量標準器具資源的價值。同時通過大數據交流，增加部門之間的橫向聯系，實現良好的合作，促使國民經濟聯合成一個完整的體系，將計量與全社會各部門、各企業聯系在一起。5.用大數據為“一帶一路”計量服務。通過大數據，積極推進與沿線國家計量領域全方位的務實合作，共同促進國際計量體系的創新發展，推動國際計量互認進程，促進貿易便利化水平，服務區域經濟社會可持續發展。通過建立計量領域政策信息數據互換和交流平臺，提升計量法規的透明度，實現沿線國家資源共享。通過建立計量領域技術信息數據互換和交流平臺，加強各國計量技術機構的戰略規劃、科學研究、業務拓展等方面的信息交流。加快計量雙邊、多邊合作和互認進程，促進量值國際等效，不斷擴大互認國和互認產品范圍，最終實現“一次測試、一張證書、全球互認”，從而促進國際貿易的便利化，更好地提升計量服務經濟發展的能力。

三、結束語

計量大數據的服務與應用可以加速計量行業信息化進程，加快質監部門信息共享，提高質監部門服務能力。當然，數據安全是質監系統做出分析和決策的重要依據，大數據在存儲、處理、傳輸等過程中面臨安全風險，具有數據安全和隱私保護需求。尤其是計量大數據，都是與生產、生活、安全相關的數據，保護這些數據的安全，防止數據系統受到不法分子的攻擊顯得尤為重要。

作者：付磊 單位：陜西省計量科學研究院

大數據應用論文:大數據在高校教育信息化的應用

【摘要】隨著我國經濟的發展，科學技術的迅猛提高，信息技術已經逐漸融入到社會的每一個角落，21世紀開始步入信息化時代。隨著信息技術的滲透，作為社會生活的重要陣地，高校自然也不會置身事外，信息技術在高校教育中的應用愈發普遍。本文主要闡述了大數據在當前信息化時代中的一些特點，并結合實際探討了大數據在高校教育信息化中的應用。

【關鍵詞】大數據；高校教育；信息化

信息化時代的到來，使得曾經被人忽視的各種媒介中的數據爆發出驚人的價值和影響力。數據成為了信息化時代獨有的傳遞媒介，人類將邁入一個深度挖掘數據的大數據時代。隨著信息技術的滲透，人們的生活、工作已離不開大數據。將信息化技術融入高校教育中不僅可以幫助高校發展教育還可以為信息化時代做一份貢獻。在21世紀這場大數據的浪潮中，高校在其中扮演的角色不僅僅是參與者更是推動者。為順應大數據時展的趨勢，在高校教育中推行信息化教育勢在必行。

一、大數據

作為信息時代的產物，人們對大數據往往有著不同的定義，簡而言之，大數據是信息數據的總和，是以信息形式表達的多種信息的融合。可以說它是一種新型的力量，有著不可估量的價值和影響力，現代技術是它的載體。憑借其自身蘊藏的無限價值，大數據已經成為現代化社會的象征。與傳統數據不同的是，大數據主要講究的是數據之間的相關性，而對于數據間的因果關系卻不再關注。大數據可以通過分析數據間的相關性來實現對信息的優化，幫助人們進行決策分析。在高校教育中，大數據也可以通過對高校的信息數據進行分析整合，為高校的發展提供數據參考。與傳統數據不同，傳統數據僅僅只是實現了對數據的存儲并未完全實現數據的價值，因此雖然傳統數據為中國的社會發展做出了貢獻，也給人們帶來了很多便利，但它仍存在很多瑕疵。反觀大數據，大數據主要講究的是數據之間的相關性，它不僅可以實現數據的存儲，還可以利用這些數據達到預知發展趨勢的目的，與傳統數據相比，它更實現了對數據價值的深入挖掘。傳統數據與大數據應用的方向也不相同，傳統數據主要進行信息的存儲，針對的是過去的數據，已過去的數據為核心。而大數據是對傳統數據的提取和分析，以達到預知發展趨勢的目的，是以事物未來的發展為核心。憑借其自身蘊藏的無限價值，大數據已經成為現代化社會的象征。隨著信息技術的發展，大數據也將滲透到人們生活的每一個角落，大數據必將在高校的教育中發揮重要的作用。

二、大數據在高校教育信息化中的應用探析

1、對教學質量進行評價。為了提高高校的教學質量并能夠幫助教師在教學過程中不斷地發現問題、解決問題，高校的每年期末都會對教師的教學質量進行評估檢查。在教學評價中應用大數據可以使教學評價形成有效的管理機制，其實能夠安全有序的進行。而且大數據可以根據教學評估中提供的各項數據進行有效的分析整合，使教學評估工作更加高效可靠。2、綜合分析教師的職業技能。傳統的數據僅僅能起到信息存儲的功能而無法利用數據的附加價值，而大數據不僅可以實現信息的存儲更強調了信息之間的相關性。將大數據應用于高效教育中，還可以實現對教師職業技能的分析，而在高校教育中，最能夠決定高校教育質量高低的便是教師的職業技能。將大數據應用于教師的職業技能分析時，大數據可以通過對教師以往教學經歷的分析、觀察，從而找出最適合該名教師的教學方法，并能夠幫助其在課堂上揚長避短，提高高校的教學質量。將大數據應用于教師的職業技能的分析還可以提高課堂的利用率，為學生的下一步學習制定計劃。3、個性化課堂的開展。將大數據應用于高校教育中，大數據可以完美的將學習內容與數據資源結合起來，從而幫助學生完成學習目標，實現個性化學習。高校教學改革最重要的目標便是個性化學習。大數據主要強調信息之間的相關性，將大數據應用于個性化課堂的開展時，大數據可以根據某個學生學習成績然后從已畢業的學生中調取有相似學習經歷的學生的資料，分析待選課程與學生之間的相關性，為學生提供可靠的待選課程的課程分析。4、滿足學生的需求。大數據可以通過學生在高校時使用校園一卡通的情況分析出學生的消費情況甚至其家庭的經濟情況，對于實在貧困的學生，學校可以采取資助，使得國家助學金的發放更加的公平、公正。

三、結語

隨著信息技術的滲透，人們的生活、工作已離不開大數據，作為社會生活的重要陣地，高校自然也不會置身事外。在21世紀這場大數據的浪潮中，高校在其中扮演的角色不僅僅是參與者更是推動者。將大數據應用于高校教育中，不僅可以實現對高校教學質量進行評價、教師的職業技能的綜合分析，還可以開展個性化課堂，使得國家助學金的發放更加的公平、公正等等。為順應大數據時展的趨勢，在高校教育中推行信息化教育勢在必行。

作者：劉鍵 單位：遼寧省教育廳教育信息中心

大數據應用論文:大數據在區域品牌營銷的應用

［摘要］從我國目前市場經濟的發展趨勢來看，區域品牌營銷與其他品牌的營銷相比，其在市場環境中還處于剛剛起步的階段。但隨著信息技術的快速發展，區域間的競爭也日益激烈，這就需要區域品牌在營銷中廣泛應用大數據，搶占商機。基于此，本文分析和研究大數據在區域品牌營銷中的應用，并探討大數據平臺、客戶的需求及營銷規律。

［關鍵詞］大數據；區域品牌；營銷

引言

在當今信息技術發展越來越迅速的局勢下，大數據的發展也受到了各個行業的關注，許多企業為了能夠在信息環境中搶占商業先機，對大數據整合技術及信息處理技術進行了探究。由此可見，不管是從經濟發展的角度，還是從信息技術的應用情況進行分析，大數據顯然已成為促進社會發展的重要因素。大數據可以借助移動終端設備和網絡技術構建多元化的結構數據，也能構建出一些半結構化及非結構化的數據。如今大數據技術已經在各行各業中有了廣泛應用，區域品牌營銷市場中大數據的應用，改變了傳統的商業營銷模式以及工作人員的管理理念，區域品牌在營銷中利用數據分析市場的發展情況，獲得商業的先機，從而有效促進自身發展。

1大數據營銷及區域品牌概述

1.1大數據營銷

當前，各個企業將大數據帶來的商業機會分為兩種，一種是由微軟、惠普等公司開發的硬件和軟件以及數據，還有一種是來自海量的用戶信息，并且這些信息能夠為企業提供精準營銷平臺以及個性化的廣告推介等商業宣傳活動。而大數據營銷就是第二種，這種營銷方式通過搜尋并分析各種相關數據，充分了解市場發展的需求，從而幫助企業改變競爭形態，把依據客戶的生活方式以及價值取向等主觀信息，推測客戶需求導向的這種傳統營銷模式，轉變為通過對客戶的各種信息行為以及購買歷史等方面進行分析，滿足客戶的需求，并根據這個導向進行營銷的模式。大數據營銷不僅要實現線上和線下的互通，也要確保在各大媒體、互聯網站及移動終端等的數據是相通的，這些都大數據有效實行的前提條件。當然，由于現實生活中不同領域及行業局限性，大數據會受到許多因素的影響，如公司的隱私保護、信息倫理等。對于政府數據及科研管理數據，應該多多提倡數據的重復利用，由此可見，大數據想要在各個領域中分布是比較困難的。另外，有部分企業為了保護公司的隱私，便采取封閉式的數據開發和搜尋，并從中牟取利益，事實上這種形式無法滿足整合化營銷的要求。所以，企業在面臨大數據帶來的發展前景的同時，也要注重對企業能否實施大數據營銷的基礎條件進行科學合理的評估，要對市場營銷人員進行技能考核，從而確保工作人員能夠具備相應的營銷技能，除此之外，企業也要制訂應用大數據的營銷方案。

1.2區域品牌

隨著我國經濟市場的逐步發展以及經濟管理秩序的改變，經濟市場的競爭也日益激烈。由于外部環境和內部因素的大幅度變化，整個市場的格局也有很大變化，以往的商品競爭已逐漸被區域品牌競爭所取代，并且商業競爭的主體也由傳統的企業競爭轉變為區域競爭。隨著競爭形勢的變化，競爭局面也變得越來越復雜。為了能夠適應這種競爭形勢，許多企業都由過去的商業競爭關系轉變為競爭合作的關系，在這個的發展趨勢下也可以有效利用區域文化來促進市場發展。在這種發展形勢下，許多先進的企業已經選擇區域品牌作為商業競爭的主體。建立區域品牌也成為促進現代化經濟發展的重要工作。目前，關于區域品牌并沒有一個具體的定義或者界定，對于區域品牌，不同的人有不同的看法，但不管怎么說，區域品牌一定要在一定區域范圍內才能產生，且在市場的知名度、市場份額及名譽等方面都會比其他商業經濟更有優勢。區域品牌是以集團品牌的形式而存在的，并且在發展的過程中也逐漸成為市場競爭的核心內容。企業想要提高區域品牌的競爭力，首先要增強區域性的競爭力，因為區域品牌才是提高區域經濟的有效方法。

2大數據在區域品牌營銷中應用的方式

2.1通過動態化的形式監控市場環境

隨著技術的發展以及經濟效益的增長，區域品牌的競爭也變得愈加激烈，而市場經濟的環境也隨之變得復雜起來。在這樣的發展環境中，區域品牌營銷的方案更加難以實行，但是利用大數據可以分析，使區域品牌營銷發現新的商機和市場。通過對大數據的集中分析，可以快速了解到某個區域環境中的商機，也可以分析某個階段的消費群體的需求，這時企業就可以根據客戶的需求研發相應的區域品牌。與此同時，區域品牌的營銷也可以借助大數據的技術，對區域內外的環境進行動態化監察，這樣就可以為企業的策劃人員提供參考信息，也能面對市場的變化，使區域品牌營銷作出相應的調整。

2.2通過改善用戶的體驗促進區域品牌營銷的發展

以往的區域品牌營銷人員在推廣和宣傳品牌時，常常會輕視消費者的主觀意識及消費體驗，在過去的區域品牌營銷宣傳或與消費者溝通時，都是利用比較簡單的形式進行，這樣會導致宣傳的效果不太理想。而區域品牌營銷在如今大數據的環境中，可以充分利用大數據分析消費者對區域品牌的了解程度，并通過實時解答消費者的一些疑問作出相應的評價和定位。其實就是通過消費者與區域品牌營銷之間的溝通，提升消費者的認同感，使消費者對區域品牌產生相應的興趣。企業想要留住消費者，就要不斷完善區域品牌的形象，或者說企業可以根據消費者的特性繪制出相應的圖像，并根據圖像進行現實還原，這樣就可以有效增強消費者的體驗感。

2.3利用大數據分析并觀察競爭對手

大數據技術在區域品牌營銷中不僅可以分析消費者對品牌的了解程度，還能分析和觀察自己的競爭對手。企業利用大數據技術可以分析競爭對手對產品的研發以及服務的感知力，這樣就可以根據與競爭對手的比較，發現自身的不足和優勢，然后幫助營銷主體有目的地改變營銷策略。這樣的營銷方式對于企業來說具有重要意義。企業通過對競爭對手的分析，可以對整個行業的發展進行掌握，也可以對市場的外部環境有個大致了解，從而有效降低營銷的風險，進一步實現區域品牌營銷效益得而最大化。如，企業在推廣和運營或者招商的過程中對信息進行研究和分析，就可以根據商戶的具體情況進行適當調整，并制訂可以增加客戶量的營銷方案。區域品牌營銷中利用大數據分析競爭對手，可以了解到對手的發展趨勢及狀況，從而對自身的發展戰略進行合理調整，并搶占商機。

3結語

隨著信息技術的快速發展，區域間的競爭也日益激烈，而大數據也在區域品牌營銷中得到了廣泛應用，筆者相信區域品牌營銷中應用大數據會發展得更為長遠。大數據技術的存在有效促進了區域品牌營銷的發展，且在經濟市場的實踐營銷中也真實地證明了大數據的價值。區域品牌營銷要合理利用數據的優勢，精確定位每一位消費者，并從繁雜的信息中提煉出對自身有利的信息，從而獲得良好的營銷效果。相關企業要建立有效合理的大數據營銷機制，并對數據的管理以及區域營銷費用的有效控制加強實行力度，通過提升客戶的品牌體驗提升營銷效率。雖然，目前在區域品牌營銷過程大數據的應用還存在一些問題，但筆者相信在今后的發展中大數據能發揮出更大的作用。

作者：彭秋生 單位：中海油信息科技有限公司深圳分公司

大數據應用論文:大數據在煤礦安全生產的應用

摘要:煤炭行業經過多年的信息化應用，積累了大量的安全生產數據，但對這些數據的深度利用還遠遠不夠。大數據提升了信息的獲取與處理能力，基于大數據處理技術，將安全生產數據進行有效整合，深度挖掘，對煤礦安全生產意義重大。本文闡述大數據的技術和發展趨勢，總結目前煤炭安全生產中大數據的應用現狀，探討大數據在安全生產中的應用方向。結果表明，大數據的應用有助于提高煤炭安全生產的效率、節省成本和減少損失。

關鍵詞:煤礦;大數據;安全生產;應用研究

大數據的概念于2008年在美國《自然》提出［1］。大數據概念的提出，是對大量數據處理的一個突破。它可以從紛繁復雜的數據中提取有效信息，并對有效信息進行分類、分層次處理。基于計算機等硬件設備，在對巨量有效信息進行深入挖掘之后，對之間因果關系進行分析，找出一些事件之間的因果關系。因此，大數據分析可掌握一些事件的規律，并對事件的走向進行預測。

1煤炭安全生產大數據現狀與問題

近年來，安監及煤監等部門通過監測平臺的引入及應用，已經建立一定數量的數據庫。但是由于缺乏深入的整理和利用，仍存在很對問題。(1)數據量偏小，數據質量低。由于在前期煤礦的生產中，并未提及大數據的理念，各個煤礦對自身礦區數據整理收集不夠。尤其是涉及礦難及事故方面，更是較少涉及。因此，導致有效數據少，可用數據欠缺。(2)未能與大數據技術統一標準，缺乏依據。新技術在傳統領域的應用必然會出現一些新問題，大數據技術也是如此。傳統的數據收集未能與大數據技術統一標準，數據收集依據不足。(3)基于煤礦生產行業的特色，井下生產中防爆防火用具要求較高。因此，限制了一些高效、實時數據收集智能設備在該行業的使用。在大量的數據實時收集及整理時，困難較多。(4)煤礦安全生產及事故隱患分析主要依靠安全生產管理者分析，難以形成有效數據。專業智能設備在煤礦安全生產中使用不足或較少，難以完成大量數據收集任務。(5)專業人才欠缺。由于大數據理念較新，在實際應用中偏向于高新產業及國家優先發展產業。煤礦產業由于最近經濟影響，專業人才儲備不足。

2煤炭行業安全現狀

目前，通過政府部門及企業的共同努力，安全投入到位，安全文化氛圍濃厚，煤炭行業事故率明顯降低，傷亡人數亦有較大回落。但是，該行業依然存在一些問題:(1)自動化水平低，近年來，煤炭行業先進機械及自動化監測設備引進率較高。但是，相對于發達國家，還是有一定差距。主要表現在過于依靠工人經驗，隨著煤炭進入深部開采，地質情況復雜，經驗越來越受限。(2)煤礦現在對事故的分析依然偏向于“事后分析型”，而真正有效的應該是“事前預測型”。專業有效的事故分析工具在煤礦中使用較少也是造成此結果的原因之一，煤礦開采難度加大，以往經驗不一定能夠適用。(3)信息共享率低。目前，礦難尤其是重特大傷亡事故是各個部門避而不談且不愿分享的數據，從而導致樣本有效性差。

3大數據在煤炭行業安全生產的關鍵地位

3．1數據收集、整理、分析及整合

人工數據和開源數據是煤礦安全生產管理者獲得大數據基礎的重要方法。人工數據雖然準確率高，但其具有成本較高、自動化水平較低、易發生人為原因錯誤的天然缺點。與之形成對比，開源數據自動化水平較高，成本較低。尤其在信息化綜合系統越來越多的應用于煤炭行業，國家安監局、煤監局等各部門通力合作，建立綜合信息化平臺。這對大數據的收集、整理、分析、整合及預測都會起到積極的影響。

3．2大數據存儲平臺為煤炭安全生產提供及時的輿情信息

當礦難發生后，在處理礦難的過程中，大數據平臺為安全生產的管理者及民眾告知詳細信息。一方面，政府部門及監督管理部門通過官方渠道及新發展的信息通道(如Wechat等)，及時有效的將相關真實信息傳遞給大眾，此舉可有效防止謠言誤傳。更可避免政府部門的工作陷入被動應付狀態，保證災難性事件發生之后社會的和諧穩定;另一方面，每次事故也是一次珍貴的失敗實驗，對此次事故詳細分析，錄入大數據平臺，增加數據平臺豐富性的同時，對類似事故的預防、發生具有重要的參考價值。

3．3大數據拓展了煤炭安全生產的綜合分析能力

新技術在傳統行業的應用是對傳統行業的一次產業升級，尤其是在煤炭行業。長期以來，我國煤炭行業生產安全性較差，生產效率較低，安全預警能力較差。通過引入大數據綜合分析平臺，可有效提高煤炭安全生產能力。有效改變煤炭行業事故率高、礦難頻發的狀況，如離層分析儀等數據平臺的引入，可有效預警頂板事故，大大降低頂板事故傷亡率。

4大數據在煤炭安全生產中的應用

基于大數據分析理念，結合煤礦安全生產歷史及現狀，應從以下四方面入手，提升大數據在煤礦安全生產中的整合能力。

4．1結合互聯網和云計算，建設煤礦安全綜合信息平臺

提升在線監測能力，貴州省近年高薪招聘高素質駐礦安全員，實現煤礦安全數據的實時更新及有效登錄，有利于建設煤礦綜合信息監測平臺。全國也在提升煤炭行業對高素質人才的吸引力，大力建設全國綜合監測平臺。2010年美國某礦發生事故，引起網民廣泛關注［3］。網民通過數據監測及政府安全監督平臺，深入挖掘出事故背后利益關系，有效推動了美國礦業管理制度的完善及事故預防能力。

4．2逐步提高智能化監測設備在煤礦使用比例

由于煤礦行業對安全標準的高要求及煤礦行業富含瓦斯及地壓等影響因素，大量有效監控設備在煤礦安全生產中使用受限。隨著大數據理念的發展及技術的發展，各種智能化技術也會在煤礦得到應用。目前，煤礦六大系統都已建設完成，部分煤礦已采用了在線監測設備及內部通信設備，有效提高了智能化監測設備在煤礦使用比例。

4．3加強管理，保證數據安全

如果不能有效安全使用大數據，會帶來意想不到的風險。大數據的使用改變了傳統煤炭行業的分析方法，有效整合資源。在發展歷程中，也要防范數據濫用、惡意篡改等。大數據是珍貴的資源，要采取技術措施保證安全。個人不得隨意查看或用于其他用處，尤其是利用大數據做違法行為。政府與人民要聯動，確保大數據安全，真正服務于煤礦安全生產。

5結論

大數據在煤礦安全生產中的應用，是一個新的領域與嘗試。在此歷程中，數據會越來越規范、有效，隨著此技術的普及，也將對現有安全管理模式產生有利影響。大數據的應用必然引起傳統行業安全管理的一場變革，也將提高煤礦安全管理的技術能力。以技術促進管理，提高安全管理的自動化能力。政府管理部門及企業要聯動，形成合力，深入挖掘數據之間的關系，不拘泥于表面，發現數據之間的內在聯系，從而為數據的整合及預測提供有效技術支持。通過大數據在煤炭行業中的深入應用，為安全管理者及政府部門決策提供有效的理論依據，更好地服務于煤礦安全生產。

作者：蘇東毅 于迪 李勝男 單位：三門峽龍王莊煤業有限責任公司

大數據應用論文:大數據技術在煙草數據中心的應用

摘要：以大數據技術的發展為背景，結合江蘇煙草數據中心建設的實際情況，分析了江蘇煙草數據中心以Hadoop及Impala等大數據技術為核心，輔以Kettle和JSP等數據處理及展現技術共同構建基于大數據技術的自定義數據查詢平臺的架構設計和實現方案。展現了大數據技術帶來的遠超傳統技術平臺的靈活性以及對于大數據量查詢的快速響應能力。

關鍵詞：煙草；數據中心；大數據；Hadoop；Impala

1.大數據技術現狀

當前許多企業都已基本實現了信息化建設，企業積累了海量數據。同時企業間的競爭日益加劇，企業為了生存及發展需要保證自身能夠更加準確、快速和個性化地為客戶提供產品及服務。而大數據技術能夠從海量的數據中獲取傳統數據分析手段無法獲知的價值和模式，幫助企業更加迅速、科學、準確地進行決策和預測。

1.1大數據技術現狀

廣大企業的迫切需求反之也促進了大數據技術的飛速發展，涌現出了諸如Hadoop、Spark等實用的架構平臺。其中，目前最主流的就是Hadoop。Hadoop的分布式處理架構支持大規模的集群，允許使用簡單的編程模型進行跨計算機集群的分布式大數據處理。通過使用專門為分布式計算設計的文件系統HDFS，計算的時候只需要將計算代碼推送到存儲節點上，即可在存儲節點上完成數據本地化計算。因此，Hadoop實現了高可靠性、高可拓展性、高容錯性和高效性，可以輕松應對PB級別的數據處理。

1.2大數據技術對煙草數據中心建設的影響

當前，煙草企業基于多年的信息化建設已經積累了海量數據，同時每天還不斷有新的各種數據產生。在高并發、大體量的情況下，需要在數據采集、存儲和運算方面采用與以往完全不同的計算存儲模式，這就不可避免地需要采用大數據技術。同時，除了購進單、卷煙交易數據、貨源投放數據等結構化數據外，還產生越來越多的非結構化數據，利用大數據技術，對非結構化數據進行預處理，可為人工判斷和機器學縮減范圍。對海量數據以及非結構化的信息進行分析統計，僅僅依靠傳統的技術手段很難實現，只有引入大數據技術才能充分的將所有的數據資源利用起來，成為企業決策的助力。

2.江蘇煙草數據中心應用現狀

2.1江蘇煙草數據中心體系架構

目前江蘇煙草數據中心以一體化數據中心、一體化數據管理和一體化數據分析三個部分為核心，構建了一套完整的數據中心架構。一體化數據中心是整個數據中心最核心的部分。通過數據倉庫模型、數據存儲、ETL工具等組成部分，構建了業務數據的收集、加工、存儲、分發的總體架構。建立了按ODS（SODS、UODS）、DW、DM三層結構設計建設的數據倉庫。一體化數據管理通過主數據管理、信息代碼管理、ESB平臺構建了企業主數據收集、標準化、同步分發過程。結合指標管理，全面管控企業的公用基礎信息。通過數據質量管理，全面有效管控數據質量。通過數據服務管理，有效提升數據中心的對外服務能力與水平。通過元數據管理來管理數據中心元數據。一體化數據分析通過構建移動信息、業務分析、數據挖掘三大模塊，針對性解決當前不同人員的決策、管理以及操作需求，發揮數據中心的數據、技術、平臺優勢。通過移動信息模塊為各級領導提供決策支持；通過業務分析模塊為業務人員的日常工作提供支撐；通過數據挖掘模塊，發掘數據所蘊含的隱性價值。基于上述一整套架構的支撐，目前數據中心構建了全省范圍的數據集成、交換體系，一方面提升了全省基礎數據、業務數據的規范化程度和數據質量，另一方面為在建業務系統的實施、已有系統的改造提供了標準化的高質量數據保障。

2.2大數據技術的應用場景分析

隨著江蘇數據中心的不斷運行，一些基于傳統技術架構的功能逐漸暴露出種種問題。其中較為突出的問題有：一是使用者對于大數據量數據的查詢需求。基于傳統技術架構的查詢功能響應較慢；二是分析支持靈活性的不足。傳統統計分析應用的數據結構大多是預先定義好的，面對靈活的非傳統的統計查詢需求難以支撐，需要進行額外的加工處理。江蘇煙草數據中心結合互聯網大數據技術特性，引入Hadoop平臺以及Impala等工具，搭建基于大數據的自定義數據查詢平臺，以補充基于傳統技術架構的功能不足，并為未來進一步發展建設基于大數據技術和云環境的數據中心做好準備。

3.基于大數據的自定義數據查詢平臺實現

3.1設計思路及架構

基于大數據的自定義數據查詢平臺是在現有數據中心的建設成果之上，以數據中心的數據存儲為基礎，以Hadoop、Hive、Impala等大數據技術工具為手段，以簡單靈活、快速高效的查詢展現為目標，建立的數據查詢分析支持平臺。

3.2技術方案

自定義數據查詢平臺的建設主要涉及數據存儲架構、后臺數據加工準備、前端展現三塊內容。自定義數據查詢平臺的數據存儲分為兩部分。一部分為KETTLE、Impala等工具以及自定義查詢相關的元數據存儲，另一部分則是查詢所需的各種統計數據的存儲。元數據的存儲根據元數據庫的不同主要分為兩部分。第一部分為基于Mysql數據庫的元數據存儲。這部分元數據主要包括有ETL工具KETTLE的元數據，以及前端自定義查詢需要定義的權限、數據源、表、列和表列關系等信息。第二部分為基于Hive的元數據存儲。這部分存儲的是前端查詢需要使用的Impala工具的元數據。統計數據的存儲則是使用Hadoop的HDFS實現的。根據Hadoop平臺架構，自定義數據查詢平臺的HDFS建立在6臺虛擬主機構建的集群上的。其中：2臺虛擬主機作為NameNode，一臺為主節點，另一臺為備份節點；其余4臺虛擬主機都作為DataNode用于存儲數據。所有數據將會統一分塊自動分配存儲到4個DataNode上。自定義數據查詢平臺的數據加工，是通過開源ETL工具KETTLE實現的。通過KETTLE從數據中心現有數據倉庫及數據集市中讀取需要的數據，根據自定義數據查詢平臺的數據模型定義對數據進行處理，最終加載到Hadoop的HDFS文件系統中。自定義數據查詢平臺的前端展現功能，主要是基于JSP技術實現頁面開發，通過JDBC或者ODBC對后臺Mysql數據庫進行訪問。使用者在查詢頁面中組織定義查詢的內容，查詢服務自動根據獲取的元數據信息將定義的查詢內容拼接轉換成為查詢SQL，之后通過Impala執行查詢SQL對HDFS文件系統中的統計數據進行查詢。

3.3系統實現效果

利用大數據技術，自定義數據查詢平臺較好地解決了目前數據中心所面對的問題，滿足了使用人員對于大數據量以及分析靈活性的需求。面對使用人員層出不窮的查詢需求，自定義數據查詢平臺通過預先梳理、分類定義各種維度以及統計指標。使用者可以自由的根據實際需求選擇分析所需的維度及統計指標，同時還可以基于這些基礎的內容更進一步自定義過濾條件以及計算公式，并指定其展現形式。在大數據量查詢效率方面，自定義查詢平臺相比傳統架構的查詢功能有了較大提升。

4.結束語

大數據技術的發展方興未艾，應用前景無比廣闊，對各行各業的巨大作用正在逐步展現。江蘇煙草數據中心的建設既要看到大數據技術未來的前景，更需要明確地認識到大數據平臺的建設并非一朝一夕，需要有明確而長遠的規劃，不斷完善數據環境建設、云計算環境的構建以及數據服務的擴展。

作者：郭文卓 王子豪 單位：中國煙草總公司江蘇省公司

大數據應用論文:大數據在公路工程質量監控的應用

摘要：大數據的產生為公路工程質量監控技術帶來機遇與挑戰。公路工程質量監控大數據具有典型的“4V”特征。為深入分析大數據在公路工程質量監控中的應用，從公路工程質量監控大數據的產生、處理流程與關鍵技術等方面進行論述。分析了公路工程質量監控大數據的存儲結構、計算過程以及數據可視化處理的流程，提出了公路工程質量監控大數據應用時所面臨的問題與挑戰。

關鍵詞：大數據；公路工程；質量監控；應用與挑戰

引言

近年來，隨著交通建設的迅速發展，截止2015年我國公路總里程將達到450萬公里，其中高速公路通車總里程達到10．8萬公里，全國高速公路路網已基本形成規模，促進了區域經濟的發展，社會效益較好。在交通部的《國家公路網規劃（2013年—2030年）》發展規劃中，全國高速公路通車里程預計達到40萬公里，我國將基本實現省際多路連通、地市高速通達、縣縣國道覆蓋的目標［1］。從上述規劃來看，僅高速公路的建設缺口就近30萬公里，其建設任務較重，另一方面，在工程建設過程中的質量監控也提出了新課題。以西部地區為例，交通運輸部質量監督局已在2012年3月啟動了西部項目“公路工程質量安全過程控制智能化與遠程監控技術研究”的研究工作，項目要求采用信息化技術手段，融入現代計算機技術、實時信息傳輸技術，人工智能化技術到工程監督中，對重點工程、重點部位的實時監控，實現工程質量安全監管的實時化、智能化、遠程化，彌補人為管理的漏洞和缺失，提高質量監控和監管效能，以保障公路工程的建設質量［2］。公路工程建設的智慧化監管，需要對在其在建設過程中產生的大數據進行透徹分析，服務于管理者和決策者，便于及時排查和糾正在工程施工過程中潛在安全隱患，為生命和財產提供安全保障。

1公路工程質量監控大數據來源及其特點

就大數據而言，是一個抽象模糊的概念，大部分人也只是從數據量的大小和規模去感知，像TB、PB、ZB、YB這樣的數據量存儲單位被理解為大數據與傳統數據的區別，很顯然這僅僅是海量數據，在IT界被公認的具有Volume（容量大）、Variety（種類多）、Velocity（速度快）和Value（價值密度低）特征的數據，才能被稱為大數據，簡稱大數據4“V”特征［3］。

1．1公路工程質量監控中大數據的來源

公路工程建設在開始施工到驗收竣工，要產生大量的、類型各異的數據，其主要有以下幾種來源：（1）施工試驗數據：道路在施工前需要對工程中的各種使用材料在該項目環境條件下做實驗，以得出在該環境條件和地理區域條件下相應材料的使用混合比及用量等。如：筑路用土，砂石材抖、石灰和水泥，普通水泥混凝土，穩定土和建筑砂漿，瀝青材料，瀝青混合料等相關實驗數據，用數據來保障施工質量，確保規范施工。（2）施工監控數據：在工程項目施工階段，人員行為規范、施工操作規范、壓力傳感數據，施工環境溫度（濕度）等產生的文字、圖片、聲音和視頻數據。（3）施工應急數據：在施工過程中會有各種突發事件，如何科學地把突發事件帶來的危害降到最低，最大程度減少人員和財產損失，是工程應急處理的難題。在施工過程中，利用各種傳感器對突發事件進行動態監測，將對應急處置起到關鍵性的作用，而該過程中將產生大量的數據。（4）工程竣工檢測數據：在工程項目施工驗收階段，需對路基、路面、交安設施、機電系統等進行標準檢測，判斷各項功能是否能達到標準規范。如路基壓實度，路面承載能力、應力數據，標識標線厚度、反光標志系數等相關檢測數據。根據《公路工程質量檢驗評定標準》JTGF80－1－2012和JT－GF80－2－2004相關要求［4］，需產生大量的數據。隨著交通建設的快速發展，工程質量監控面臨新的挑戰，沿用以往“人工＋紙筆”的管理方式，基本不能實現工程質量的科學化管理，根據工程質量“終身制”的相關要求，在工程設計使用年限內，承擔相應的質量終身責任，如沿用以往的管理方式也不便于責任的追溯。當今“互聯網＋”時代，利用云計算對工程施工中產生的大數據進行分析，用數據來實現工程項目中全過程跟蹤管理和全方面實時監測監管，實現工程實體和質量行為的實時自動監管巡查和預警，將有助于提高工程質量，保障國家財產安全。

1．2公路工程質量監控中大數據的特點

（1）數據規模在工程質量監控中，以施工人員行為監控為例，一個質量監督點采用720P高清視頻圖像采集設備，每小時圖像采集數據經壓縮處理后可達到3GB左右的大小，全天候采集一個月，產生的數據量約為2．16T［5］。在工程施工過程中隧道掘進、路基路面、橋梁結構、材料攪拌、設備操作等等都需要對施工人員行為和過程進行視頻監控，按上述計算，每月產生的數據能至少為PB級以上，按照交通部的《國家公路網規劃（2013年—2030年）》發展規劃，監控視頻數據就將產生海量的數據。（2）數據類型在公路工程施工過程中產生的數據類型種類繁多，除工程質量視頻監控數據外，有影響工程施工質量的環境檢測數據（如：溫度、濕度），施工材料檢測數據，工程質量試驗檢測數據，潛在地質災害等數據，數據類型多樣。（3）數據價值密度對于在公路工程質量監控中產生的數據本身而言，數據量大，但其價值密度較小。如施工人員操作不符合規范，通常情況下就只有幾秒或幾分鐘，在PB級以上的數據量里，其占有的價值密度較低。（4）高速性在公路工程質量監控中，除對工程質量本身監督外，還應對工程質量進行把控和預警。如：路面未達到養護期要求而強行進行下一周期施工，此時系統就應快速地對大數據進行分析，并及時發出預警提示。

2大數據的處理

隨著“互聯網＋”時代的發展，人們對各行各業中產生的大數據進行分析，給眾多決策者提供了有力的決策支持［6］。如：沃爾瑪超市通過大數據分析在超市行業中曾經取得的輝煌成就；阿里巴巴通過大數據分析在電子商務行業取得的突破；滴滴打車或Uber通過大數據分析在出租車行業中取得的地位等等；均是基于大數據分析或處理而取得的成功案例［7］。然而在公路工程施工質量監控方面，大數據的應用還較薄弱，通過對公路工程質量監控中產生的大數據進行分析，對不合格或不符合規范的工程質量及時的啟動預警機制，將減少國家的財產損失，保障交通參與者的生命安全，為公路工程建設提供技術支撐。

2．1云計算

公路工程質量監控大數據中，核心是對于數據的分析和處理。“云計算”是大數據處理的基礎，為數據分析提供技術保障。云計算利用Internet和虛擬技術把計算機各種軟、硬件資源融為一體，形成大規模的共享資源池，為用戶提供IaaS（基礎設施即服務），PaaS（平臺即服務），SaaS（軟件即服務）［8］。云計算是典型的分布式模型，為公路工程質量監控大數據并行處理提供平臺。Google、IBM、阿里云等知名公司大數據分析處理和應用都是基于云計算為基礎，最典型的應用就是分布式文件系統、批處理技術、分布式數據庫等［9］。

2．2大數據存儲技術

公路工程質量監控中產生的大數據在PE級以上，怎樣降低存儲成本、提高數據并發吞吐量是大數據存儲的關鍵。分布式文件系統，是大數據在存儲中的一種關鍵技術，Google公司研發的GFS（GoogleFileSystem）分布式文件系統是大數據在存儲中的典型應用。其與后來研發的MapRe－duce、BigTable技術構成了Google搜索引擎大數據存儲的三大核心技術［10］。公路工程質量監控中產生的海量異構數據，存儲架構分為存儲層、基礎管理層、應用接口層、訪問層。存儲層主要完成數據接入與信息集成、存儲虛擬化存儲設備；基礎管理層主要包括集群數據、并行數據倉庫盒實時數據庫；應用層接口主要完成任務管理、調度與監控；訪問層主要包括視頻監控系統、環境監測系統、應急指揮系統、實驗檢測系統和工程檔案系統等，如圖1所示。公路工程質量監控大數據與其它類型的大數據有所不同，有的數據需要急時處理，響應急時的特點，以便于做出急時的應急響影決策，否則會造成重大經濟損失和人員傷亡。故需要研究公路工程質量監控大數據在存儲結構上的特點，為后續的數據分析提供支撐。

2．3實時數據處理技術

在公路工程質量監控產生的大數據，類型多樣，包括聲音、圖像、文本等結構化和非結構化數據，通過數據清洗來消除數據不一致是非常有必要的，也是數據處理的關鍵因素。在大數據實時處理流程中數據分析（DataAnalysis）是核心，為提高數據的訪問速度，建立分布式數據庫，利用各種類型的大數據分析技術，對各種異構的數據進行分析，最終利用可視化技術，把數據分析結果展現給用戶，以滿足公路工程在施工過程中監督和決策的需求。傳統數據，一般采用關系數據庫來進行存儲，OLTPT和OLAP是傳統數據的主流應用，SQL是傳統關系數據庫存系統的存取標準［12］。但在公路工程質量監控中產生的數據，有很多不具有關系數據庫的條件，很多數據是非關系數據，故需要其它方式的數據分析管理技術。Google公司于2004年推出的MapReduce技術，它的并行數據處理方式是大數據分析和處理的典型應用，其主要包括分布式文件系統（GFS），并行編程和并行執行三個方面。GFS為大數據的儲存和并行計算提供平臺基礎支撐，采用鍵／值（key／value）方式對數據進行分布式存儲［12］。MapReduce是一個通過將任務獨立化進行計算的一種模型技術，主要有Map和Reduce兩個階段，首先把公路工程質量監控中產生的大數據按算法進行以＜key，value＞的形式進行任務分塊，把分塊任務交由Map進行并行執行，執行完Map函數后，將數據轉換成符合模型的＜key1，value1＞的形式，并把數據寫入硬盤。然后進入Reduce階段，Re－duce接受Map階段的執行結果，對數據進行合并歸約計算，最終得到輸出結果，并寫入到GFS文件系統［13］。公路工程質量監控大數據MapReduce計算過程，如圖2所示。圖2公路工程質量監控大數據計算過程公路工程質量監控大數據MapReduce并行計算模型，將簡化數據的計算過程，減少數據傳遞開銷，使公路工程質量監控中各類應用程序設計直觀化。

3大數據在公路工程質量監控中的機遇與挑戰

3．1大數據可視化分析技術

可視分析技術的定義是指：一種通過交互式可視化界面來輔助用戶對大規模復雜數據集進行分析推理的科學與技術［14］。大數據可視化分析是指在對數據挖掘分析的同時，利用可視化用戶界面以及人機交互技術，融合人的辨別能力與計算機的數據計算能力，為決策者提供更加科學、合理的決策依擾。公路工程質量監控大數據可視化分析關鍵核心是數據的集成和接口，而其數據規模大、快速多變、數據源異構，使得對大數據的處理、分析和可視化帶來具大的挑戰。數據信息的可視化根據其特征分為一維信息、二維信息、三維信息、多維信息、層次信息、網絡信息、時序信息可視化，在公路工程質量監控大數據中主要包括文本可視化、網絡或圖可視化、時空數據可視化、多維數據可視化等。文本信息是非結構化數據的代表，是公路工程質量監控大數據中的主要信息類型，是記錄施工數據的重要環節，文本信息可視化可采用把文本語議結構以樹的形式進行可視化操作；網絡或圖是大數據中最常見的關聯關系，是記錄施工過程狀態的重要信息，網絡或圖可視化可采用基于節點和邊的可視化方法；時空數據是帶地理位置標簽的數據，是記錄施工環境狀態的重要信息，為反應時間與空間的變化，一般采用流式地圖來展現；多維數據是多個維度空間的數據，是記錄整個施工過程的重要信息，一般可采用基于幾何圖形的可視方法來實現［15］。

3．2大數據在公路工程建設中的應用

大數據在公路工程質量監控中的應用還處于起步初級階段，依托大數據建立質量監督管理、安全監督管理、監理行業管理、試驗行業管理、工程竣（交）工驗收管理、突發應急預案、事件檢測、應急響應、現場救援、總結評估等平臺，以數據指標為度量，直觀、全面、準確地監測和分析各個環節要素的動態變化數據信息，為管理者提供科學決策依據，提高監管效能。如：工程建設過程中突發事件應急處理，可利用地理信息系統（GIS）平臺，對基礎地圖數據、應急資源數據、重大危險源數據進行管理并以電子地圖顯示，可及時預測突發事件危險存在范圍，輔助突發事件應對機制的決策。在建項目監督管理，通過對試驗檢測實驗室、各種機械設施設備的數據采集，實現試驗檢測數據、設施設備主要數據的采集與匯聚，生成質量監控大數據。通過對大數據的分析和規范性電子監控比對，實現工程實體和質量行為的實時自動監管巡查和預警等。

4總結

這是一個數據信息時代，不管是商業領域還是工程建設領域，都與數據有聯系，如何科學的運用這些數據來分析和解決問題，是各領域應重視的問題［16］。本文對公路工程建設質量監控中大數據的產生、存儲、處理和數據特點等進行了深入分析，詳細介紹了大數據處理的關鍵技術，對大數據在公路工程質量監控中帶來的應用進行了論述。但大數據在公路工程質量監控中的運用還處于起始階段，如何提高數據的采集質量，解決工程建中大數據傳輸、提高數據可靠性等方面還存在著研究的空間，需要更多的研究者去探索和研究。

作者：肖祥林 周春容 單位：四川交通職業技術學院

大數據應用論文:大數據管理平臺在煉化企業管理的應用

摘要：文中對某煉化企業的現狀及實際管理中存在的問題進行了分析，闡述了大數據管理平臺在煉化企業運行管理中的實施過程。該管理平臺可以促進裝置的高效運行、提高裝置的可控性、提升整體管理水平，對企業資源的合理配置與優化具有重要意義。

關鍵詞：煉化企業；大數據；管理平臺；數據管理

大數據管理平臺是煉化企業優化生產、安全管理的基礎。利用企業現有信息化管理平臺，同時開發、完善配套相關軟件和硬件，建立大數據庫，通過對數據的收集、整理、分析、篩選，對異常數據的產生原因進行分析，使異常偏差及時得到修正，使裝置工藝操作參數、物料、能耗、產品質量、環保指標等各項生產數據全面受控［1］。

1大數據管理平臺的實施背景

2015年10月某煉化公司優化信息化管理，MES、ERP、統計信息平臺項目陸續上線。嚴格按照PDCA循環科學管理模式，做到有計劃、執行、檢查處置的閉環管理。但是大部分裝置沒有網絡，數據不能上傳，只能電話報量，數據的重復錄入增加，出錯率較高，降低了MES系統的基礎數據完整性，生產基礎數據缺乏監測和預警功能，不能及時發現生產波動；而各系統又存在共性問題就是各系統各自為政，沒有整合成大數據平臺，使各部門無法達到信息共享的目的［2］。裝置的生產運行涉及的生產計劃、物料平衡、生產能耗、三劑管理、生產異常、質檢化驗、生產流程、三廢排放等數據一部分以電子表格形式存檔，一部分由獨立的應用系統進行管理，沒有統一的數據庫，系統之間缺少數據接口，沒有權限控制功能，只能采用紙質方式進行傳遞，安全性差，不便于數據檢索，難以對各類數據進行綜合分析和處理［3］。因此，需利用信息化手段，進行系統和信息的整合，便于數據的歸納、統計、分析和預判，挖掘數據和業務之間的內在關聯，實現各項業務之間數據和信息的共享，根據市場變化，指導生產方案的制定和調整，實現效益最大化，提升管理水平。

2管理平臺的構建

該管理平臺可以強化生產基礎數據管理，提高生產管理數據信息化，提高對生產基礎數據的監測力度，監督裝置物料計量儀表的準確性。發現異常數據及時通知相關部門進行處理，減少生產運行波動，保證生產運行平穩［4］。管理平臺包括8個模塊，運行管理平臺見圖1。（1）生產計劃模塊：可查看物料、能耗、三劑生產計劃和計劃變更、生產優化調整等情況。（2）物料平衡模塊：查看每天的物料變化動態，裝置加工量、產品產量、庫存情況、銷售情況等，了解市場需求。監測生產超標數據，及時調整生產方案，月底可查看公司物料、能耗統計報表。（3）生產能耗數據模塊：可查看公用工程動力消耗情況，瓦斯、氫氣和公用工程的產量、走向及消耗情況。（4）生產流程模塊：可掌握公司物料、能耗、瓦斯、氫氣的流程走向圖，掌握物料、能耗生產運行模式。（5）生產運行平穩管理模塊：可及時統計裝置的平穩率，查找異常數據，加強對異常數據的管理，提高裝置平穩運行。（6）三劑管理模塊：可查看三劑的消耗及庫存情況，掌握裝置三劑的需求，保證運行穩定。（7）質檢化驗數據模塊：可通過LIMS系統查看產品質量化驗分析數據，及時掌握產品質量控制情況。（8）三廢排放流程模塊：可查看裝置污染物排放及指標控制情況。

3管理平臺的功能

（1）及時統計裝置的平穩率，查找異常數據，加強對異常數據的管理，提高裝置平穩運行。（2）可查看裝置的生產計劃，技術指標的完成情況。（3）可查看每天的物料變化動態，上、下游走向，裝置加工量、產品產量、庫存情況、銷售情況等，了解市場需求。（4）可查看公用工程動力消耗情況，瓦斯、氫氣和公用工程的產量、走向及消耗情況。（5）查看三劑的消耗及庫存情況。（6）可為生產優化，方案調整提供有關數據。（7）可通過LIMS查看產品質量化驗分析數據，及時掌握產品質量控制情況。（8）可查看每天的裝置污染物排放及指標控制情況。（9）可查看裝置開、停工期間物耗和能耗情況。

4管理平臺的實施

建立大數據管理平臺，使數據的使用者無需關心數據來源，更專注于數據的使用；打破系統之間的壁壘，抽取現有MES、LIMS的各類關鍵生產數據，融入大數據平臺；將生產計劃及指標完成情況、裝置平穩率及異常記錄、物料變化動態、裝置加工量、產品產量與庫存情況、能耗、質量化驗分析數據等信息和數據重新組織后整合入大數據平臺［5］。（1）將計劃、能耗、三劑、物料（含煉油產品、化工產品、煉油流程-運行、潤滑油流程、聚合流程、聚二流程、聚丙烯、帶料加工）的年度計劃、月度計劃、計劃變更和生產優化等報表集成在同一個網頁環境，可查看物料、能耗、三劑生產計劃和計劃變更、生產優化調整等情況，提高工作效率。（2）對生產基礎數據的監測。物料平衡包括物料庫存、異常生產數據、原料入廠產品出廠、月統計報表、裝置數據；生產能耗數據包括各裝置生產能耗數據文檔的上傳、展示，可查看每天的物料變化動態，裝置加工量、產品產量、庫存情況、銷售情況等，了解市場需求。生產能耗數據包括公司、專業廠、各裝置生產能耗數據，監測生產超標數據，及時調整生產方案，保證裝置平穩運行。月底可查看公司物料、能耗統計報表。（3）生產運行平穩管理包括操作平穩率、異常生產操作指標等，及時發現裝置運行參數異常，加強日常生產監控分析，對出現異常情況、數據偏差及時分析調整，及時處理，保證裝置安全、平穩、高效運行。（4）生產能耗數據包括公司、專業廠、各裝置生產能耗數據的展示、上傳。（5）掌握物料、能耗、廢物排放等流程。生產流程包括3.5MPa、1.0MPa蒸汽平衡圖、除氧水平衡圖、氮氣流程圖、電流程圖、凈化風非凈化風流程圖、氫氣平衡圖、脫鹽水平衡圖、瓦斯流程圖、物料流程圖、新鮮水平衡圖、循環水平衡圖；三廢排放流程包括廢水、廢棄、廢渣流程圖、平衡圖等。及時監督裝置計量儀表的準確性。（6）三劑管理包括煉油一廠、二廠、潤滑油、聚丙烯、儲運廠等專業廠三劑使用和庫存情況等。（7）集成LIMS系統，可直接查看化驗數據，及時掌握產品質量控制情況（8）數據采集。平臺通過數據接口自動從MES質檢分析系統同步，對于不能自動采集的數據，卡法數據上傳功能，暫時采用人工錄入的方式采集。（9）將現有生產報表基礎數據（平衡后的數據），整理后導入到Sqlserver數據庫中，建立分廠、車間、裝置三級拓撲關系，從而實現下階段可根據用戶個性化需求開發各類報表功能。5實施效果該大數據管理平臺投用后，各級生產管理人員可通過系統中的生產計劃、物料平衡、生產能耗數據、生產流程、生產運行平穩情況、三劑管理、質檢化驗數據、三廢排放流程、生產異常報警等功能，查看裝置的生產計劃，技術指標的完成情況、每天的物料變化動態，上、下游走向，裝置加工量、產品產量、三劑的消耗及庫存情況等；查看公用工程動力消耗情況，瓦斯、氫氣和公用工程的產量、走向及消耗情況為生產優化，方案調整提供有關數據；查看產品質量化驗分析數據，及時掌握產品質量控制情況；查看裝置開、停工期間物耗和能耗情況等，加強生產管理，保障裝置平穩運行。6結論（1）通過大數據庫，能夠使生產報表自動化程度得到更大的提升，減少崗位人工錄入數據，降低數據出錯率，提高報表準確率。（2）開發計量生產基礎數據監測，能夠監測生產狀態，使預警數據及時反饋給崗位和相關部門負責人，使預警數據及時得到處理，保證生產安全平穩運行，同時確保計量數據的準確性。（3）通過生產基礎數據監測，運用網絡新技術，建立生產運行計量管理新模式，整合計量生產大數據，為生產經營決策提供可靠數據。（4）強化生產基礎數據管理，提高生產管理數據信息化，提高對生產基礎數據的監測力度，發現異常數據及時通知相關部門進行處理，減少生產運行波動，保證生產運行平穩。

作者：王建平 單位：大慶煉化公司

大數據應用論文:大數據在互聯網金融風控的應用

摘要：21世紀是信息時代，互聯網高度普及，與金融的融合推動了互聯網金融的飛速發展，而互聯網金融的快速發展離不開大數據技術的支持。文章針對大數據在互聯網中的應用提出創新方向，并分析了應用場景、應用現狀，希望能夠為用戶提供更多貼心、便捷的服務。

關鍵詞：大數據；互聯網金融；風險控制；網絡平臺；風險管理體制

互聯網金融是一種新興金融，依托于互聯網工具如社交網絡、云計算、搜索引擎等實現資金的融通、支付等業務，保證在安全、移動等網絡水平上被電子商務用戶接受以后產生的新模式、新業務，適應更多人的需求。未來的互聯網金融發展空間無限大，現階段互聯網競爭不只是平臺的競爭，更是大數據的競爭。

1互聯網金融和大數據的特點

1.1互聯網金融的特點

交易成本低廉：資金供給雙方在資金的融通過程中所發生的成本稱之為交易成本，互聯網借助信息網絡，減少了人力、物力的投入，信息、匹配產品、定價、交易都依靠互聯網完成，大大降低了交易成本。交易過程快捷簡單：互聯網金融模式下金融業務由計算機操作，效率高、速度快，不受時間、空間的限制，客戶只需要一臺電腦就可以實現資金的高效運轉。數據價值大：依托于大數據和電子商務，互聯網金融實現飛速發展，互聯網的便利性使得人們的生活和工作依賴于互聯網，將一些單位和個人的消費信息在網絡空間暴露，產生了海量的數據庫，數據就是資源，只要加以分析和研究就是巨大的商業價值。風險系數高、創新強：隨著科技的發展，不斷產生新的金融產品、融資形式，一些互聯網產品和支付方式也層出不窮，如網絡銀行、網絡保險公司、眾籌融資、網絡證券公司、余額寶、支付寶、微信支付、網絡貸款等。但現階段對互聯網金融的監管力度較弱，缺乏法律約束，導致一些不法分子非法集資，進行網絡詐騙，嚴重危害了互聯網金融的安全。

1.2大數據技術

大數據是在信息時代由硅圖公司麥肯錫提出的全新概念，用來描述和定義信息時代的海量數據，是從各種海量的數據中快速尋找有價值的信息，進行高度提純，增加數據信息的利用率。大數據技術體系分為大數據的采集與預處理、存儲與管理、計算模式與系統、分析與挖掘、可視化計算、隱私與安全等方面，可優化數據處理環節，提高數據處理效率。其特點主要是數據體量大、類型多、處理速度快、價值密度低。當今社會大數據無處不在，滲透在人們日常的生活、學習、工作中。以阿里巴巴小額貸款為例，2015年累計放款1953億元人民幣，交易額增長了40%。大數據的利用能夠有效降低交易成本，提高交易頻率，拓寬交易空間，改善交易體驗，促進互聯網金融的發展，但也存在一些隱患和風險，會泄露個人隱私，限制企業的管理決策等。

2大數據在互聯網金融中的應用

雖然大數據的應用在現階段并沒有完全達到預期的精確性，但是已經有很多較為成功的案例。如DataSifi根據對社交數據網絡的分析總結，制定出具體的方案；Zest利用大數據信用評估，已經獲得一億美元的融資；Decide利用價格信息預估價格走勢，提出了較合理的購買建議等。隨著數據的積累和平臺的發展，互聯網金融逐漸盛行，受余額寶、微信理財通等的影響，國內主要應用于理財方面，實際上金融服務中最具剛性需求的服務是貸款，大數據促進了金融創新。

2.1高頻交易和算法交易

交易者為實現高額利潤，利用交易程序和硬件設備，快速分析、生成、獲取和發送交易指令，可以在較短的時間內完成較多的交易。高頻交易主要通過分析金融大數據，對特定的參與者的交易痕跡進行識別和總結，如：一支共同基金的大額訂單通常情況下出現在收盤前最后一分鐘的第一秒，能識別出此模式的算法就可以預算出這只基金在其他時間的動向，如果繼續執行交易，必須付出更高的價格，算法交易商趁機獲取利潤。

2.2進行市場情緒分析

大約兩年前，對沖基金從各種社交媒體中提取市場情緒信息進而開發出算法交易，如Facebook、博客、聊天室等。如發現有恐怖襲擊、自然災害的意外信息時就會拋出訂單，精神病專家理查德?彼得于2008年在美國加州圣莫尼卡集資100萬美元建立對沖基金，通過追蹤網站、微博、聊天室分析企業情緒，確定基金的交易策略，該基金的回報率在2010年高達40%。又如位于倫敦的小型對沖基金DCM從社交媒體上收集信息，分析人們對金融工具的情緒，幫助投資者制定投資計劃。

2.3提高風險的管理力度

金融機構通過對大量小型用戶交易行為的數據進行收集，并對其交易范圍、經營狀況、用戶、資金需求以及行業的發展進行具體的分析，解決小型企業的經營難題。阿里小貸首創了線上的審核到放貸的模式，有效連接貸款的全過程，為弱勢群體提供個性化的小額貸款。

3互聯網金融風險控制的一般原則

風險控制最有效的方法就是將所有的雞蛋以不同的比例分開裝在不同的籃子里，即“小額、分散”，避免集中投放。“分散”在風險控制方面有著非常重要的作用，借款客戶個體差異性較大，所處的地域不同，且自身的條件有差異如年齡、學歷等，這些分散的個體其違約的概率相對獨立，同時違約的概率非常小。如100個獨立的個人其違約的概率是20%，如果隨機抽2個人，同時違約的概率為20%2即4%，隨機抽出5個人，同時違約的概率為20%5，如果抽出8個人同時違約的概率為20%8，但是如果這100個人存在相關性，甲違約的時候乙也違約，那他們同時違約的概率就是10%（20%?50%），遠遠高于4%，因此貸款個體之間的獨立性是降低風險的必要措施。“小額”是避免“小樣本偏差”。如：某貸款公司現在的貸款一共有10億，如果每個借款人平均可以借5萬，總共有2萬客戶，如果單筆借款金額是100萬，就有1000個客戶。根據統計學中的法則，樣本個數越多，越能符合正態分布規律。因此，如果借款人違約率是2%，那這5萬個客戶的違約率就會高于1000個客戶的違約率。通過數據分析建立風控模型和決策引擎也非常重要。小額分散借款客戶較多，若銀行采用傳統的信審模式不能統一量度還款能力、還款意愿，就會增加風險成本。因此可以借鑒國外的P2P，采用信貸工廠模式，建立風險模型，根據客戶的行為特征判斷出該客戶的違約概率，降低人工審核的成本，避免人工審核和判斷標準的誤差。風控體系的核心方法除了依據小額分散原則外，要研究不同特征個體的違約率，建立數據風控模型和評分卡體系，將其固定到風控審批的業物流程和決策引擎中，掌握不同特征個人的違約率程度，指導風險審批業務開展。

4大數據在互聯網金融風控方面的具體應用

由于國內金融體系尚不完善，國內的用戶數據雖數量較大但不準確，導致現階段國內將大數據方式涉及到互聯網金融的產品還比較少，數據來源困難且不精準增加了互聯網金融的困難。在不依賴央行征信系統的情況下，各具特色的風險控制系統在互聯網市場自發形成，小公司通過信息分享，借助第三方獲得咨詢服務，而大公司則通過大數據建立信用評級系統。現階段互聯網金融的風控體系大致有兩種：一種是眾多的中小互聯網金融公司給中間征信機構貢獻數據，進而獲得征信信息的分享權；另一種類似于與阿里巴巴的風控模式，建立信用評級和風控模型需要對大量的電商交易和支付信息數據進行分析。央行的征信系統結合身份認證中心的身份審核，通過社會機構和商業銀行的數據，給銀行提供銀行信用查詢和個人信用的相關報告，但對其他的互聯金融公司或機構不提供查詢服務，一些個人信貸記錄也沒有在該系統里，但有可能在其他的機構和互聯網金融公司的系統里存在。互聯網數據龐雜且量大，充滿噪音。阿里建立完善的大數據挖掘系統較早，但是很多人還處于迷茫狀態，通過淘寶、天貓、支付寶等積累大量支付數據作為基礎的數據原料，結合賣家的銷售數據和銀行流水等數據，進行全面匯總后借助網絡評分的模型進行信用評級活動。信用卡類網站的大數據同樣也對互聯網金融風險控制具有非常重要的價值，可參考用戶信用卡辦卡年份、還款信息、信用額度、卡片種類等進行信用評級。2013年阿里巴巴收購新浪微博18%的股份花費5.86億美元，目的就是為了獲得社交大數據，進而完善了大數據，信用卡的還款信息、交易、支付、淘寶的水電煤繳費信息現階段已經成為數據的基礎。未來第三方支付平臺支付的方向、額度、購買品牌及金額都可能成為信用評級的數據參考，而生活類服務網站有關用戶的生活消費如水、電、煤、物業費、電話費、網絡費都有可以反映用戶的基本信息，為信用評級提供重要的參考，擁有這些所有的大數據才能夠進行數據的加工。

5結語

社會經濟的發展離不開金融的支持。互聯網金融服務將會建立更完善、更全面的信用體制和風險管理體制，從粗放式向精細化轉型，從抵押向信用轉變，風險控制將變得很關鍵，大數據毫無疑問也變得非常重要，但是現階段互聯網交易額較小，用戶規模不大，需要結合實際情況及時修正模型，從而優化風險控制模型。

作者：汪瓊 單位：百融（北京）金融信息服務股份有限公司

大數據應用論文:大數據技術對網絡安全的應用

摘要：隨著計算機網絡技術在各個行業中的應用與發展的不斷廣泛化，網絡安全也越來越受到企業和個人的重視。網絡安全不僅會影響國家重要信息的安全性也會影響私人信息的安全，而現階段大數據技術的不斷引進與應用使得信息網絡進入到了一個新的發展階段。現在全球數據存有量正在每年超過40%的速度在增長，然而信息網絡所承載的信息數據正在向分散化、多樣化，復雜化的趨勢發展從而增加了網絡信息數據管理的難度，更沖擊了傳統的網絡安全管理技術，介于網絡信息數據增長速度之快，影響網絡安全的因素也在不斷地增加，所以網絡安全迫切的需要引進大數據技術來進行網絡安全分析，滿足高科技環境下信息網絡安全的需求。

關鍵詞：網絡安全分析；大數據技術；應用

引言

隨著網絡技術應用的普遍性，網絡安全分析的數據也在呈指數曲線的速度增加，而且數據來源的廣泛性和內容的細致性也使得網絡安全分析的架構也越來越復雜，分析維度也越來越大，再加上4G時代的到來和智能化設備的不斷更新換代使得信息數據的發送和接收速度也越來越快，數據分析的速度跟不上使網絡安全漏洞增加，影響力增大，造成此現象嚴重的主要原因就是網絡安全傳統分析架構已經不能滿足現在網絡信息數據分析的要求了，所以要引進新的技術。

1大數據技術在網絡安全分析中的應用

1.1大數據技術分析

大數據安全分析主要是為了完善網絡安全分析中傳統安全分析能力的不足，大數據技術的核心技術分別是分布式采集處理、自然語言理解、流量計算引擎、關聯分析、大規模機器學習和可視化人機交互等多種分析方法[1]，實現在規模不斷擴大的海量異構數據信息中快速發現安全攻擊和安全威脅的一種工具。在大數據技術安全分析中該技術主要從分布式計算框架、流式計算引擎、分布式存儲技術來分析的。分布式計算框架不依賴高端硬件、擴展性強的優點提高了大數據技術應用的適應性，使得一些低端配置的設備都能引用該技術；流式計算引擎主要通過解決大數據歷史分析系統交互式計算，給網絡信息數據的快速查找提供了便利條件；分布式存儲技術能夠利用多臺存儲設備來分擔大量數據的存儲負荷，從而擴大了大數據技術存儲的能力，也降低了存儲管理成本，在一定程度上也提高了整個網絡安全系統的可靠性和安全性。

1.2網絡安全分析引入大數據技術的必要性

隨著網絡信息數據量的大量增加，數據來源越來越廣泛細致，分析維度也越來越大的特點下，利用傳統的技術架構和結構化數據庫進行數據的存儲的和分析，不僅會增大網絡信息數據的存儲成本，也會導致一部分信息數據被丟失，并且隨著時間的延長有些時間較長的數據不能很好地被保存起來，這樣就會給日后信息數據的追蹤和查找帶來了困難，并且數據廣泛的來源也給異構數據的關聯分析和融合帶來了很大的困難，而對于傳統的網絡安全分析的技術已經很難滿足現在龐大的、迥異的網絡信息數據分析的需求了。早在2013年的調查資料中顯示，大數據技術在未來信息架構的分析發展中有著很大的優勢，并且近年來已經有不少領域開始引進大數據技術。大數據技術之所以被各個領域重視，是因為它能夠支持海量的且迥異的數據的存儲和計算，相對于傳統網絡安全分析技術來說，大數據技術使大量原始網絡信息數據的存儲和分析成為了可能；大數據技術對于傳統技術來說對網絡信息數據的存儲成本較低，并且大數據技術在普通硬件水平上的應用沒有局限性，在信息數據的查詢過程中查詢速度又快、精度又高，從而提升了網絡安全分析中一些數據的挖掘能力，提升了網絡安全分析的深度和廣度[2]，并為大數據技術在網絡安全分析中的應用奠定了堅實的基礎。

1.3網絡安全分析中大數據技術應用分析

在我們的日常生活中，我們每天都在和數據打交道，不是創造數據就是利用分析數據。比如在我們有手機電腦上的聊天軟件聊天時就是在創造信息數據，聊天過程中流量的消耗就是在應用數據（對近年來網絡流量使用數據調查如表1），設想一下如果我們的聊天數據被竊取，是多們可怕危險的事情，再往大了去想就是國家機密數據，如果這些數據的丟失將會給整個國家帶來危險，所以網絡安全分析是當前網絡數據分析中相當重要的一方面。目前網絡安全分析的主要數據就是流量和日志，但是由于這些數據的分散性和存儲有限性使得網絡安全預測存在漏洞，而大數據技術的引進則可以將分散的流量數據和日志數據集中到一起，利用大數據高效的采集和挖掘能力將采集到的數據存儲起來，然后再利用大數據技術對采集挖掘到的數據進行分析和檢索，對網絡安全中存在安全隱患的數據進行處理，不僅提高了網絡安全分析，也縮短了數據分析的時間，降低了信息丟失和泄露事件發生頻率，由傳統的被動防御變為大數據背景下主動地防御。

2大數據技術背景下網絡安全平臺的建設

2.1大數據背景下網絡安全分析架構建設

在網絡安全分析架構建設中主要是由下向上建立數據采集層、數據存儲層、數據挖掘分析層、數據呈現層[3]等，由它們共同組成大數據技術的網絡安全分析架構。基本組成結構如圖1。網絡安全分析架構中的數據采集層能夠分布式的采集基于流、用戶身份信息、事件和威脅情報等多源異構信息的收集；而大數據技術中的存儲層則能夠利用分布式文件系統長期大量的存儲龐大的信息數據，并能將數據的結構化、半結構化、非結構化的方式的信息數同意存儲，并未將來數據的檢索提供了便利條件，而且還能保障所存儲數據的安全性和完整性；數據挖掘分析層能夠將數據進行關聯分析，提取數據的特征，通過這種方式可以實現安全事件的挖掘，并能夠很快地發現網絡異常的安全行為，并對存在安全隱患的數據進行追溯，然后將其定位，等待安全處理；數據呈現層能夠將大數據技術分析的結構進行可視化處理，通過多種維度展現網絡安全的狀態。

2.2網絡安全平臺實現的技術支持闡述大數據采集技術。安全平臺主要利用大數據技術中的采集技術對海量的安全數據進行采集、整合、傳輸，該過程能夠使使用方在安全性較高，可靠性也較高的狀態下接收到源自不同范圍的數據，然后在對收集到的信息數據進行處理。大數據存儲技術。該技術主要是對采集過程中采集到的數據進行存儲，借助該技術的高吞吐量和高容錯性將采集到的大量數據存儲起來，以保障數據的安全性和完整性。大數據分析技術。在安全平臺中，該技術主要是完成數據的統計與分析工作，根據數據的結構化、半結構化、非結構化進行數據分析，然后建立分門別類的事件關系序列庫，將數據由簡單化轉向復雜化，然后在大量的信息數據中查找網絡安全的隱患，進而對安全隱患進行處理，保障網絡安全。

3結論

通過對大數據在網絡安全中的應用分析和網絡安全平臺的建設知道，大數據技術在網絡安全分析中的應用不僅可以降低網絡信息數據存儲的成本，也提高了數據庫的存儲容量，更為數據的追溯和檢索提供了很大的保障，相信在未來網絡安全分析中，大數據技術必然會成為技術的主導力量。

作者：賈衛 單位：太原理工大學郵電中心

大數據應用論文:大數據在電力企業信息報送的應用

【摘要】信息是各級領導決策的重要依據，做好信息報送工作能有效支撐公司經營決策。大數據理念與技術的出現，能夠在碎片化的海量數據中挖掘關鍵信息，也為信息報送與決策服務提供了新的理念與技術手段。以電網企業為例，闡述大數據在信息報送中的應用原則，重點分析報送工作不同環節中應用場景，包括選題識別、評價、規劃等重點應用，提出詞頻分析、關鍵詞相關分析等算法模型，并為大型企業提升信息報送效率與質量提出對策建議。

【關鍵詞】大數據；信息；電力企業；選題

引言

當前世界政治經濟格局深刻變化，我國經濟發展“新常態”特征日益顯著，電力企業發展改革面臨更加復雜的外部環境，需要針對新形勢、新變化及時作出科學決策。信息是各級領導決策的重要依據，做好信息報送工作能有效支撐電力企業經營決策。大數據理念與技術的出現，能夠在碎片化的海量數據中挖掘關鍵信息，也為信息報送與決策服務提供了新的理念與技術手段［1-5］。本文以電力企業及時決策、科學決策為需求導向，將數據跨界、關聯分析、動態預測等大數據理念與技術方法應用到信息報送工作中，形成一套重要信息及時識別、收集、快速分析研判的技術支撐體系，提高信息選題、報送的精準性，提高數據向信息的轉化效率，提升信息在決策支撐中的價值［6-7］。

1傳統信息情報工作應用現狀與發展趨勢

1.1傳統信息報送工作量與難度不斷提高由于信息報送的重要意義，對于工作開展的難度與要求相應較高。一方面，電力企業信息工作者需要編輯處理的信息量特別大。每天擺在信息工作者案頭上的各種信息數以10萬字以上，特別在目前移動互聯網時代，信息工作者需要了解的信息源、信息渠道更為多樣，信息處理量、信息熱點更加點多面廣。目前信息報送工作每年需要處理的文字量達到150萬字到200萬字。另一方面，電力企業信息工作者需要整合多種信息的難度大。以組織編輯一篇《國家電網專報》為例，往往從策劃、查找材料到編寫需要搜集整合大量的信息，分析觀點與論據、梳理素材與線索的工作難度非常大，而目前這部分工作完全是通過人工完成的。1.2大數據手段提升信息報送工作勢在必行大數據時代，隨著互聯網的快速發展、新興技術的興起，音頻、文字、圖片、視頻、地理位置等半結構化和非結構化數據大量涌現，數據正以前所未有的速度在不斷的增長累積。借助大數據理念、方法，電力企業的信息報送將從注重處理結構化數據的傳統信息管理模式，向多系統集成、多類數據實時收集、存儲使用的新模式轉變［8-9］。相關技術方法的執行遵循以下原則。一是統籌規劃，增強協同：加大協作力度與廣度，提高信息工作的整體性與多元化；二是平臺統一，價值發現：以統一技術平臺支撐各專業領域大數據應用，挖掘各類信息、數據中的價值；三是注重反饋，精益求精：增強信息報送工作中各層級、各專業的相互反饋，促進信息稿件質量不斷提升；四是技術支撐，建用并重：加強對大數據相關技術模型的研發，邊開發邊應用，重視成果實用實效［10］。

2主要應用場景分析

2.1識別關鍵信息選題首先，將時事熱點、領導關注焦點、電力企業改革難點等不同維度的信息進行綜合分析與關聯分析，從領導講話、報告、互聯網輿情、文件、重要外部數據等不同渠道數據與資訊中識別關鍵信息，自動推送具有價值的信息選題。其次，結合外部指標數據對電力企業經營決策的傳導影響，提煉形成具有價值的信息選題，將不同信息選題經過整理納入信息選題庫，為領導快速決策提供知識儲備。2.2構建信息選題指數選題指數主要衡量選題的價值，主要考慮選題的熱度、關聯性、實效性等維度，為選題報送提供技術支撐。利用選題指數可提升信息選題的精準性，提供選題工作效率。具體功能包括4個方面：一是選題入庫，將各單位、部門上報的選題采集到信息報送工作數據庫中，便于歸檔管理；二是選題識別，運用大數據分詞技術，識別信息選題中的關鍵詞或關鍵事件；三是選題評價，主要以重視度、時效性、關聯性等維度，對信息選題進行綜合評價，形成選題指數供參考；四是選題提示，當選題指數達到一定范圍，則在信息報送工作數據庫中自動推送給信息工作者，提示具有信息價值。其中選題指數評價主要考慮以下維度。一是關注度，事件及關聯事件中涉及的關注度級別。二是時效性評價，事件社會熱度分析以及時間點分析，社會熱度可借助互聯網指數分析社會大眾對事件的關注熱度；三是關聯性評價，通過互聯網大數據分析信息事件與其他事件的關聯度，并計算關聯性高事件的關注度與時效性。2.3支撐信息選題規劃將大數據應用于電力企業信息工作，可支撐相關常態化工作的開展。這里主要從以下4個流程對信息選題規劃、計劃進行優化，滿足信息供給與需求動態平衡。首先，信息稿件數量的規劃與計劃中，可借助電力企業信息報送工作數據庫，將已有的信息稿件，按信息領域、信息內容、信息數量、批示情況等分布規律進行分類與聚類，結合信息報送工作人員的工作量，合理確定需求與能力相匹配的稿件預期數量。其次，信息內容領域分布與設計中，可應用大數據關鍵信息識別技術對熱點關注領域進行分析，如在電力、經營管理、能源、公共政策中挖掘主題，綜合信息供應能力與領導需求偏好特點，并將其作為一段時間內電力企業信息報送工作的重點主題。最后，在信息報送工作組織管理方面，可利用大數據技術與應用手段，加強信息資源的共享與互動，在電力企業集團內構建更加細化的情報網絡，及時將基層信息上報到企業總部。

3算法模型與技術平臺

為使上述應用得到有效落實，需要在算法模型與技術平臺方面開展全面設計與研究。3.1分詞技術與詞頻統計分析模型該項技術主要應用于對信息稿件進行關鍵詞提取與統計分析，適用于選題指數、報送指數、知識管理等場景。一是建立分句分詞，把信息文本由段落分成單獨句子，并利用自動分詞工具將句子分成若干詞；二是進行詞頻統計，計算每個詞出現的頻率；三是進行高頻詞與句子選擇，基于頻率選擇出最重要的或最有代表性的單詞，同時基于單詞頻率，可選出有代表的句子或段落。類詞匯，便于識別高頻詞匯，篩選重要關鍵詞。3.2關鍵詞相關分析模型關鍵詞相關分析模型主要應用大數據技術，將海量的文章存儲到信息報送工作數據庫后，通過分析與關鍵詞具有聯系的詞匯出現頻率，從而判斷與關鍵詞具有相關性的詞匯。一是識別關鍵詞出現的頻率，即對應文章的數量；二是判斷關鍵詞與哪些主題有聯系；三是判斷關鍵詞與這些相關主題聯系的強弱。主要借助工具：VOSviewer、SATI3、UCINET，需要將3個軟件進行綜合應用。由圖4可知，該文章中與能源相關性較強的詞匯包括核能、天然氣、水資源、電力等詞，這些詞都應作為分析其熱度、關注度的相關詞匯。3.3關鍵詞熱度分析模型利用互聯網大數據資源，對信息中的關鍵詞搜索頻率、搜索時間進行統計，得到一段時間內關鍵詞的熱度。一是進行選題熱詞識別，主要將信息中的關鍵熱詞進行篩選與識別；二是進行熱度評價。熱度主要是通過互聯網大數據分析判斷得出。以內參“人民幣進入SDR”為例分析關鍵詞“SDR”的熱度，通過對互聯網點擊數據的匯總與分析可發現，該選題在2015年12月1日附近熱度最高，11月28日以前以及12月3日以后則熱度驟減，可知11月29日至12月2日為該信息的最佳報送窗口，可為報送指數提供參考，也可將熱度值進行量化為選題指數提供數據支持。3.4信息統計分析方法利用信息報送工作數據庫，將所有信息按部門、類型、數量、主題、批示等不同字段進行統計，從而發現一定規律。一是按不同維度對信息進行分類統計，查找信息分布規律；二是對分析結果進行可視化展示；三是對分布規律進行顯著性檢驗，驗證結果的有效性。

4結束語

本文主要以需求為導向，緊密結合信息報送與決策服務中的熱點、難點構建大數據在信息選題與報送中的應用框架，并從數據源、數據分析、挖掘、平臺、管理支撐等方面建立一整套解決方案，以提高信息選題、報送的精準性，提高數據向信息的轉化效率，提升信息在決策支撐中的價值。具體建議如下：一是建立信息情報開發與利用機制，統籌管理信息收集、分析與規劃工作，在企業內部各個單位、部門中建立協作收集與分析機制，并建立優勢互補的收集管理體系，提升電力企業整體信息情報獲取與分析水平；二是建立跨部門信息協作的機制，建立分層、分級的管理制度與細則，建立信息保密制度，鼓勵信息工作人員使用信息資料、分享信息資料；三是以選題指數、報送指數為突破口開展大數據應用的實施推廣工作。結合選題、報送指數的設計思路，以部分選題為例開展指數的權重設計與模型研發，為信息選題與報送工作提供技術支撐；四是要有保證信息資源實現暢通共享的相關技術體系，在科技項目與信息化項目投入方面，需要研發一系列大數據工具、方法與模型，為支撐信息報送工作提供豐富的技術手段，提高工作效率。

作者：王鵬 孫藝新 單位：國家電網公司 國網能源研究院

大數據應用論文:大數據技術在電子政務的應用

【摘要】科學技術的發展使社會生活和工作的方方面面發生了變化，尤其是在電子政務領域，大數據時代的來臨，使電子政務發展有了必然和可能，對大數據特點以及相關技術的研究，可以模擬出幾種大數據在電子政務中的應用場景，大數據在以后的發展中還會有更為廣闊的空間，因此要使電子政府能夠更加高效、便捷，就需要在功能以及服務方面加以完善，打造出真正的現代化服務型政府。

【關鍵詞】大數據；技術；電子政務；應用

隨著我國互聯網技術、云計算以及物聯網等方面的快速發展，政府的各項事物也向著大數據方向發展開來，對于大量的、復雜的信息需要在采集以及存儲和分析處理的過程中更加便捷的發揮作用，未來的政府決策等等也將以大數據信息來處理，改變了以往單單依靠經驗和直覺對事物進行判斷的狀態。基于此，本文對大數據技術在電子政務領域的應用進行分析和研究。

1對大數據的相關研究

1．1大數據技術的主要特點

首先，能夠處理比較大的數據量。所謂大數據時代就是社會工作和生活中的每天的數據都會呈現增長的狀態，這樣如果用比較傳統的方式就沒有辦法妥善的處理，但是利用大數據技術能夠解決大量數據堆積的情況。其次，對不同類型的數據進行處理。大數據技術不僅僅對一些大量的、簡單的數據能夠進行處理，還能夠處理一些復雜的數據，例如，文本數據、聲音數據以及圖像數據等等。最后，數據處理的速度非常快。大數據技術能夠處理紛繁的數據類型，還能夠高效的高速的完成數據的處理。另外，大數據技術的應用具有密度低和價值大的效果。一些零散的，各種類型的數據，如果不能在短時間內分析出來信息所表達的含義，那么可以利用大數據分析技術，將信息中潛藏的價值挖掘出來，以便于工作研究或者其他用途的使用，便于政務的便捷化和深層次化。

1．2大數據技術的介紹

大數據主要是對一些不能使用常規性軟件對其數據進行分析、處理和采集的一種數據的集合。而大數據技術則是對各種規模比較大的數據進行信息的獲取，這種技術包含大數據的挖掘技術、分布式數據庫以及分布式軟件系統的集合和云計算處理。大數據的整體技術需要從以下幾點出發進行研究:首先，數據的采集。大數據技術可以在采集數據的基礎上進行責任的異構，在分布式的數據源中進行數據的抽取和采集，然后再經過篩選、轉換以及集成，加載到相應的數據庫中，為政務數據挖據和分析打下堅實的基礎［1］。其次，數據的存取。數據的存取過程是對關系數據庫以及非結構性數據量中的數據進行的存取，其中包含SQL、NOSQL等等。再次，基礎架構以及數據處理。在基礎架構的過程中，通過云計算的架構能夠進行云儲存的搭載，并且儲存分布式元件等等。數據的處理主要是對數據進行加工和處理，其中包含了對原始數據的整理和計算，編輯與分析等等。最后，數據的統計和挖掘。通過聚類分析、卡方分析以及距離等分析上，可以對數據進行統計分析，另外，其他常見的方法還有對應分析和多元分析。數據的挖掘技術主要是對在現有數據當中對一些圖形文件、視頻文件和音頻文件等等通過數據挖掘技術使用的各種算法進行的計算。這樣的計算所起到的作用是對未來進行全面的效果預測，以此實現高級別數據的分析需求，在數據挖據技術的使用過程中，需要有分類、預估以及相關性的描述和聚類等等，使用的開放工具是mahout等。

2大數據在政務工作中的應用

2．1使用大數據技術對政府網站進行大數據的分析

通過大數據技術能夠在各個省市以及縣級政府的網站中，抽取用戶經常訪問的界面，然后對用戶在界面上停留的時間，瀏覽的內容、瀏覽的時間等進行交互信息的獲得，由此對用戶的需求做出簡要地分析。在大數據使用的基礎上，可以根據用戶對政府網站的需要，進而達到優化網站的目的，基本從網站的頁面、網站的欄目中以及網站的功能上進行服務優勢和缺陷的分析，這樣不僅可以提升網站的響應能力還能夠將政府的一些信息及時的推動到用戶的手中，通過政府網站日志集成的辦法處理各種數據的集成，進而成為政府領導為城市以后的發展和謀劃提供較為科學的依據，讓科學決策擁有強大的技術支持。

2．2大數據技術在政務工作中的信用平臺建設

使用大數據技術可以將政府各個職能部門或者法人以及個人的信息資源利用起來，以此最大化的推動政府規范誠信機構的建設，建立起個人的信用信息使用平臺，讓個人信用在大數據背景下建設成完善的體系和模式，以此為社會工作和社會生活提供一些較為準確的、及時的、有效的個人誠信信息，促進政府個人信用信息的開發和利用，為了建設誠信地社會奠定一個較為完善的和堅實的基礎。例如，在調查某政府部門中職員的信用信息時，就可以利用這個方法獲得。

2．3電子政務方面大數據交換共享平臺的構建

利用大數據技術，可以為政府建立起電子政務大數據信息的共享和交換平臺，并且通過這種方法將政府各個辦公室以及社會群體所收集到的信息進行分類和篩選，通過對比和分析以后，建設成為有自然人、法人以及空間地理集合的基礎性數據庫，以此做到強化信息資源使用，通過信息資源整合形成的政務信息資源。在大數據的基礎上，所形成的交換以及共享平臺可以實現政府各個部門之間的橫向和縱向的信息集合，然后，在跨地區、跨政府的條件下也可以進行業務方面的交流和溝通，促進業務協同的開展。依托于這種信息共享和交換平臺，可以制定出信息資源共享的統一目錄以及標準，進而產生社會政務的開放性數據，有利于促進社會資源的有效開發和利用，為政府之間跨層次的交流提供保障，也為社會的公共服務和社會的公共管理和宏觀調控提供了一定的數據支撐。

2．4大數據下電子政務決策系統的應用

在大數據技術的支持下，因為有比較強大的信息數據存儲能力和較為突出的信息數據挖掘能力，并且信息的分析處理的作用力也非常強，這樣政府就可以從各個部門所收集的海量數據中提取出一些有用的信息進行分析和處理，以此提升政府的決策力度，提升決策的精準性和科學性，讓政府在一些社會工作的預警能力上有突出的表現，起到解決決策成本以及促進城市管理的目的，可以在交通的智能化管理上、環境問題的檢測上提供更加準確的，共決策使用的數據。

3結語

綜上所述，本文對大數據時代政務工作的有效開展進行了分析和研究，主要指出了大數據的特點、基本的優勢以及大數據技術在政務工作中的具體應用等等。今天是信息科學技術的時代，每一個人，每一個單位都需要重視科學技術的作用，讓信息和大數據能夠為人們所用，在提升勞動生產效率方面發揮積極的作用，逐步的推進我國大數據在電子政府領域的建設，為打造智能型，服務型政府而做出努力。

作者：潘濤 單位：鄂州職業大學

大數據應用論文:大數據技術在石油行業信息化的應用

摘要：運用大數據技術實現對現代石油行業信息化的管理，成為了現代石油行業信息化管理發展的重點，而大數據技術在企業中的實際應用，主要集中體現在新型云計算服務的應用上。在企業信息資源的優化調整中，通過對業務的需求分析并運用大數據技術，提供契合度最高的信息服務資源。以云計算技術作為主要突破口來探究現代石油行業在發展中的主要動向。

關鍵詞：大數據技術；石油行業；信息化；云計算

作者簡介：郭瑞（1986-），男，助理工程師，本科；李健（1987-），男，助理工程師，本科；田立鋒（1984-），男，助理工程師，本科

伴隨著現代社會的飛速發展，大數據技術已經成為了石油石化行業信息化管理的重要手段。在大數據技術的管理與發展中，云計算技術的使用成為了軟硬件資源管理的主要集中體現的區域。而云計算領域的涉及也逐步地讓人們了解到大數據應用技術的便捷性。下面針對大數據技術在石油行業信息化中應用的具體實踐情況進行簡要論述。

1云計算技術

什么是云計算技術呢？可以理解為在網絡配套設施的使用中，集中資源地統一化管理分配，從而使用戶通過協同合作來完成企業、個人的信息服務。其主要的核心技術集中體現在虛擬化技術、數據存儲技術和并行計算技術3個方面。虛擬化技術：是對服務的一種虛擬化，將更多的服務資源進行統一管理后，實現多個虛擬服務器共同服務的效果。這樣對于用戶所需要服務資源能夠進行一個更高效的支配管理，同時在數據處理和桌面系統運行上，也能夠實現的服務資源利用的最大化。數據存儲技術：這一技術屬于云計算的存儲技術，利用分布式的信息系統，完成對計算機集群的整合管理，通過有效設置實現對更加龐大的類型數據進行存儲的目標。在運行中主要依據于軟件的集合工作，從而達到內外部的業務數據訪問的目的。從目前的數據存儲技術來看，主要有Google文件系統（GFS）和Hadoop分布式文件系統（HDFS）兩種技術來供應實際的使用。并行計算：是指同時使用多種計算資源解決計算問題的過程，是提高計算機系統計算速度和處理能力的一種有效手段。這種計算方法，能夠極大地提高計算的資源的處理速度。通過化整為零的方式實現一個問題分步解決，從而解決大型而復雜的計算問題。

2信息化運行現狀和發展趨勢

伴隨著我國經濟的迅速發展，石油行業也得到了全面的發展，在管理上也逐漸地意識到信息化改革的重要性。在實施的石油行業管理中，通過對傳統模式的改革，逐步地實現了向信息化、數字化轉變的目標。通過對企業信息資源的有效性管理，并結合現有的管理模式，更加有效地提高了企業資源的利用率。下面對傳統管理模式和信息化管理模式的優缺點進行對比。信息檢索速率的改革：傳統的信息管理會面臨巨大的信息檢索工作，即便是在現代的企事業單位高效率軟硬件工作環境下，信息傳輸速率也都會出現瓶頸。而大數據技術的信息檢索管理則會有效地改善此類問題，從而更加便捷地將生產、維護、運行中所出現的信息資料統一進行提取備份分析，通過高效的算法以及軟硬件資源的里配置，迅速地篩選出所需要的一系列信息資源，從而實現對信息速率的極速提升。通過這樣的信息技術應用，極大地提高了企業部門的系統管理工作的效率，加速了企業管理的信息化市場應用改革的進程。產品全生命周期管理的改革：傳統的產品生命周期較為復雜和繁瑣，通過可研、立項、設計、施工、運行、維護監測等多個階段測試后，方可進行投產使用。而設計期間以及施工期間的信息檢索以及采集處理需求量較大，導致資源消耗也過大，極大地增加的生產周期的負擔與運營成本。而大數據技術中的信息模擬仿真技術就是解決此類問題的有效方法，它能夠合理地利用和分配現有資源，精準地檢索出所需資料，并高效地進行數據處理。同時通過虛擬的模擬演算，實現對數據準確性的校驗與檢測，最終達到縮短工期的目的，為生產提供了更高的生產安全保障。行業信息的展示方面：傳統的信息管理方法，主要通過紙質文件的形式來進行展示存在諸多的不便。而通過現代大數據技術的信息化管理，能夠更加直接地將信息展現在人們的視野之下，使用戶獲得全方位立體式的信息展示，從而使信息更容易被用戶解讀，也讓用戶更有興趣去了解所展示的信息。

3云計算技術的實際應用

云計算技術在石油行業信息化中的提供的服務與架構如

3．1數字化油田的空間數據庫構架

利用大數據技術的超強數據存儲能力和虛擬化技術構建一個更加完善和全面的油田空間數據結構，通過等比例尺的多維度數據監控管理，配合虛擬化技術提供的資源與服務，實現在地理信息數據上的有效調度與管控。

3．2建立數字油田的標準體系

數字油田雖然已經經過多年的建設和發展，但是數字油田標準化體系一直處于滯后的狀態，成為制約數字油田進一步發展的關鍵因素。建立數字油田的首要任務是制定有關數字油田建設項目管理類標準規范、軟件開發及運行維護通用標準規范、數據建設類標準規范。其中總體設計還會涉及到基礎信息分類編碼規范和適用于勘探開發應用系統建設的具體標準規范。數字油田標準化體系的建立會對工程項目管理、信息基礎設施、數據及交換、信息安全、信息系統建設、系統運維服務等多個方面提供最佳的數字化信息服務。

3．3建立企業數據倉庫

隨著數據容量與數據類型在過去幾十年里的大幅增長，傳統的數據存儲模式已經無法負荷日益增長的數據量，而數據倉庫技術的出現與發展滿足了數據存儲與分析的這兩類龐大的需求，從而徹底改變了數據集成的前景。在建立數據倉庫的技術方法中，企業中所有數據首先會根據數據類型進行分類，也會考慮到數據本身的性質及其相關的處理需求。數據處理過程將會用到內置在處理邏輯中并且整合到一系列編程流程中的業務規則，數據處理會使用到企業元數據、主數據管理（MDM）和語義技術等。數據倉庫技術可以高效利用當前及未來的數據架構和分類方法，保持處理邏輯的靈活性，使它能夠在不同的物理基礎架構組件上發揮作用，從而提高企業的信息化管理的效率。

3．4大規模數據的并行處理與計算

現有并行程序設計算法需要考慮數據的存儲管理、任務劃分與調度執行、同步與通信、災備恢復處理等幾乎所有技術細節，且非常繁瑣。為了進一步提升并行計算程序的自動化并行處理能力，應該盡量減少對很多系統底層技術細節的考慮，從底層細節中徹底解放出來，從而更專注于應用問題本身的計算和算法實現。目前已發展出多種具有自動化并行處理能力的計算軟件框架，如GoogleMapReduce和HadoopMapReduce并行計算軟件框架，以及近年來出現的以內存計算為基礎、能提供多種大數據計算模式的Spark系統等。并行計算的性能評估是通過加速比來體現性能提升的，這里所提到的加速比是指并行程序的并行執行速度相對于其串行程序執行速度加速了多少倍。這個指標貫穿于整個并行計算技術，是并行計算技術的核心。從應用角度出發，不論是開發還是使用，企業都希望隨著處理能力的提升，并行計算程序的執行速度也需要有相應的提升，從而完成大規模數據的并行處理與計算。

4結語

隨著現代信息化技術的不斷發展，已經逐步地實現全面的信息化改造建設。而對于作為社會生產命脈的石油石化行業，利用大數據技術實現其信息化的管理與發展，已經成為了一種趨勢。在本次的論述中，針對于傳統的信息管理策略與現階段的社會生產模式進行了對比分析與研究，通過對現有問題的探究與認知，進一步證明了大數據技術具有更加便捷高效的特點。倘若要在石油行業的全面信息化建設中大力發展大數據技術的管理，仍需要進行不斷的更新與調整，只有做好各個方面適應性改造，才能夠實現對工程管理技術上的重大科技突破。

作者：郭瑞 李健 田立鋒 單位：海洋石油工程股份有限公司