消防大數據平臺,通過采集現有數據建成數據倉庫,對重大火災隱患、建筑消防設施、消防水源等要素進行動態監管,有效監督檢查對象,優化警力分配,科學指導滅火救援。消防大數據是智慧城市的重要組成部分,不僅服務消防工作本身,還能通過大數據讓城市管理者實時分析城市的整體運行情況,及時調整管理措施,提高城市管理效率。通過將公安、消防、安監、民政、衛生、教育等各部門調動起來,將消防數據融貫通,為消防部門研判火災風險提供全面、準確的數據支撐。
消防大數據業務庫包括通用基礎庫、消防專題庫、行業主題庫,火災智能分析、智能防控、應急滅火救援提供數據支撐。通用基礎庫,基于現有數據庫,對消防內部數據、企業數據、政府數據等提供的消防相關數據進行匯集、處理、挖掘及智能分析,形成人員基礎庫、單位基礎庫、建筑基礎庫共三大類基礎庫。消防專題庫,綜合分析消防相關各項數據,包括消防設施專題庫、重點部位專題庫、物聯網專題庫、火災隱患專題庫、?;穼n}庫、水源專題庫、火災專題庫、微型消防站專題庫、一警六員專題庫、社會救援力量專題庫、單位維保專題庫、防消聯勤專題庫。
大數據基礎平臺對大規模數據集(海量數據),提供底層分布式計算和分布式存儲技術,可以擴展到數以千計的存儲和計算節點,提供高可用服務的大數據集群。沃達德大數據平臺具備數據的可靠性、安全性和高可用性,是構建整個大數據技術架構的基礎平臺。產品特性包括:分布式計算、分布式存儲、支持數以千計的存儲和計算節點、高可用服務,以及保證數據的可靠性、安全性和高可用性。
數據是一種寶貴的資源。利用新技術新方法挖掘現有數據的價值,找到數據間的關聯關系,提高基礎數據的利用率,并預測未來趨勢及行為,是國內面臨的迫切問題。一批新興的數據處理、挖掘與分析技術不斷涌現,如沃達德大數據平臺、數據倉庫、分布式數據庫、數據挖掘平臺、大數據可視化,使分析處理海量數據變得更加容易、更加便捷。
大數據平臺進行數據采集時通常要面對數據結構、業務規則、技術特性(網絡、安全、性能約束)等方面的綜合挑戰。如果數據源和大數據平臺處于相同的網絡環境,具有類似的數據結構和編碼映射,可以通過工具配置或腳本進行采集,如使用Sqoop。當需要面對和對接第三方的數據生產系統,需要遵循對方的抽取協議,以及跨網段的數據訪問,從而需要對采集應用進行一定程度上的定制,可以使用Java NIO、Netty或Mina。
Hadoop是一個成熟的大數據處理框架,允許在集群中使用簡單的編程模型對大規模數據集進行分布式計算。它被設計為可以從單一服務服務器擴展到數以千計的本地計算和存儲節點,并且Hadoop會在應用層面監測和處理錯誤,而不依靠硬件的高可用性,所以Hadoop能夠在一個每個節點都有可能出錯的集群之上提供一個高可用服務。
基于沃達德大數據平臺,通過對海量數據采集、處理、存儲、分析和數據挖掘,根據數據的特性,采用合適的可視化方式,將數據直觀地展現出來,以幫助人們認識數據、理解數據,同時找出包含在海量數據中的規律或者信息,預測未來發展趨勢,進行智能化決策分析,使得數據資產成為核心競爭力。