適逢空間大數(shù)據(jù)爆發(fā)性增長,大數(shù)據(jù)時(shí)代已經(jīng)到來,傳統(tǒng)國土、測繪、規(guī)劃領(lǐng)域的業(yè)務(wù)正在向空間大數(shù)據(jù)分析轉(zhuǎn)型,2015年國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,指出大數(shù)據(jù)已經(jīng)成為國家基礎(chǔ)型戰(zhàn)略資源,運(yùn)用大數(shù)據(jù)推動(dòng)經(jīng)濟(jì)發(fā)展、完善社會(huì)治理、提升政府服務(wù)和監(jiān)管能力正成為趨勢,并要求全面推進(jìn)我國大數(shù)據(jù)發(fā)展和應(yīng)用,加快建設(shè)數(shù)據(jù)強(qiáng)國。
空間大數(shù)據(jù)解決方案主要包括五大步驟:
數(shù)據(jù)接入存儲、空間分析挖掘、時(shí)空大數(shù)據(jù)存儲、可視化展現(xiàn)、業(yè)務(wù)系統(tǒng)集成
1、空間數(shù)據(jù)接入存儲:這里包含了數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)檢、轉(zhuǎn)換加載的全過程,通過平臺提供的工具、模型和方法,結(jié)合實(shí)際業(yè)務(wù)需求,進(jìn)行數(shù)據(jù)預(yù)處理,目的是抽取出適用于接入到大數(shù)據(jù)平臺分析計(jì)算的文件型數(shù)據(jù)源。也就是說,實(shí)現(xiàn)了現(xiàn)有的業(yè)務(wù)數(shù)據(jù)庫與大數(shù)據(jù)分析計(jì)算庫相分離。大數(shù)據(jù)分析數(shù)據(jù)源接入類型支持:文件型數(shù)據(jù)、HDFS分布式文件系統(tǒng)、Hive數(shù)據(jù)源以及云存儲(亞馬遜S3存儲、微軟 Azure數(shù)據(jù)湖);
2、空間分析挖掘:這一步也就是大數(shù)據(jù)分析場景設(shè)計(jì),需要結(jié)合數(shù)據(jù)結(jié)構(gòu)、業(yè)務(wù)需求,進(jìn)行分析工具的選擇,可以是多種分析工具流程化應(yīng)用,通過GeoAnalyticsServer集群的分布式計(jì)算,能夠充分利用硬件資源,使傳統(tǒng)幾小時(shí)甚至幾天的計(jì)算量,在秒級和分鐘級完成;
3、時(shí)空大數(shù)據(jù)存儲:空間大數(shù)據(jù)的兩個(gè)關(guān)鍵能力是分布式計(jì)算和分布式存儲,在高效計(jì)算的能力下,需要配備分布式、高性能的時(shí)空大數(shù)據(jù)存儲,ArcGISSpatiotemporalDataStore通過數(shù)據(jù)分片存儲機(jī)制,提供了高效的數(shù)據(jù)寫入和查詢檢索能力。同時(shí),可以動(dòng)態(tài)增加和減少集群節(jié)點(diǎn),不存在單點(diǎn)故障,保障了業(yè)務(wù)連續(xù)性;
4、可視化展現(xiàn)能力:大數(shù)據(jù)分析結(jié)果可以通過多種方式進(jìn)行展現(xiàn)和查看,如PortalMapViewer、ArcGISPro、Insights等豐富的可視化展現(xiàn);
5、業(yè)務(wù)系統(tǒng)集成能力:大數(shù)據(jù)平臺建設(shè)是一個(gè)系統(tǒng)性工程,解決具體需求難點(diǎn)很重要,突破以往技術(shù)瓶頸很重要,但是整個(gè)平臺的完整性、流程化也同樣重要?臻g大數(shù)據(jù)分析結(jié)果均以服務(wù)形式提供,可以通過RestAPI、PythonAPI,高效地實(shí)現(xiàn)大數(shù)據(jù)平臺的能力展示。
空間大數(shù)據(jù)價(jià)值:
1.大數(shù)據(jù)已經(jīng)上升為國家戰(zhàn)略,而幾乎所有的大數(shù)據(jù),都需要而且可以與地理信息數(shù)據(jù)緊密融合?臻g大數(shù)據(jù)是大數(shù)據(jù)與地理信息數(shù)據(jù)的融合體。由此,空間大數(shù)據(jù)正在全球范圍內(nèi)迅速崛起,給政府用戶、企業(yè)用戶與個(gè)人用戶提供前所未有的應(yīng)用價(jià)值和服務(wù)能力。空間大數(shù)據(jù)的崛起,帶來的遠(yuǎn)比我們想象的要多得多。“空間大數(shù)據(jù)崛起給我們帶來的是時(shí)空大數(shù)據(jù),不只是告訴位置,也不只是告訴時(shí)間,更重要是有了內(nèi)涵和內(nèi)容。這為城市智能化和個(gè)人的位置服務(wù)提供了非常好的機(jī)遇。
2.空間大數(shù)據(jù)可以分為五大形態(tài),第一是基礎(chǔ)地理信息數(shù)據(jù),即按照國家標(biāo)準(zhǔn)精準(zhǔn)測繪所形成的政府?dāng)?shù)據(jù);第二是專題地理信息數(shù)據(jù),比如地理國情所獲取的大量與經(jīng)濟(jì)、社會(huì)有關(guān)的數(shù)據(jù);第三是專業(yè)地理信息數(shù)據(jù),如農(nóng)業(yè)部門、國土部門等專業(yè)部門的數(shù)據(jù);第四是傳感地理信息數(shù)據(jù),也是時(shí)空大數(shù)據(jù)里面重要且有活力的部分,并涵蓋很多的領(lǐng)域;第五是社交地理信息數(shù)據(jù),比如采集的共享單車所走的軌跡等數(shù)據(jù)。
3.把“一帶一路”沿線和區(qū)域的大坐標(biāo)關(guān)聯(lián)起來,形成基礎(chǔ)地理數(shù)據(jù)和系列的地圖成果,用于規(guī)劃、建設(shè)、感知,借助互聯(lián)網(wǎng)時(shí)代的物聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)技術(shù),時(shí)空數(shù)據(jù)在數(shù)字空間串接起來,形成物理世界的虛擬再現(xiàn),支持混合現(xiàn)實(shí)的智能化管理,為地理信息產(chǎn)業(yè)發(fā)展提供全新的渠道和原動(dòng)力,物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、人工智能的迅速發(fā)展,正在催生一個(gè)龐大的空間大數(shù)據(jù)產(chǎn)業(yè)鏈?臻g大數(shù)據(jù)是全球政府管理和經(jīng)濟(jì)發(fā)展的基礎(chǔ)設(shè)施,隨著產(chǎn)業(yè)的迅速發(fā)展,空間大數(shù)據(jù)將會(huì)在社會(huì)經(jīng)濟(jì)的各個(gè)領(lǐng)域發(fā)揮不可替代的重要作用,尤其是在智慧城市和智慧汽車領(lǐng)域。