在5月16日的大會(huì)“云計(jì)算與智慧城市”分論壇上，Oracle空間領(lǐng)域?qū)＜液弯N售顧問(wèn)顧學(xué)明發(fā)表了題為《基于云與大數(shù)據(jù)的智能GIS》的演講。
Oracle空間領(lǐng)域?qū)＜液弯N售顧問(wèn)顧學(xué)明
以下為演講內(nèi)容：
顧學(xué)明：我們?yōu)閿?shù)字城市到智慧城市了規(guī)劃了令人憧憬的路線，其中重要的一點(diǎn)是要提高數(shù)據(jù)收集，信息處理，決策指導(dǎo)的能力，提高城市運(yùn)營(yíng)的效率。要達(dá)到這個(gè)目標(biāo)存在的問(wèn)題，數(shù)據(jù)采集能力提高了，并不意味著就一定能獲得其中的信息，這取決于數(shù)據(jù)處理能力，而獲得這些信息并不一定能讓這些信息用于決策，這取決于信息的發(fā)布個(gè)共享方式和渠道，所以我們要提云計(jì)算;GIS雖然不等于智慧城市，但智慧城市離不開(kāi)GIS, 所以我要講云中的GIS。
這里邊我講四個(gè)大標(biāo)題，一個(gè)云計(jì)算中的GIS， GIS應(yīng)用對(duì)IT基礎(chǔ)設(shè)施的需求， Oracle云架構(gòu)采用策略， 以及Oracle相關(guān)在云構(gòu)架集成的一些實(shí)踐。
云概念已經(jīng)被廣泛接受，我們意識(shí)到云對(duì)我們IT推動(dòng)的作用，從云概念本身的來(lái)源來(lái)講，云就是通過(guò)整合的方式，把硬件，軟件，數(shù)據(jù)，處理能力各種資源進(jìn)行整合，提高信息能力，IT運(yùn)營(yíng)效率，確保信息的共享和價(jià)值發(fā)揮。
云從可以兩個(gè)方面來(lái)看，一個(gè)從整合的層面來(lái)講，公認(rèn)IAAS、PAAS、SAAS三種整合層次，不同階段，不同方面根據(jù)業(yè)務(wù)需求去確定你整合的層次。
另外從信息共享的和消費(fèi)方式分為公有云和私有云，以及云爆發(fā)階段出現(xiàn)混合云。
這些分類雖然代表云的不同發(fā)展階段，但不意味著那個(gè)高級(jí)那個(gè)就不高級(jí)。取決于應(yīng)用模式和成熟度，只要能達(dá)到的業(yè)務(wù)目的，都可靈活采用。不是說(shuō)哪個(gè)東西比哪個(gè)東西高級(jí)。
原來(lái)是傳統(tǒng)物理機(jī)孤島，每個(gè)應(yīng)用都要獨(dú)立搭建自己的應(yīng)用、平臺(tái)、服務(wù)。為了這些系統(tǒng)采購(gòu)了很多的硬件，硬件使用率很低管理起來(lái)很復(fù)雜。我們第一想到的就是我們對(duì)硬件進(jìn)行虛擬化，這是我們現(xiàn)在非常流行的硬件虛擬化技術(shù)。也是通過(guò)整合你的硬件，然后提到硬件的使用效率以及維護(hù)成本。也提高應(yīng)用的處理能力，所以就是虛擬這個(gè)層面上進(jìn)行整合。當(dāng)你發(fā)現(xiàn)你所有業(yè)務(wù)都需要共同的數(shù)據(jù)庫(kù)平臺(tái)，每個(gè)應(yīng)用都單獨(dú)管理同樣的軟件平臺(tái)，你意識(shí)到硬件整合還是不夠，為什么?虛擬機(jī)的泛濫。重復(fù)的軟件部署到不同的虛擬機(jī)上，性能也遇到瓶頸。這是你需要對(duì)平臺(tái)的需求進(jìn)行合并。當(dāng)你發(fā)現(xiàn)，所有業(yè)務(wù)需要同樣的功能，你會(huì)發(fā)現(xiàn)你的服務(wù)是可以共享的，這時(shí)候需要在服務(wù)上進(jìn)行合并。
當(dāng)你在部門內(nèi)部，搭建了私有云， 你會(huì)發(fā)現(xiàn)有的業(yè)務(wù)是和別的企業(yè)是有共同點(diǎn)的，你發(fā)現(xiàn)維護(hù)自己的私有服務(wù)成本非常高。通過(guò)云服務(wù)提供商可以得到更好的服務(wù)。從成本考慮會(huì)用一些公有云。這個(gè)是從私有云到公有云最后到混合云的過(guò)程。
云好像一個(gè)終極的目標(biāo)，把云比著共產(chǎn)主義，是個(gè)逐步接近的過(guò)程。怎么接近，各有個(gè)的途徑，歐洲高福利社會(huì)也認(rèn)為自己也是在向共產(chǎn)主義發(fā)展，我們提出有中國(guó)特色的社會(huì)主義也是在向共產(chǎn)主義發(fā)展。
GIS的作為一個(gè)專門的應(yīng)用，從云的角度出發(fā)他它就是一朵小云，智慧城市需要GIS，但不全是GIS,這個(gè)GIS云需要和別的云進(jìn)行更整合，形成更大的云。
[page] 單從GIS云來(lái)看，也可以劃分三個(gè)不同層面，基礎(chǔ)設(shè)施云、平臺(tái)云、以及服務(wù)云。
首先我們可以對(duì)機(jī)器進(jìn)行虛擬化，存儲(chǔ)進(jìn)行虛擬化，這里面有自動(dòng)存儲(chǔ)管理，分布式文件系統(tǒng)，構(gòu)建虛擬機(jī)，我們把所有的機(jī)器處理能力形成一個(gè)集群。你也可以選擇把Oracle數(shù)據(jù)庫(kù)看著一個(gè)整合的云，把大數(shù)據(jù)處理能里看著一個(gè)平臺(tái)云。當(dāng)然你需要Oracle的空間擴(kuò)展，你需要空間數(shù)據(jù)處理，編輯和可視覺(jué)化能力。最后網(wǎng)絡(luò)形式發(fā)布空間信息服務(wù)，所以本身GIS可以就是一朵云。
我們?yōu)槭裁匆?，因?yàn)槲覀冇龅搅藢?shí)際問(wèn)題，需要從云的角度考慮整個(gè)IT基礎(chǔ)設(shè)施的重新部署和構(gòu)架。
這個(gè)是我們常常見(jiàn)到的信息中心的遇到的問(wèn)題，有過(guò)期的硬件，這些硬件越來(lái)越老沒(méi)法使用，需要升級(jí)，用戶體驗(yàn)性能非常差。而升級(jí)的時(shí)候，面臨什么問(wèn)題所有系統(tǒng)都在線上運(yùn)行，升級(jí)需要花很長(zhǎng)時(shí)間，又不能停掉原有的系統(tǒng)，系統(tǒng)缺乏靈活性。同時(shí)系統(tǒng)升級(jí)需要，很多專業(yè)技術(shù)人員去做，運(yùn)營(yíng)成本高。
這里面是什么樣的需求會(huì)造成這種現(xiàn)狀?
空間數(shù)據(jù)量和內(nèi)容不斷增加，空間數(shù)據(jù)采集能力增強(qiáng)了，但處理能力不行，數(shù)據(jù)量增加數(shù)據(jù)能力也要增加;數(shù)據(jù)一致性和質(zhì)量要求也在要提高，你只有一致的數(shù)據(jù)才可以得到準(zhǔn)確的信息，數(shù)據(jù)的更新頻率也在提高，從批量更新到增量的更新，而且你的核心業(yè)務(wù)已經(jīng)在在已經(jīng)運(yùn)行了。對(duì)高性能，可靠性，安全性，可擴(kuò)容性都是非常大的挑戰(zhàn)。不是說(shuō)我們過(guò)去把數(shù)據(jù)鏟掉重來(lái)一遍，所以對(duì)空間數(shù)據(jù)設(shè)施維護(hù)的要求越來(lái)越高。
對(duì)非結(jié)構(gòu)化數(shù)據(jù)管理的要求。 結(jié)構(gòu)化數(shù)據(jù)區(qū)別是什么? 結(jié)構(gòu)化數(shù)據(jù)我采集到這個(gè)數(shù)據(jù)的時(shí)候，我有辦法對(duì)它進(jìn)行結(jié)構(gòu)化。非結(jié)構(gòu)化數(shù)據(jù)首先數(shù)據(jù)量大，另外沒(méi)法對(duì)它進(jìn)行結(jié)構(gòu)化，知道是很有用的數(shù)據(jù)，但拿到這個(gè)數(shù)據(jù)的時(shí)候，并不知道以后怎么處理它，這是結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)處理的區(qū)別。
結(jié)構(gòu)化數(shù)據(jù)可以以表格的形式組織起來(lái)，當(dāng)我知道以后怎么用的時(shí)候。我知道領(lǐng)導(dǎo)隨時(shí)會(huì)問(wèn)銷售額多少，我會(huì)把每個(gè)單子的銷售額量放在表里，任何時(shí)候要，一個(gè)SQL SUM就知道結(jié)果了。而拿到每年氣溫或氣壓的分布數(shù)據(jù)，我知道有用的，但我不知道以后別人會(huì)拿這個(gè)數(shù)據(jù)來(lái)做什么，只能在需要解決特定問(wèn)題時(shí)，再確定分析方法，所以首先要存起來(lái)。再比如地質(zhì)資料的檔案，不能也不可能表的形式存儲(chǔ)，唯一要做的是保證資料原始性，在有限期望的時(shí)間內(nèi)，所需要的資料拿出來(lái)，這是大數(shù)據(jù)的另一個(gè)需求。
為了解決這些問(wèn)題需要合適的IT構(gòu)架和現(xiàn)有技術(shù)或系統(tǒng)的整合，整合目的第一個(gè)提高信息處理能力，降低硬件擁有和系統(tǒng)維護(hù)成本。
你可以從硬件層面整合，可以從平臺(tái)層面整合，硬件層面整合你馬上可以做這個(gè)事情，但是單純硬件層面的整合一個(gè)問(wèn)題是什么，它并不能減少增加你對(duì)平臺(tái)管理的成本。比如說(shuō)你有空間數(shù)據(jù)庫(kù)，你把空間數(shù)據(jù)庫(kù)部署在硬件上，所有你空間數(shù)據(jù)你的管理你整個(gè)的還是離不開(kāi)，你該有兩個(gè)空間數(shù)據(jù)庫(kù)，還是有兩個(gè)，因?yàn)橹皇前延布摂M化了。
平臺(tái)上面整合和數(shù)據(jù)庫(kù)層面整合，你可以獲得更多的，你可以降低數(shù)據(jù)管理的成本，降低運(yùn)維、數(shù)據(jù)更新、備份的成本等等。所以通過(guò)平臺(tái)整合，可以加快新應(yīng)用程序的部署速度。你不需要每個(gè)數(shù)據(jù)庫(kù)都要重新部署。
整合的方法三個(gè)，第一你完全自己整合DIY。你也可以成功的配置，搭建自己的整合平臺(tái)。為了降低整個(gè)風(fēng)險(xiǎn)，現(xiàn)在的趨勢(shì)，廠家會(huì)給你提供完整從硬件到軟件，從存儲(chǔ)到計(jì)算機(jī)一直到軟件這種成型的整合方案。
云計(jì)算如果是個(gè)終極的目標(biāo)，好比是共產(chǎn)主義，實(shí)際上每個(gè)人都可以有起想法期待，但根據(jù)不同的發(fā)展階段和達(dá)到的目標(biāo)，都會(huì)按照不同的路線去接近。Oracle，從提供數(shù)據(jù)庫(kù)產(chǎn)商，變成硬件到數(shù)據(jù)庫(kù)，中間件，到應(yīng)用完成解決方案的廠商，同時(shí)構(gòu)建了自己的虛擬化云，平臺(tái)云和服務(wù)云的整體方案，同時(shí)也云終端上也提供了Sun-Ray的方案。在云技術(shù)上的關(guān)鍵問(wèn)題上如云安全：系統(tǒng)安全、數(shù)據(jù)安全，一直到你整個(gè)身份認(rèn)證等提供了可以直接使用的產(chǎn)品。云還存在云的管理的問(wèn)題，如云服務(wù)的租用計(jì)費(fèi)和自助，這些Oracle產(chǎn)品都可以幫你實(shí)現(xiàn)。 Oracle還搭建了自己的共有云服務(wù)，比如說(shuō)像(人力資源管理，支付系統(tǒng)等等公有云服務(wù)。
在GIS構(gòu)架上來(lái)看， Oracle提供了一個(gè)ExaData一體化硬件產(chǎn)品，從存儲(chǔ)，計(jì)算節(jié)點(diǎn)，網(wǎng)絡(luò)，數(shù)據(jù)庫(kù)軟件一直到空間數(shù)據(jù)庫(kù)擴(kuò)展，提供完整的整合。大數(shù)據(jù)的方面，整合了Hadoop/HDFS/NoSQL等，以及R語(yǔ)言環(huán)境Big Data Appliance。Oracle Spatial在Web上提供了WFS，WMS等空間服務(wù)功能。
ExaData整合了什么呢，首先整合了存儲(chǔ)，建立存儲(chǔ)的集群，通過(guò)40G帶寬網(wǎng)絡(luò)連接，通過(guò)ASM管理，在上面搭建數(shù)據(jù)庫(kù)實(shí)例。如果說(shuō)我們自己搭建這么一個(gè)構(gòu)架可不可以，完全可以，但ExaData遠(yuǎn)遠(yuǎn)不止這種簡(jiǎn)單的整合，并不是單純把軟件架在硬件IaaS上，而是在軟件和硬件簡(jiǎn)ExaData做了很多優(yōu)化。每一個(gè)存儲(chǔ)節(jié)點(diǎn)都是智能的，它可對(duì)SQL語(yǔ)句進(jìn)行處理，避免不必要的I/O,只讀取和傳輸有用的數(shù)據(jù)，包括存儲(chǔ)結(jié)點(diǎn)上的混合列壓。這樣大大提高了數(shù)據(jù)庫(kù)的性能以及訪問(wèn)速度。
ExaData可以對(duì)數(shù)據(jù)庫(kù)實(shí)例進(jìn)行服務(wù)質(zhì)量的控制。如果在云環(huán)境中你可以根據(jù)不同用戶級(jí)別和要求控制每個(gè)實(shí)例的服務(wù)和質(zhì)量?；蛘咴谀阃粰C(jī)構(gòu)里，希望關(guān)鍵應(yīng)用更快，更可靠。Oracle提供企業(yè)級(jí)的管理和監(jiān)控軟件，用來(lái)對(duì)整個(gè)ExaData硬件和軟件進(jìn)行一體化管理。
Oracle除了普通關(guān)系型數(shù)據(jù)管理外，還有提供了空間數(shù)據(jù)的管理擴(kuò)展模塊，包括Locator和Spatial兩個(gè)不同級(jí)別的產(chǎn)品。它具有空間數(shù)據(jù)處理存儲(chǔ)，處理和分析能力，是完整的空間數(shù)據(jù)庫(kù)。除了空間數(shù)據(jù)管理外，Oracle Spatial還提供了空間分析能力，Route Engine、Geocoding等 ,Oracle可以發(fā)布OGC標(biāo)準(zhǔn)的空間服務(wù)。Mapviewer是Oracle Spatial提供的客戶端數(shù)據(jù)管理和空間數(shù)據(jù)可視化應(yīng)用程序，你可以通過(guò)Mapviewer配置地圖，并把地圖發(fā)布成服務(wù)。
大數(shù)據(jù)是IT的一個(gè)趨勢(shì)，在GIS應(yīng)用中也不例外。有些數(shù)據(jù)可以以表的形式放在庫(kù)里，但有些數(shù)據(jù)不能進(jìn)行結(jié)構(gòu)化。所以存在一種對(duì)非結(jié)構(gòu)花空間數(shù)據(jù)采集、組織、分析的需求。根據(jù)數(shù)據(jù)的特性，以及不同的處理階段，需要用到不同的技術(shù)， Oracle根據(jù)這兩個(gè)緯度對(duì)所有的技術(shù)整合，Big Data Appliance是整合了分布式文件系統(tǒng)，NoSQL需求，分布式數(shù)據(jù)處理 ，以及挖掘需求的專用設(shè)備。這些技術(shù)和和傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)結(jié)合如OLTP,數(shù)據(jù)倉(cāng)庫(kù)，商務(wù)智能，全方位滿足所有大數(shù)據(jù)存儲(chǔ)，分析處理以及數(shù)據(jù)挖掘分析的需求。
北京陰霾比較厲害，要向公眾解釋這個(gè)陰霾正常不正常，原因是什么，有什么趨勢(shì)，這時(shí)候我需要對(duì)歷年的PM2.5做分析，而PM2.5數(shù)據(jù)是以大數(shù)據(jù)形式存儲(chǔ)的。需要基于大量數(shù)據(jù)分析來(lái)支撐整個(gè)結(jié)論，需要系統(tǒng)有大數(shù)據(jù)存儲(chǔ)管理和分析的能力。
數(shù)據(jù)量大是其中的一個(gè)特點(diǎn)，數(shù)據(jù)大只要解決采集、存儲(chǔ)和訪問(wèn)就行了。大數(shù)據(jù)跟結(jié)構(gòu)化數(shù)據(jù)更大的一個(gè)區(qū)別，它的分析過(guò)程不一樣的。結(jié)構(gòu)化數(shù)據(jù)先建模先結(jié)構(gòu)化然后再分析，而且這個(gè)模型可以一直在使用，大數(shù)據(jù)的區(qū)別是收集到數(shù)據(jù)的時(shí)候根本不確定以后怎么處理，也就是說(shuō)沒(méi)有固定的處理的模型。只有提出特定問(wèn)題以后，才知道怎么處理。一般先做一個(gè)猜想，然后建立證明這個(gè)猜想所需要的模型，最后運(yùn)行模型，驗(yàn)證這個(gè)猜想。大數(shù)據(jù)分析得出的結(jié)果，很多時(shí)候是仁者見(jiàn)仁智者見(jiàn)智，有可能用人工的方式分析，也可能用機(jī)器訓(xùn)練分析，但結(jié)果的解釋一般還是要人來(lái)完成。
Oracle產(chǎn)品和構(gòu)架是完整系列，具有云所需要的所有特性：按需服務(wù)，多應(yīng)用共享，服務(wù)質(zhì)量控制，安全管理，計(jì)量收費(fèi)。同時(shí)Oracle提供軟硬件一體化的設(shè)備，不僅僅軟硬件整合，而且在各個(gè)層間進(jìn)行優(yōu)化，形成一體化的具有云特性的云設(shè)備平臺(tái)。
數(shù)據(jù)采集能力增強(qiáng)并不意味著你一定能從這些數(shù)據(jù)中獲取有用的信息，所以信息處理能力很重要，而信息獲得了并不定能馬上用于城市的運(yùn)營(yíng)決策管理，所以信息共享和發(fā)布很重要。合適的云計(jì)算和構(gòu)架的采用能幫助你更好地解決這些問(wèn)題。一個(gè)滿足業(yè)務(wù)需要的云的構(gòu)架是動(dòng)態(tài)的，整合和優(yōu)化也是動(dòng)態(tài)的。不是你今天建了云環(huán)境就一步到位了，需求在變化，業(yè)務(wù)模式在變化， IT技術(shù)在變化，所以沒(méi)有構(gòu)架沒(méi)有先進(jìn)不先進(jìn)，只有最合適的。
整合一個(gè)應(yīng)用構(gòu)架，既要保證靈活度。我們?cè)陉P(guān)鍵環(huán)節(jié)采用模塊化的設(shè)計(jì)，成熟的設(shè)計(jì)，而不是每個(gè)模塊都需要重新設(shè)計(jì)。這是很簡(jiǎn)單的道理，像你寫一個(gè)程序，不要線性的形式，在關(guān)鍵的時(shí)候你調(diào)一個(gè)子程序，這個(gè)子程序別人驗(yàn)證過(guò)的，這樣大大減少你整合的復(fù)雜度，降低你整合系統(tǒng)的風(fēng)險(xiǎn)，如數(shù)據(jù)庫(kù)平臺(tái)就可以采用哦Oracle ExaData一體機(jī)直接滿足需求，大數(shù)據(jù)處理和分布計(jì)算可以采用Big Data Appliance。
(感謝顧學(xué)明對(duì)演講速記內(nèi)容的校對(duì))
{{item.content}}