777精品久无码人妻蜜桃,国产日本精品视频在线观看 ,国产亚洲99久久精品熟女av,brazzersvideosex欧美最新版,人人爽人人人爽人人爽

分享
Scan me 分享到微信

董福田:15年做一件事 解決數(shù)據(jù)量對(duì)信息系統(tǒng)性能的制約

超擎2002年成立,我們15年做一件事解決數(shù)據(jù)量對(duì)信息系統(tǒng)性能的要求。

  6月15日,第五屆“地理信息開發(fā)者大會(huì)”(World Geospatial Developers Conference,WGDC)在北京國(guó)家會(huì)議中心隆重開幕。大會(huì)由空間信息產(chǎn)業(yè)創(chuàng)新創(chuàng)業(yè)服務(wù)平臺(tái)泰伯主辦,秉承不斷引領(lǐng)和促進(jìn)空間信息技術(shù)創(chuàng)新與變革的宗旨,WGDC已走過(guò)五個(gè)年頭,如今成為全球最具前瞻性的跨界創(chuàng)新風(fēng)向標(biāo)。

  在本屆大會(huì)主會(huì)場(chǎng)上,蘇州超擎圖形軟件科技發(fā)展有限公司總經(jīng)理董福田作了題為“時(shí)空大數(shù)據(jù),極速云引擎”的演講,以下是演講實(shí)錄(尚未經(jīng)本人核實(shí))。

 

  董福田:大家好!超擎成立于2002年,我們15年專注做一件事,解決數(shù)據(jù)量對(duì)信息系統(tǒng)性能的制約。比如矢量GIS中,我們遇到一個(gè)圖層幾百個(gè)GB,不做切片預(yù)處理,可以達(dá)到什么效果?既可以達(dá)到切片的性能,又可以實(shí)現(xiàn)專業(yè)GIS的功能,這是我們15年一直追求的目標(biāo)。系統(tǒng)性能不受數(shù)量的制約有沒(méi)有理念的支撐,在理論上有沒(méi)有支撐?

  在任意任何兩個(gè)要素之間只有兩種關(guān)系:

  一種是線性關(guān)系。比如說(shuō)數(shù)量增加一倍,傳輸增加一倍,顯示的時(shí)間增加一倍。

  另外一種非線性的,分兩種,非線性A和非線性B,現(xiàn)有的系統(tǒng)是基于線性和非線性A,非線性A具有什么特點(diǎn)?數(shù)量增加一倍,性能可能降低N倍。舉個(gè)例子,比如說(shuō)注記的智能檢測(cè)與避讓。非線性B,數(shù)量增加的時(shí)候,它運(yùn)算時(shí)間、傳播數(shù)據(jù)量不是按照比例增加或者指數(shù)級(jí)增加,而是有一個(gè)最大值,這是它的一個(gè)理論上的支撐。比如說(shuō)超擎15年的時(shí)間把信息化系統(tǒng),無(wú)論是數(shù)據(jù)查詢、讀取、傳輸、顯示、分析都變成非線性B,這是理論上來(lái)說(shuō)做一個(gè)解決方案。

  假如有一個(gè)路網(wǎng)的圖層一個(gè)GB,傳統(tǒng)方式把一個(gè)GB數(shù)據(jù)取過(guò)來(lái),然后在前端來(lái)繪制,最終在屏幕上能看到數(shù)據(jù)多少?比如說(shuō)400K,其實(shí)從顯示的角度只有這400K你可能看到。如果說(shuō)我們只傳這400K,前端只繪制400K,那也就是說(shuō)它的性能一定比你繪制一個(gè)GB性能快得多,因?yàn)橄袼厥怯邢薜?,無(wú)論是手機(jī)還是電腦屏幕,最大所需數(shù)據(jù)量是把每個(gè)像素都繪制滿,這是從繪制角度所耗的最大時(shí)間。如果只把400K傳輸過(guò)來(lái)沒(méi)有壓力,如果只讀取這400K也沒(méi)有壓力,如果只查詢這400K也沒(méi)有壓力,關(guān)鍵是怎么查到這400K,這是里面最關(guān)鍵的問(wèn)題,空間索引。怎么通過(guò)空間索引查到對(duì)你需要的有效的數(shù)據(jù),很多的時(shí)候系統(tǒng)性能實(shí)際上因?yàn)闊o(wú)效的數(shù)據(jù)把整個(gè)系統(tǒng)性能降低下來(lái)了。

  超擎為什么能夠解決這個(gè)問(wèn)題?這源于什么?我們?cè)?002年在做這個(gè)系統(tǒng)的時(shí)候,采取的思路是不一樣的,2002年我們做超擎的時(shí)候?qū)uper engine有一個(gè)定義,其中有一個(gè)是建立在以空間位置為主線,這里面含義是什么?超擎的索引是用空間位置來(lái)建立,而所有傳統(tǒng)索引是用圖元的外包矩形來(lái)建立,這里面有本質(zhì)的區(qū)別。我們按空間位置建索引的區(qū)別在哪里?我們往下看,比如說(shuō)前面的問(wèn)題如果成立,我們舉一個(gè)更加貼近實(shí)際的例子,比如說(shuō)太湖有一千萬(wàn)個(gè)坐標(biāo)點(diǎn)組成,如何顯示的很小,可能只需一百個(gè)坐標(biāo)點(diǎn)就可以顯示太湖了,沿著太湖有條馬路,同時(shí)化簡(jiǎn)如何保持空間關(guān)系不變,是一個(gè)行業(yè)難題。超擎索引是通過(guò)空間位置建立,進(jìn)行聚合處理,化簡(jiǎn)時(shí)通過(guò)它能分析所有空間位置到底變了沒(méi)有,如何進(jìn)行處理。即解決了現(xiàn)有索引微觀不夠微觀,現(xiàn)有索引是通過(guò)矢量數(shù)據(jù)的外包矩形來(lái)構(gòu)建,超擎索引是通過(guò)空間位置建立的。

  前面我講的大家很容易理解,這樣的一個(gè)系統(tǒng)性能在顯示上效率是最高的,實(shí)際上來(lái)說(shuō)超擎最有優(yōu)勢(shì)的部分不是可視化部分,而是空間關(guān)系計(jì)算。因?yàn)橹物@示做到空間關(guān)系不變這樣的化簡(jiǎn),基礎(chǔ)就是空間關(guān)系計(jì)算,計(jì)算上有天然的優(yōu)勢(shì)?,F(xiàn)在里面有很耗時(shí)的計(jì)算,非常復(fù)雜的計(jì)算規(guī)則,我們跟現(xiàn)有的平臺(tái)相比優(yōu)勢(shì)的話,就是壓力測(cè)試,上億倍很輕松的,關(guān)鍵是在于數(shù)量有多大,為什么?因?yàn)樗惴ǖ脑砗蛿?shù)據(jù)量不是永遠(yuǎn)都成正比關(guān)系,有一個(gè)最大值,到達(dá)一定程度以后就不變了,測(cè)試都是第三方做的嚴(yán)格檢測(cè)。

  還有解決什么?解決索引數(shù)據(jù)量大,效率低的問(wèn)題。我一開始說(shuō)超擎索引用的空間位置,空間位置的數(shù)據(jù)量很大。超擎用了15年做突破,用空間位置做索引,索引數(shù)據(jù)量不足傳統(tǒng)索引數(shù)據(jù)量的千分之一。我們做一個(gè)比較,有一個(gè)20G的美國(guó)路網(wǎng),利用傳統(tǒng)索引大概一個(gè)G,超擎索引180K,實(shí)現(xiàn)用空間位置建的索引只有180K,而且索引可以分布式傳輸。這為我們解決一個(gè)什么問(wèn)題?效率問(wèn)題。在數(shù)據(jù)導(dǎo)入、數(shù)據(jù)入庫(kù)的時(shí)候效率更高,而且可以做到云端協(xié)同運(yùn)算,因?yàn)樗饕揭欢康那闆r下,這個(gè)索引也是不隨著數(shù)據(jù)量無(wú)限制增長(zhǎng)。比如說(shuō)前端一開始可以把索引先傳過(guò)來(lái),索引進(jìn)行分析,因?yàn)槲覀冊(cè)诤屯咂貓D做比較,比如說(shuō)矢量地圖性能效率跟它做比較,瓦片地圖前端就知道需要哪些數(shù)據(jù),不需要后端的運(yùn)算,我們索引特別小,同樣可以把索引傳到前端,同樣前端就知道你所需要的數(shù)據(jù),直接調(diào)用這些數(shù)據(jù),索引在前端查詢而不是后端查詢,這只是從數(shù)據(jù)查詢的角度。索引的關(guān)鍵在于什么?關(guān)鍵在于它的運(yùn)算。比如說(shuō)做空間關(guān)系運(yùn)算,判斷一個(gè)點(diǎn)在不在區(qū)域里面,通過(guò)索引前端就可以做運(yùn)算,絕對(duì)具有這種關(guān)系,絕對(duì)不具有這種關(guān)系,可能具有這種關(guān)系,可能的時(shí)候再到后臺(tái)運(yùn)算,已經(jīng)不足傳統(tǒng)模式數(shù)據(jù)量的5%了。這時(shí)候解決已經(jīng)不是說(shuō)你運(yùn)算快慢的問(wèn)題,而是95%的數(shù)據(jù)不用去查詢,不用去讀取,IO有時(shí)候?qū)π阅艿膲毫Ω?。而剩下的運(yùn)算,比如說(shuō)點(diǎn)和面的關(guān)系,超清運(yùn)算它和數(shù)據(jù)量也是沒(méi)有關(guān)系,你是五千萬(wàn)個(gè)點(diǎn)還是一千萬(wàn)個(gè)點(diǎn),做在不在區(qū)域里面的運(yùn)算,基本上和包括10個(gè)點(diǎn)運(yùn)算效率基本上一樣。

  我們和一個(gè)合作伙伴做電子圍欄的壓力測(cè)試,數(shù)量大的時(shí)候可以比傳統(tǒng)算法快1176倍,這其實(shí)只是一個(gè)點(diǎn)選。和傳統(tǒng)意義上空間關(guān)系計(jì)算相比,可以看到和傳統(tǒng)相比它的效率不是一般意義上的幾倍的關(guān)系,關(guān)鍵看數(shù)據(jù)量的多少,它這里面大量運(yùn)算通過(guò)索引在前端完成,很少量運(yùn)算在服務(wù)端進(jìn)行的。再一個(gè)熱力圖,熱力圖我們可以做到什么程度?任意海量的數(shù)據(jù),比如上億的熱點(diǎn),位置數(shù)據(jù),任意空間任意時(shí)間做熱力分析,秒級(jí),不做任何提前運(yùn)算直接運(yùn)算,任意時(shí)間、空間做熱力分析,秒級(jí),而且對(duì)服務(wù)器基本沒(méi)有計(jì)算壓力,仍然是云和端協(xié)同完成的。

  再一個(gè)解決什么問(wèn)題?傳統(tǒng)索引宏觀不夠宏觀的問(wèn)題,空間關(guān)系不止表現(xiàn)在同一個(gè)圖層,所以超擎能索引能夠把所有地圖上的圖形進(jìn)行融合計(jì)算。比如說(shuō)傳統(tǒng)索引按照數(shù)據(jù)集、圖層來(lái)建的,而超擎索引是任意圖層,它們分別建的索引,但是能夠協(xié)同、融合、運(yùn)算,這里面解決一個(gè)什么問(wèn)題?解決了索引和數(shù)據(jù)分離的問(wèn)題。因?yàn)楝F(xiàn)在有一些行業(yè)數(shù)據(jù)它不愿意拿出來(lái)做服務(wù),這樣我們可以建立一個(gè)云,索引云,然后行業(yè)把它數(shù)據(jù)放在自己服務(wù)器上,把索引因?yàn)閿?shù)量小放在索引云里面,前端先讀索引,解決行業(yè)問(wèn)題,性能問(wèn)題,各種壓力,這個(gè)為了什么?為了支撐行業(yè)間的合作,行業(yè)間的融合。

  馬云以前說(shuō)過(guò)現(xiàn)在進(jìn)入了DT時(shí)代,但是我們認(rèn)為DT仍然有IT,這個(gè)IT就是什么?就是索引技術(shù)。索引不止是一個(gè)數(shù)據(jù)的檢索的問(wèn)題,一個(gè)查詢的問(wèn)題。因?yàn)楝F(xiàn)在大數(shù)據(jù)情況下各種數(shù)據(jù)其實(shí)都有時(shí)間空間的屬性,索引不止是大數(shù)據(jù)的內(nèi)容,更是可以作為一個(gè)數(shù)據(jù)中心和連通各行業(yè)之間的一個(gè)神經(jīng)網(wǎng)絡(luò)。因?yàn)檫@種索引它可以解決行業(yè)之間的融合,還有數(shù)據(jù)和索引的分離,然后云和端能夠協(xié)同運(yùn)算。其實(shí)我們想做得是什么?朵朵白云,把數(shù)據(jù)之間、行業(yè)之間能夠融合起來(lái),共同提供服務(wù)。

  超擎的產(chǎn)品,超擎做了十多年的GIS平臺(tái),在2002年我們做超擎主要是做GIS平臺(tái),那時(shí)候我們實(shí)際上把實(shí)時(shí)監(jiān)控融為一體了。所以當(dāng)時(shí)超擎為什么那么追求效率,因?yàn)樗菍?shí)時(shí)監(jiān)控平臺(tái),要秒級(jí)響應(yīng)?,F(xiàn)在超擎產(chǎn)品不做GIS平臺(tái)了,最主要兩個(gè)產(chǎn)品,一個(gè)是數(shù)據(jù)管理,特別是時(shí)空數(shù)據(jù)。再有一個(gè)是網(wǎng)絡(luò)圖形圖像引擎。時(shí)空大數(shù)據(jù)引擎,基本上跟各位沒(méi)有競(jìng)爭(zhēng)關(guān)系,這兩個(gè)產(chǎn)品國(guó)內(nèi)也沒(méi)有人在做。外面有超擎時(shí)空、超擎地圖、超擎快圖,不作為超擎產(chǎn)品提供的。這是超擎兩個(gè)產(chǎn)品數(shù)和圖。這個(gè)基礎(chǔ)上有一個(gè)超擎加速器,主要針對(duì)現(xiàn)有空間信息系統(tǒng)進(jìn)行加速,解決現(xiàn)在存在性能的一些環(huán)節(jié),我們合作伙伴也很多,包括跟國(guó)信司南等都有合作。

  再有就是超擎地圖,從Server到Web,這個(gè)性能不止是效率問(wèn)題,即達(dá)到公眾地圖的性能,又達(dá)到專業(yè)GIS的功能,還有并發(fā)量的問(wèn)題,海量并發(fā),秒級(jí)響應(yīng)。這個(gè)平臺(tái)是源碼提供個(gè)合作伙伴的,支持合作伙伴開發(fā)行業(yè)平臺(tái),它跟現(xiàn)有平臺(tái)聯(lián)合起來(lái)。

  還有超擎快圖,主要針對(duì)影像數(shù)據(jù),不是超擎重點(diǎn)產(chǎn)品,原因是影像產(chǎn)品通過(guò)切片也可以解決問(wèn)題,矢量有一些切片沒(méi)有辦法解決,特別是行業(yè)數(shù)據(jù)和行為數(shù)據(jù)上。到了時(shí)空數(shù)據(jù)到時(shí)空位置你更不能做切片,所以說(shuō)我們重點(diǎn)在矢量上面。

  再有一個(gè)超擎時(shí)空,時(shí)空數(shù)據(jù)的話它的變化一個(gè)是在索引上增加了時(shí)間維,第二個(gè)數(shù)據(jù)海量,比如說(shuō)三大運(yùn)營(yíng)商時(shí)空位置數(shù)據(jù)每天達(dá)到PB,數(shù)量越大超擎優(yōu)勢(shì)越明顯,因?yàn)樗鷶?shù)據(jù)量不是無(wú)限的關(guān)系。

  超擎定位,只是針對(duì)全新的市場(chǎng),在“數(shù)”和“讀”。第一沒(méi)有做平臺(tái),第二沒(méi)有做項(xiàng)目,主要是數(shù)據(jù)管理和圖形顯示,還有互聯(lián)網(wǎng)的服務(wù),比如說(shuō)跟現(xiàn)在地理信息沒(méi)有競(jìng)爭(zhēng),我們是跳出地信,服務(wù)于地信。最主要把傳統(tǒng)兩種體系架構(gòu)融為一個(gè),一個(gè)是針對(duì)互聯(lián)網(wǎng)切片的,一個(gè)是針對(duì)行業(yè)的,這兩個(gè)可以成為一個(gè)信息架構(gòu),這樣各種應(yīng)用就可以打通了。

  超擎的價(jià)值在哪里?這樣一個(gè)產(chǎn)品除了我們自己數(shù)和讀兩個(gè)產(chǎn)品,在這之上,我們?cè)创a提供平臺(tái)有什么價(jià)值?第一個(gè)解決你蛋糕營(yíng)養(yǎng)價(jià)值多高,同樣一千萬(wàn)能賺多少錢;第二個(gè)解決市場(chǎng)問(wèn)題,性能指標(biāo)還有能耗;再有一個(gè)處理時(shí)間,這是決定你切多大蛋糕的問(wèn)題。再往上,行業(yè)問(wèn)題,有大量存量市場(chǎng),紅海變藍(lán)海。然后產(chǎn)業(yè)鏈問(wèn)題,因?yàn)槲覀兲峁┤灼脚_(tái)源碼,把核心技術(shù)工作加上行業(yè)的積累變成行業(yè)平臺(tái),支撐這個(gè)行業(yè)發(fā)展,形成品牌,品牌就會(huì)得到意想不到的機(jī)會(huì),是別人送蛋糕過(guò)來(lái)。這是超擎的情況,我們現(xiàn)在從2015年正式推出這樣的產(chǎn)品,2015年之前我們做平臺(tái),2014年重新做的定位,現(xiàn)在進(jìn)入很多行業(yè),包括測(cè)繪、航天、電網(wǎng)、公安、農(nóng)業(yè)、國(guó)土,現(xiàn)在很多行業(yè)都已經(jīng)開始合作,數(shù)據(jù)量也已經(jīng)到了幾百G,矢量數(shù)據(jù)幾百個(gè)G。謝謝各位。

喜歡您正在閱讀的內(nèi)容嗎?歡迎免費(fèi)訂閱泰伯每周精選電郵。 立即訂閱

參與評(píng)論

【登錄后才能評(píng)論哦!點(diǎn)擊

  • {{item.username}}

    {{item.content}}

    {{item.created_at}}
    {{item.support}}
    回復(fù){{item.replynum}}
    {{child.username}} 回復(fù) {{child.to_username}}:{{child.content}}

更多精選文章推薦