【可直接掃描文末二維碼，報名周四下午亞馬遜云科技線上研討會】

衛(wèi)星遙感數(shù)據(jù)在商業(yè)決策方面，越來越廣泛的起到了作用。從中歐班列到港口物流，從美洲大豆到印度水稻，從建筑工程到路網(wǎng)工程，從鋼廠生產(chǎn)到城市夜間燈光，從山火洪災(zāi)到高溫干旱，從湖體變瘦到地質(zhì)災(zāi)害，衛(wèi)星遙感數(shù)據(jù)的應(yīng)用為人們打開了新的視野，爆發(fā)出前所未有的社會價值和商業(yè)價值。

也有研究表明，數(shù)據(jù)價格近幾年平均每年下降10%。那么隨著衛(wèi)星數(shù)據(jù)獲取、數(shù)據(jù)處理的技術(shù)不斷迭代，如何利用云原生技術(shù)，提升數(shù)據(jù)應(yīng)用效率，降低數(shù)據(jù)成本？讓我們來看看在云原生技術(shù)上深耕了16年的亞馬遜云科技，都有哪些衛(wèi)星遙感企業(yè)在數(shù)據(jù)應(yīng)用領(lǐng)域不斷推陳出新……

領(lǐng)先的地理空間智能公司笛卡爾實驗室（Descartes Labs）, 使用 HPC 探索世界，處理來自地面、水中和太空傳感器的海量數(shù)據(jù)。該公司采用云原生架構(gòu)，專注于通常涉及 PB 級數(shù)據(jù)的地理空間應(yīng)用程序。通過全面使用云技術(shù)，笛卡爾實驗室為政企客戶提供數(shù)據(jù)洞察，幫助他們及時做出決策以應(yīng)對全球日益緊迫的挑戰(zhàn)，如氣候變化、糧食安全、自然資源變化。

圖源：笛卡爾實驗室

笛卡爾實驗室通過云原生高性能計算（HPC）加速地理空間數(shù)據(jù)的分析。這些空間數(shù)據(jù)包括描述地球表面自然環(huán)境與建筑物的位置和特征的圖像、來自衛(wèi)星和無人機的遙感數(shù)據(jù)，以及其他數(shù)據(jù)源。

笛卡爾實驗室充分運用了云原生架構(gòu)自動化部署的優(yōu)勢，曾在“全球規(guī)模計算TOP500”比賽中，一天之內(nèi)啟動了 4,096 個云計算實例（Amazon EC2 C5、C5d、R5、R5D、M5 和 M5d），共計 172,692 個核心，來搭建HPC集群。短時間、大規(guī)模運算成果顯著：

· Rmax – 9.95 PFLOPS。實現(xiàn)的實際表現(xiàn)：每秒將近 10 萬億次浮點運算。

· Rpeak – 15.11 PFLOPS。理論上的峰值表現(xiàn)。

· HPL 效率 – 65.87%。Rmax 與 Rpeak 的比率，或硬件利用率的衡量標準。

· N：7,864,320。這是為了執(zhí)行 Top500 基準測試而轉(zhuǎn)換的矩陣大小。N2 約為 61.84 萬億。

· P x Q：64 x 128。這是計算的參數(shù)，表示處理網(wǎng)格。

本次計算在 2021 年 6 月的”全球TOP500超級計算”榜單中，以9.95 PFLOPS成果，位列第 41 位。運算持續(xù)了24 分鐘后，于當日下午 12:20，集群關(guān)閉，所有實例都順利停止。本次計算體現(xiàn)出了云計算按需超級計算的優(yōu)勢，成本管控被細化到以小時為單位，大幅降低計算資源部署費用、時間成本！正如創(chuàng)始人Mike所說，“云原生HPC的潛力是顯而易見的，因為以這種速度運行定制硬件的成本可能接近 2000 到 3000 萬美元。更不用說 6 到 12 個月的采購、部署、測試、上線周期了?！?/p>

笛卡爾實驗室利用云原生架構(gòu)，實現(xiàn)存儲、處理和快速分析海量的地理空間數(shù)據(jù)，其大規(guī)模擴展對象存儲服務(wù) Amazon S3 的智能分層功能，自動將數(shù)據(jù)存儲至最具成本效益的存儲層，優(yōu)化了其 20PB 數(shù)據(jù)庫的存儲成本。笛卡爾實驗室還通過全托管的搜索和分析服務(wù) Amazon OpenSearch Service，幫助其客戶從龐大的圖像檔案中搜索并定位與業(yè)務(wù)相關(guān)的精準像素。

金風慧能功率預測業(yè)務(wù)Weather Research and Forecasting（WRF）Model運算場景，需要在每天固定時間進行大規(guī)模數(shù)據(jù)計算。

利用Amazon Graviton2的HPC架構(gòu)：WRF性能提升10%，運行時間縮短1/3

金風慧能自主研發(fā)了新能源功率預測產(chǎn)品，通過自適應(yīng)機器學習算法與人工修正模式相結(jié)合的方式，即時迭代預測模型，為復雜地形場景提供了單機功率預測。然而，天氣預測又是實現(xiàn)精準功率預測的關(guān)鍵前提。金風慧能所使用的氣象研究與預測模型——WRF Model，被譽為是“次世代的中尺度天氣預報模式”。

WRF系統(tǒng)輻射數(shù)千萬個3公里網(wǎng)格數(shù)據(jù)，計算規(guī)模超乎想象

WRF系統(tǒng)可以模擬整個地球的大氣狀態(tài)。盡管金風慧能利用該系統(tǒng)來模擬電場3公里范圍內(nèi)的氣象數(shù)據(jù)，但其中也涉及了巨量的數(shù)據(jù)計算。首先，要考慮大氣包括溫度、濕度、壓強、太陽能輻射轉(zhuǎn)化等因素的物理過程；其次，還要考慮建筑、地形、山脈等地面上的影響；在海洋上，還要加入海洋與空氣的熱能轉(zhuǎn)換等一系列復雜的因素。金風慧能在全國有數(shù)千萬個這樣的3公里網(wǎng)格點數(shù)據(jù)，計算規(guī)模之大可以想象，因此更需要高性能計算（HPC）集群作為基礎(chǔ)支撐。

基于Amazon Graviton2的HPC架構(gòu)完美適配ARM架構(gòu)的WRF系統(tǒng)

金風慧能新一代WRF系統(tǒng)基于ARM架構(gòu)所開發(fā)，這要求云端架構(gòu)也必須與之匹配。亞馬遜云科技廣泛的計算實例組合，不僅可提供基于x86架構(gòu)的實例，還有基于ARM Neoverse內(nèi)核定制的Amazon Graviton實例。因此，金風慧能選擇在Amazon Graviton2實例上編譯WRF系統(tǒng)及相關(guān)WRF組件，并利用Amazon ParallelCluster在一周之內(nèi)順利搭建起HPC集群。之后，金風慧能又成功部署了Python自動化腳本，使得云端彈性資源得到充分利用，讓氣象研究和預測既高效、又經(jīng)濟。

WRF系統(tǒng)性能提升10%，運行時間由3小時縮短到2小時

亞馬遜云科技的HPC集群，幫助金風慧能的WRF系統(tǒng)性能提升了10%，不僅滿足了在凌晨2點到5點之間完成數(shù)據(jù)計算的需求，還將運行時間由原來的3小時縮短至2小時，從而釋放出更多的計算資源，使金風慧能可以進行更大規(guī)模氣象運算方案的測試，迭代出更優(yōu)的預測模型以應(yīng)用于生產(chǎn)環(huán)境。

金風慧能氣象預報平臺負責人蘇海晶表示，“我們經(jīng)過多家單位的計算資源測試，完成了對x86和ARM兩種不同架構(gòu)下數(shù)值模式的運算實驗，最終選定亞馬遜云科技的Amazon Graviton2機型，為我們每年節(jié)省了70%的成本，并且金風慧能氣象數(shù)值模擬業(yè)務(wù)目前穩(wěn)定運行。”

在金風慧能的高性能業(yè)務(wù)計算場景下，同一時間需要眾多業(yè)務(wù)并行運行，給現(xiàn)有存儲系統(tǒng)的讀取帶來極大壓力，不利于內(nèi)部共享，還會影響整個生產(chǎn)業(yè)務(wù)的健康運行。為此，金風慧能選擇使用 Amazon FSx for Lustre 系統(tǒng)替換現(xiàn)有的共享系統(tǒng)，不僅配置簡單，而且還可以高性能共享存儲訪問同一組數(shù)據(jù)，大幅提升了企業(yè)人員的工作效率。

成本考量影響衛(wèi)星數(shù)據(jù)的商業(yè)應(yīng)用

成本問題是遙感數(shù)據(jù)應(yīng)用還沒有完全發(fā)展起來的一個重要因素?！叭绻麅r格太高，超過了客戶的預算，或者超過了現(xiàn)有手段的成本，那么遙感就沒有優(yōu)勢了?！毙袠I(yè)專家如是說。

亞馬遜云科技如何迭代云計算技術(shù)，支持企業(yè)降低數(shù)據(jù)成本？

亞馬遜云科技持續(xù)更新、免費、公開的近百種衛(wèi)星數(shù)據(jù)集，示例如下：

（1）衛(wèi)星遙感數(shù)據(jù)：

? Landsats - 1, 2, 3, 4, 5, 7, 8 陸地衛(wèi)星數(shù)據(jù)；

? MODIS（MYD13A1, MOD13A1, MYD11A1, MOD11A1, MCD43A4）衛(wèi)星數(shù)據(jù)；

? Sentinel - 1,2,3 哨兵衛(wèi)星數(shù)據(jù)；

? CBERS 中巴地球資源衛(wèi)星數(shù)據(jù)；

? NOAA GOES - 16,17,18 環(huán)境衛(wèi)星數(shù)據(jù)；

? JMA Himawari-8 日本氣象廳葵花8號衛(wèi)星數(shù)據(jù)；

（2）地理空間：

? Natural Earth 北美制圖信息協(xié)會管理的全球多比例尺地圖數(shù)據(jù)；

? NASA POWER 全球能源資源分布預測數(shù)據(jù)；

? SpaceNet 地球觀測計算機視覺分析樣本數(shù)據(jù)集；

? Digital Earth Africa 衛(wèi)星大數(shù)據(jù)公司，各類衛(wèi)星分析產(chǎn)品數(shù)據(jù)；

? Terrain Tiles 全球高程數(shù)據(jù)；

? Earth Big Data 全球多季節(jié)哨兵 1 號干涉相干性與反向散射數(shù)據(jù)集

（3）氣候和氣象：

? NOAA（美國大氣海洋局）全系列氣象資料；

? CMIP6 全球大氣海洋氣候預測集合模式資料；

? ERA5 歐洲中期天氣預報中心再分析資料；

? OpenAQ 全球空氣質(zhì)量；

? 芬蘭氣象研究局全球大氣海洋、空氣質(zhì)量預報模式資料

亞馬遜云科技低成本衛(wèi)星數(shù)據(jù)跨境獲取方案DTH

利用全球加速網(wǎng)絡(luò)，超低成本跨境數(shù)據(jù)傳輸：媲美專線傳輸速度，大幅降低約90%數(shù)據(jù)跨境傳輸成本，加速衛(wèi)星數(shù)據(jù)獲取。實測效果：NOAA 400GB數(shù)據(jù)，30分鐘傳回中國，成本不到10元人民幣（本測試僅計算了數(shù)據(jù)傳輸費用）。

亞馬遜云科技HPC計算資源

亞馬遜云科技最新發(fā)布了基于 AMD Milan 處理器的Hpc6a 實例，Graviton3E 的 Hpc7實例，以及基于 Intel 處理器的 Hpc6id 實例，為高性能計算場景提供更多選擇。

Hpc7g 實例——專為大規(guī)模運行高性能計算工作負載提供超高性價比

Hpc7g 實例由新的 Amazon Graviton3E芯片提供支持，為客戶在 Amazon EC2 上的高性能計算工作負載（如計算流體動力學、天氣模擬等）提供了超高的性價比。與采用 Graviton2 處理器的當前一代 C6gn 實例相比，Hpc7g 實例的浮點性能提高了2倍，與當前一代 Hpc6a 實例相比性能提高了20%，讓客戶能夠在多達數(shù)萬個內(nèi)核的高性能計算集群中進行復雜的計算。

亞馬遜云科技開源集群管理工具Amazon ParallelCluster

什么是Amazon ParallelCluster？Amazon ParallelCluster 是一個 Amazon 支持的開源集群管理工具，它在開源 CfnCluster 項目上構(gòu)建，根據(jù)用戶提交的任務(wù)自動設(shè)置和管理計算資源和共享文件系統(tǒng)。在Amazon ParallelCluster v2.8.0 或更高的版本上，ParallelCluster 啟用了 Ubuntu 18.04和Amazon Linux 2上的ARM實例支持，使得我們可以實現(xiàn)更高性價比的高性能計算(HPC)，ParallelCluster還支持自動化集成Amazon FSx for Lustre并行文件系統(tǒng)和DCV遠程桌面。以下是ParallelCluster架構(gòu)圖：

WRF可以運行在亞馬遜云科技的官方 HPC 框架AWS ParallelCluster 上，并能方便的是使用開源現(xiàn)代作業(yè)調(diào)度程序 Slurm 進行基本的集群操作。當然 ParallelCluster 也可以支持 sge, torque, aws batch等多種作業(yè)調(diào)度系統(tǒng)。Cloud HPC 正在快速增長, 然而，快速敏捷地在云中編排 HPC 集群也絕非易事，在搭建集群時可能會面臨非常陡峭的學習曲線，同時關(guān)于在云端建立HPC 集群的文檔很少，而借助ParallelCluster框架可以快速地啟動 WRF HPC 集群。

亞馬遜云科技其他支持架構(gòu)組件等：

對于云原生架構(gòu)、案例、以及行業(yè)算法模型的詳細解說，12月22日下午，2：00到4：00，朋友們可以報名線上研討會，線上騰訊會議：958 420 015，了解云原生架構(gòu)優(yōu)勢：

掃碼報名：

熱點分享：

NOAA 400GB數(shù)據(jù)，30分鐘傳回中國，成本不到10元人民幣（僅計算數(shù)據(jù)傳輸費用，不考慮數(shù)據(jù)存儲費用）；
FourCastNet模型應(yīng)用，transformer encoder+decoder結(jié)構(gòu)，deep leanrning模型構(gòu)建實踐分享；
前沿案例Maxar Technologies: 使用 AWS 提供預報的速度比天氣超級計算機快 58%；

會議日程：

1. 云上地球，亞馬遜云科技公開數(shù)據(jù)集衛(wèi)星數(shù)據(jù)免費使用講解（示例：Landsats/MODIS/Sentinel/JMA Himawari-8/NASA POWER/NOAA/ERA5等數(shù)據(jù)）；

2. 全球加速網(wǎng)絡(luò)，超低成本跨境數(shù)據(jù)傳輸DTH方案講解：媲美專線傳輸速度，大幅降低約90%數(shù)據(jù)跨境傳輸成本，加速衛(wèi)星數(shù)據(jù)獲取。

3. Deep learning在氣象/遙感模型構(gòu)建上的設(shè)計與實踐分享；HPC與人工智能、機器學習、深度學習的緊密結(jié)合，擺脫架構(gòu)束縛，加速科研，釋放創(chuàng)新動力。