▎與上個世紀(jì)計算機(jī)的向上平民化不同，這次HPC擁抱的是更復(fù)雜的業(yè)務(wù)負(fù)載。
泰坦傳媒編輯丨張帥
世界上第一臺電腦叫什么名字？ 很多人不假思索就能回答——“ENIAC”。
那么，“Eniac”最初是用來做什么的呢？ 很少有人知道，1946年，“Eniac”誕生什么是物理帶寬，解決的是彈道估算問題。 賓夕法尼亞學(xué)院斥巨資40萬日元研發(fā)“Eniac”。 那時候，電腦是一種戰(zhàn)略物資。
很長一段時間后，個人PC的普及使得電腦逐漸進(jìn)入大眾視野。 IBM和蘋果都是第一代家用筆記本廠商，電腦作為戰(zhàn)略物資的屬性被換了一個名字保留下來。 它是 HPC（高、高性能計算）。
HPC已成為計算機(jī)科學(xué)的一個分支，利用超級計算機(jī)和并行處理技術(shù)解決復(fù)雜的估計問題，主要針對大規(guī)模科學(xué)問題的估計和海量數(shù)據(jù)的處理，如科學(xué)研究、天氣預(yù)報、計算模擬、 CFD/CAE、生物制藥行業(yè)、基因測序、圖像處理等年度全球HPC 高性能計算機(jī)排行榜備受關(guān)注。
近年來，大數(shù)據(jù)、人工智能等新興應(yīng)用引發(fā)了高性能計算的又一次變革。 與上世紀(jì)計算機(jī)的向上平民化不同，HPC向下?lián)肀Ц鼜?fù)雜的業(yè)務(wù)負(fù)載，促使傳統(tǒng)HPC開始向HPDA（High Data）演進(jìn)。
華為執(zhí)行監(jiān)事、ICT產(chǎn)品與解決方案總裁王濤
在2021華為全聯(lián)接大會上，華為常務(wù)監(jiān)事、ICT產(chǎn)品與解決方案總裁王濤介紹了數(shù)字基礎(chǔ)設(shè)施的七大創(chuàng)新和客戶實踐。 其中，業(yè)界首創(chuàng)的HPDA分布式存儲引發(fā)熱議。 什么是高性能？ 數(shù)據(jù)分析HPDA，HPDA需要什么樣的分布式存儲？ 看一看。
HPDA：從數(shù)據(jù)中獲取價值
我們智能手機(jī)的計算能力遠(yuǎn)遠(yuǎn)超過了 NASA 1969 年登月計劃中最先進(jìn)計算機(jī)的計算能力。 但是，與手機(jī)相比，HPC需要解決的業(yè)務(wù)復(fù)雜度也呈指數(shù)級發(fā)展。 一個重大的變化是數(shù)據(jù)原有HPC架構(gòu)的爆燃式衰退導(dǎo)致存儲不堪重負(fù)。
傳統(tǒng)HPC主要通過模擬數(shù)學(xué)模型來估算價值，需求的是無與倫比的計算能力。 借助 HPC 資源，HPDA 也稱為數(shù)據(jù)密集型負(fù)載。 典型特征是數(shù)據(jù)量大、時效性強(qiáng)、算法復(fù)雜。 值，兩者的業(yè)務(wù)邏輯不同，導(dǎo)致存儲需求不同。
例如，在洪水鉆探從2D到3D的演化過程中，數(shù)據(jù)量減少了5-10倍； 在視頻渲染從2K到8K的革命中，數(shù)據(jù)量減少了16倍； 在衛(wèi)星測繪領(lǐng)域，探測精度從20米降低到2米，數(shù)據(jù)量減少70倍。 海量數(shù)據(jù)需要高性能存儲，這是從HPC向HPDA演進(jìn)需要解決的根本問題。
傳統(tǒng)HPC存儲主要用于文件共享和歸檔，而AI業(yè)務(wù)負(fù)載涉及數(shù)據(jù)采集、輸入、清洗、訓(xùn)練、推理、歸檔等一系列復(fù)雜操作。 原有的存儲系統(tǒng)并不是為這些存儲工作流程設(shè)計的，自然很難滿足新存儲的需求。
在關(guān)鍵性能需求方面，傳統(tǒng)HPC負(fù)載一般基于順序大I/O類型，AI業(yè)務(wù)負(fù)載需要順序大和隨機(jī)小I/O類型的混合，AI訓(xùn)練的數(shù)據(jù)訪問需要快速隨機(jī)小I/O O型。
應(yīng)用場景的變化對耐用性和彈性解決方案產(chǎn)生了各種需求。 例如，歸檔需要一個非常具有成本效益的解決方案，而沒有嚴(yán)格的性能要求； 傳統(tǒng)的臨時性應(yīng)用需要將臨時性的結(jié)果轉(zhuǎn)移到持久化存儲中，這就需要高性能來避免故障； HPDA解決方案需要混合存儲需求，同時滿足高性能、瞬態(tài)存儲和持久彈性存儲的不同需求。
據(jù)悉，當(dāng)存儲系統(tǒng)變得復(fù)雜時，多個內(nèi)部合約發(fā)展成為另一個障礙，不同的數(shù)據(jù)使用不同的訪問方式。 每種訪問方式都需要獨特的合約支持，這會消耗業(yè)務(wù)負(fù)載中的通信時間和預(yù)估資源。 .
據(jù)IDC統(tǒng)計，全球67%的高性能計算中心（HPC）已經(jīng)在使用人工智能和大數(shù)據(jù)相關(guān)技術(shù)。 HPC、AI、大數(shù)據(jù)加速融合，如何從海量數(shù)據(jù)中更高效、更經(jīng)濟(jì)地釋放更大的數(shù)據(jù)價值成為迫切訴求，存儲系統(tǒng)的變革至關(guān)重要。
為 HPDA 存儲尋找新的平衡點
HPDA驅(qū)動存儲架構(gòu)的變化，進(jìn)而匹配新業(yè)務(wù)負(fù)載、空間分布預(yù)估、存儲需求的同步。 矛盾集中在不同的I/O模型、支持多合約訪問、各種數(shù)據(jù)訪問頻率、高密度和高效設(shè)計等方面，歸根結(jié)底是在存儲性能、成本和性能之間找到新的平衡點。效率。
存儲新模式2021年發(fā)布 華為全連接
華為發(fā)布9950和9550兩款新品，華為系列高性能分布式存儲是為打破HPC行業(yè)三重壁壘而量身打造的HPDA存儲系統(tǒng)。
第一個障礙是高性能。 HPC面臨不同流程階段的帶寬和OPS業(yè)務(wù)負(fù)載需求。 這種情況在 HPDA 場景中會變得更加正常。 傳統(tǒng)存儲只支持單一負(fù)載模型，造成性能孤島。 的數(shù)據(jù)需要在不同的存儲之間遷移，從而提高整體流程效率。
華為技術(shù)專家夏飛博士介紹，華為系列存儲搭載了新一代分布式文件系統(tǒng)。 一套存儲可以實現(xiàn)大文件高帶寬的兩倍，小文件高IOPS性能的五倍，大大提升了性能水平。 同時，文件系統(tǒng)還可以支持多種業(yè)務(wù)負(fù)載。 既能容納客戶原有的常規(guī)業(yè)務(wù)，又能很好地適應(yīng)企業(yè)對大數(shù)據(jù)、AI等新業(yè)務(wù)的探索，實現(xiàn)混合負(fù)載的全場景加速。
第二個障礙是多合約無損互操作性。 在以人工駕駛為代表的HPDA場景中，文件、大數(shù)據(jù)、對象服務(wù)可能在不同的流程階段使用。 如何在流程中實現(xiàn)高效的數(shù)據(jù)訪問成為用戶面臨的問題。 大挑戰(zhàn)。
華為系列存儲也能滿足多樣化的算力需求。 一個系統(tǒng)支持多個合約，實現(xiàn)數(shù)據(jù)互通，減少中間環(huán)節(jié)。 此外，資源統(tǒng)一管理和維護(hù)，支持敏捷的業(yè)務(wù)響應(yīng)。
第三道關(guān)卡是大容量。 隨著HPDA的快速發(fā)展，海量數(shù)據(jù)的價值被進(jìn)一步挖掘，用戶愿意將數(shù)據(jù)保存更長時間。 這對機(jī)房空間、功耗和存儲成本提出了新的挑戰(zhàn)。
基于這些挑戰(zhàn)，華為推出了全新系列的超高密硬件，支持不同硬件之間數(shù)據(jù)的手動分類，單位空間容量提升20%，全面提升HPC場景的存儲成本。 華為Lacey系列大容量產(chǎn)品，5U空間支持120個3.5寸硬盤。 通過濰坊，可節(jié)省60%以上的機(jī)柜空間，讓海量數(shù)據(jù)不再是負(fù)擔(dān)。
越基礎(chǔ)越核心
中石油東測正在通過HPDA挖掘數(shù)據(jù)價值。
自1840年代以來，人類利用最先進(jìn)的理論和技術(shù)探索石油和天然氣能源，其中高性能估算必不可少。 大量的高性能估計、海量數(shù)據(jù)分析等平臺，不同架構(gòu)、不同規(guī)模的數(shù)據(jù)存儲什么是物理帶寬，部署在不同的系統(tǒng)中。 數(shù)據(jù)需要在平臺之間頻繁傳輸和復(fù)制，導(dǎo)致額外的開銷和不必要的時間消耗。
中國石油東方測井有限公司總裁級中級工程師、原數(shù)據(jù)中心總工程師賴能和在會上提到，以中東某勘探區(qū)為例，3259平方公里的3D洪水鉆探，190萬次爆破，采集數(shù)據(jù)量。 東方測井歷時近12個月，圓滿完成數(shù)據(jù)處理任務(wù)。 據(jù)了解，這也是迄今為止完成的最大的油氣驅(qū)鉆井?dāng)?shù)據(jù)處理項目。
存儲驅(qū)動石油和天然氣鉆探
為了支撐如此龐大的數(shù)據(jù)處理，東方測井選擇大規(guī)模、集中部署華為存儲系統(tǒng)。 其天然適用的 HPDA 設(shè)計可以最大限度地用于鉆井場景。 巨大的存儲容量需求帶來的挑戰(zhàn)，同時也可以保證存儲性能和容量的線性下降，同時簡化IT基礎(chǔ)架構(gòu)的復(fù)雜性，減少IT日常運(yùn)維的工作量。
“華為存儲支持系統(tǒng)間遠(yuǎn)程直連、混合負(fù)載、多合約互通等功能，可以大大減少數(shù)據(jù)的時間和副本數(shù)量；同時滿足高并發(fā)對性能的平衡需求大文件、高帶寬、小文件高IOPS；可實現(xiàn)一套存儲可被高性能估計、人機(jī)交互、數(shù)據(jù)解釋、數(shù)值模擬、人工智能等多種不同技術(shù)應(yīng)用平臺共享，存儲資源利用率提升30%以上；生產(chǎn)效率提升15%以上。 賴能和補(bǔ)充道。
越基礎(chǔ)，越核心，無論是HPDA要解決的問題，還是存儲技術(shù)的突破，都再次證明了這個論斷。
不局限于油氣鉆探，從基因測序到人工駕駛開發(fā)，從天氣預(yù)報到生物制藥等，這個場景要么是新的復(fù)雜業(yè)務(wù)，要么是老技術(shù)解決不了的老問題。 它們有一個共同點——事關(guān)國計民生，解決問題的關(guān)鍵在于底層基礎(chǔ)技術(shù)的突破。
華為存儲支持頂尖的科研項目，同時這些科研項目的成果造福于最廣泛的人群，比如天氣預(yù)報的及時預(yù)警、新藥的快速研發(fā)、人工駕駛汽車的算法升級、和存儲升級。 基礎(chǔ)設(shè)施革命的必然誘因，以及由此帶來的變化，一點點傳遞到普羅大眾的認(rèn)知中。
（本文為鈦媒體App首發(fā)，作者｜張帥）