▎與上個世紀計算機的向上平民化不同，這次HPC擁抱的是更復雜的業務負載。
泰坦傳媒編輯丨張帥
世界上第一臺電腦叫什么名字？ 很多人不假思索就能回答——“ENIAC”。
那么，“Eniac”最初是用來做什么的呢？ 很少有人知道，1946年，“Eniac”誕生什么是物理帶寬，解決的是彈道估算問題。 賓夕法尼亞學院斥巨資40萬日元研發“Eniac”。 那時候，電腦是一種戰略物資。
很長一段時間后，個人PC的普及使得電腦逐漸進入大眾視野。 IBM和蘋果都是第一代家用筆記本廠商，電腦作為戰略物資的屬性被換了一個名字保留下來。 它是 HPC（高、高性能計算）。
HPC已成為計算機科學的一個分支，利用超級計算機和并行處理技術解決復雜的估計問題，主要針對大規模科學問題的估計和海量數據的處理，如科學研究、天氣預報、計算模擬、 CFD/CAE、生物制藥行業、基因測序、圖像處理等年度全球HPC 高性能計算機排行榜備受關注。
近年來，大數據、人工智能等新興應用引發了高性能計算的又一次變革。 與上世紀計算機的向上平民化不同，HPC向下擁抱更復雜的業務負載，促使傳統HPC開始向HPDA（High Data）演進。
華為執行監事、ICT產品與解決方案總裁王濤
在2021華為全聯接大會上，華為常務監事、ICT產品與解決方案總裁王濤介紹了數字基礎設施的七大創新和客戶實踐。 其中，業界首創的HPDA分布式存儲引發熱議。 什么是高性能？ 數據分析HPDA，HPDA需要什么樣的分布式存儲？ 看一看。
HPDA：從數據中獲取價值
我們智能手機的計算能力遠遠超過了 NASA 1969 年登月計劃中最先進計算機的計算能力。 但是，與手機相比，HPC需要解決的業務復雜度也呈指數級發展。 一個重大的變化是數據原有HPC架構的爆燃式衰退導致存儲不堪重負。
傳統HPC主要通過模擬數學模型來估算價值，需求的是無與倫比的計算能力。 借助 HPC 資源，HPDA 也稱為數據密集型負載。 典型特征是數據量大、時效性強、算法復雜。 值，兩者的業務邏輯不同，導致存儲需求不同。
例如，在洪水鉆探從2D到3D的演化過程中，數據量減少了5-10倍； 在視頻渲染從2K到8K的革命中，數據量減少了16倍； 在衛星測繪領域，探測精度從20米降低到2米，數據量減少70倍。 海量數據需要高性能存儲，這是從HPC向HPDA演進需要解決的根本問題。
傳統HPC存儲主要用于文件共享和歸檔，而AI業務負載涉及數據采集、輸入、清洗、訓練、推理、歸檔等一系列復雜操作。 原有的存儲系統并不是為這些存儲工作流程設計的，自然很難滿足新存儲的需求。
在關鍵性能需求方面，傳統HPC負載一般基于順序大I/O類型，AI業務負載需要順序大和隨機小I/O類型的混合，AI訓練的數據訪問需要快速隨機小I/O O型。
應用場景的變化對耐用性和彈性解決方案產生了各種需求。 例如，歸檔需要一個非常具有成本效益的解決方案，而沒有嚴格的性能要求； 傳統的臨時性應用需要將臨時性的結果轉移到持久化存儲中，這就需要高性能來避免故障； HPDA解決方案需要混合存儲需求，同時滿足高性能、瞬態存儲和持久彈性存儲的不同需求。
據悉，當存儲系統變得復雜時，多個內部合約發展成為另一個障礙，不同的數據使用不同的訪問方式。 每種訪問方式都需要獨特的合約支持，這會消耗業務負載中的通信時間和預估資源。 .
據IDC統計，全球67%的高性能計算中心（HPC）已經在使用人工智能和大數據相關技術。 HPC、AI、大數據加速融合，如何從海量數據中更高效、更經濟地釋放更大的數據價值成為迫切訴求，存儲系統的變革至關重要。
為 HPDA 存儲尋找新的平衡點
HPDA驅動存儲架構的變化，進而匹配新業務負載、空間分布預估、存儲需求的同步。 矛盾集中在不同的I/O模型、支持多合約訪問、各種數據訪問頻率、高密度和高效設計等方面，歸根結底是在存儲性能、成本和性能之間找到新的平衡點。效率。
存儲新模式2021年發布 華為全連接
華為發布9950和9550兩款新品，華為系列高性能分布式存儲是為打破HPC行業三重壁壘而量身打造的HPDA存儲系統。
第一個障礙是高性能。 HPC面臨不同流程階段的帶寬和OPS業務負載需求。 這種情況在 HPDA 場景中會變得更加正常。 傳統存儲只支持單一負載模型，造成性能孤島。 的數據需要在不同的存儲之間遷移，從而提高整體流程效率。
華為技術專家夏飛博士介紹，華為系列存儲搭載了新一代分布式文件系統。 一套存儲可以實現大文件高帶寬的兩倍，小文件高IOPS性能的五倍，大大提升了性能水平。 同時，文件系統還可以支持多種業務負載。 既能容納客戶原有的常規業務，又能很好地適應企業對大數據、AI等新業務的探索，實現混合負載的全場景加速。
第二個障礙是多合約無損互操作性。 在以人工駕駛為代表的HPDA場景中，文件、大數據、對象服務可能在不同的流程階段使用。 如何在流程中實現高效的數據訪問成為用戶面臨的問題。 大挑戰。
華為系列存儲也能滿足多樣化的算力需求。 一個系統支持多個合約，實現數據互通，減少中間環節。 此外，資源統一管理和維護，支持敏捷的業務響應。
第三道關卡是大容量。 隨著HPDA的快速發展，海量數據的價值被進一步挖掘，用戶愿意將數據保存更長時間。 這對機房空間、功耗和存儲成本提出了新的挑戰。
基于這些挑戰，華為推出了全新系列的超高密硬件，支持不同硬件之間數據的手動分類，單位空間容量提升20%，全面提升HPC場景的存儲成本。 華為Lacey系列大容量產品，5U空間支持120個3.5寸硬盤。 通過濰坊，可節省60%以上的機柜空間，讓海量數據不再是負擔。
越基礎越核心
中石油東測正在通過HPDA挖掘數據價值。
自1840年代以來，人類利用最先進的理論和技術探索石油和天然氣能源，其中高性能估算必不可少。 大量的高性能估計、海量數據分析等平臺，不同架構、不同規模的數據存儲什么是物理帶寬，部署在不同的系統中。 數據需要在平臺之間頻繁傳輸和復制，導致額外的開銷和不必要的時間消耗。
中國石油東方測井有限公司總裁級中級工程師、原數據中心總工程師賴能和在會上提到，以中東某勘探區為例，3259平方公里的3D洪水鉆探，190萬次爆破，采集數據量。 東方測井歷時近12個月，圓滿完成數據處理任務。 據了解，這也是迄今為止完成的最大的油氣驅鉆井數據處理項目。
存儲驅動石油和天然氣鉆探
為了支撐如此龐大的數據處理，東方測井選擇大規模、集中部署華為存儲系統。 其天然適用的 HPDA 設計可以最大限度地用于鉆井場景。 巨大的存儲容量需求帶來的挑戰，同時也可以保證存儲性能和容量的線性下降，同時簡化IT基礎架構的復雜性，減少IT日常運維的工作量。
“華為存儲支持系統間遠程直連、混合負載、多合約互通等功能，可以大大減少數據的時間和副本數量；同時滿足高并發對性能的平衡需求大文件、高帶寬、小文件高IOPS；可實現一套存儲可被高性能估計、人機交互、數據解釋、數值模擬、人工智能等多種不同技術應用平臺共享，存儲資源利用率提升30%以上；生產效率提升15%以上。 賴能和補充道。
越基礎，越核心，無論是HPDA要解決的問題，還是存儲技術的突破，都再次證明了這個論斷。
不局限于油氣鉆探，從基因測序到人工駕駛開發，從天氣預報到生物制藥等，這個場景要么是新的復雜業務，要么是老技術解決不了的老問題。 它們有一個共同點——事關國計民生，解決問題的關鍵在于底層基礎技術的突破。
華為存儲支持頂尖的科研項目，同時這些科研項目的成果造福于最廣泛的人群，比如天氣預報的及時預警、新藥的快速研發、人工駕駛汽車的算法升級、和存儲升級。 基礎設施革命的必然誘因，以及由此帶來的變化，一點點傳遞到普羅大眾的認知中。
（本文為鈦媒體App首發，作者｜張帥）