實現數據網格的關鍵技術

2019-11-03 09:11:03

字體：大中小

來源：轉載

供稿：網友

　　在現代科學研究和應用領域中，大量的數據是重要的資源，例如全球氣候模擬、高能物理、生物計算、戰場仿真、核模擬、數字地球、大規模的信息和決策支持系統等應用，其數據量將達到幾十TeraByte至PetaBy te的級別。地理上廣泛分布的該領域的科研工作者或用戶都希望能夠訪問和分析這些龐大的數據，但其分析方法往往是計算復雜、計算量大，許多數據分析處理要求千億次或萬億次規模的計算能力。而現有的數據管理體系結構、方法和技術已經不能滿足人們對高性能、大容量分布存儲和分布處理能力的要求。因此，在計算網格的基礎上人們提出了數據網格（Data Grid）的構想，以解決上述應用所面臨的問題。

　　元數據管理和信息服務

　　良好地表示、存儲、訪問和使用大量資源信息是數據網格運行的基本前提。在數據網格計算中，資源是分布的，資源及其提供者也是分布的，這些資源包括數據、計算機、設備、網絡、外設、軟件、服務、代碼、人員等。元數據管理服務命名、描述、收集、組織和管理數據網格中的資源信息，這些信息就是用于描述資源、方法、數據集和用戶的元數據。信息服務是元數據管理對外提供的基本服務。它實現新資源實體的注冊和發布，支持資源相關性的發布，可以注冊與已注冊實體間的相互約束和相互聯系信息。

　　因此，在數據網格計算中，需要建立靈活的、可擴展的信息服務體系結構。這種體系結構應當保證資源信息提供者的廣泛分布性和信息服務的分布特性，避免由于單個信息服務實體的失敗導致其他資源信息服務不能正常提供服務。

　　元數據可以分為系統元數據（System Metadata）、復制元數據（Replica Metadata）和應用元數據（application Metadata）。系統元數據記錄數據網格自身的結構信息，諸如網絡互聯情況、存儲系統的容量、計算機空閑情況、使用策略等。復制元數據記錄與數據副本有關的信息，如文件與具體存儲系統之間的映射信息。應用元數據是與具體應用相關的文件邏輯結構或語義信息，如數據的內容和結構、獲取數據的必要條件等。為了實現命名、定位和訪問的透明性，網格需要有效地管理數量繁多的名字和屬性，以及它們之間的關系，需要一種統一的全局命名方式，需要管理數據集的定位信息，需要有效管理數據資源存儲形式等相關信息。同時，也需要管理系統資源的安全、授權、訪問控制等信息。

　　網格中的所有元數據構成元數據目錄，它采用統一的結構來描述元數據。無論使用何種結構，元數據目錄應當滿足兩點：其一，它應該是一種層次和分布式目錄結構系統，如LDAP；其二，它應當不破壞現有系統的元數據描述方法，并能與它們很好地交互、融合。

　　數據訪問

　　數據網格中的數據資源各種各樣，表示、存儲的形式也各不同。一些數據可能以文件形式存儲;一些數據存儲在數據庫或數據倉庫中;另一些存儲在如同HPSS的Archive檔案系統中;還有一些數據是由多個分布存儲系統中的數據組成的。如何才能方便有效地訪問各種異構數據組成的數據集合是數據網格的一個主要功能和關鍵技術。

　　如果為每一種數據存儲方式提供一種訪問方法，用戶是不可能接受的。因此，數據網格必須抽象各種數據存儲系統，形成一個抽象模型，為不同的數據存儲系統提供統一的數據訪問接口。數據訪問服務的作用就是將存儲、檢索數據集等高層用戶的請求映射為異構分布式存儲環境中的底層存儲訪問操作，實現廣域范圍內對數據有效的統一訪問和管理。

　　復制管理

　　數據網格的數據經常需要復制，復制本質上是對數據的緩存。雖然網絡速度提高很快，但要達到高性能地頻繁訪問和處理大量遠程數據仍然很困難。復制技術為用戶應用提供一個能夠快速訪問和處理遠程數據的局部緩沖數據拷貝，避免大量數據遠程傳輸到應用端。復制管理應具有以下一些功能：

　　● 創建一個完整的或部分的數據集拷貝；

　　● 提供選擇數據復制策略、復制方式和復制地點的能力；

　　● 在復制目錄中注冊新的數據拷貝；

　　● 允許用戶和應用查詢復制目錄，以便找到某個文件或數據集已存在的數據拷貝；

　　● 根據用戶和應用的執行要求，以及存儲、網絡的性能預測，有方法和能力選擇“最好”的數據副本進行訪問和處理；

　　 ● 數據復制之間的數據一致性和更新一直是分布式數據管理的難點，它與應用數據訪問、產生、操作特性緊密相關。

　　在這里，復制目錄的結構必須靈活和可擴展，以免影響性能的發揮。復制管理的幾個功能模塊應當采用分離設計方法，并可替換。

　　高速數據傳輸機制

　　數據網格計算涉及大量數據的移動、傳輸和復制，這就需要一種高效的數據傳輸機制的支持，這種傳輸機制要保證在廣域網絡的環境上可靠地傳輸數據。高速數據傳輸機制應支持以下幾種功能：

　　● 高速數據傳輸要支持廣泛接受的協議和廣域網絡上的數據傳輸，可以采用并行數據傳輸機制等；

　　 ● 分塊數據傳輸數據網格支持各種數據存儲形式，一些數據集的數據本身是廣泛分布的，因此，需要支持多個分數據塊的并發數據傳輸，匯總后形成一個完整的數據集；

　　● 部分數據的傳輸用戶和應用經常需要數據集中的一部分數據，而不是整個數據集，例如一個文件中的一段數據，因此支持這種數據的傳輸方式是必要的；

　　● 第三方數據傳輸許多應用需要用到多個資源，必須提供一種機制，允許一個地點的用戶和應用能夠啟動、監視和控制其他兩個地點存儲系統的數據傳輸，為應用使用多個地點的資源提供保障；

　　● 可靠、可重啟、斷點續傳在廣域網絡環境下，數據傳輸故障和服務器故障經常發生，導致傳輸中斷。因此，數據傳輸的錯誤恢復機制至關重要。

　　資源調度優化與遠程執行

　　在網格計算中，資源的調度優化和服務執行是一個關鍵技術問題，它主要包括請求的調度優化、資源的調度優化和資源的服務執行。請求的調度優化要對用戶資源請求與可用資源進行匹配，當眾多用戶和應用請求同時到達，就必須統籌優化安排多個請求的資源需求。

　　遠程執行服務機制保證多個地點的系統能夠遠程啟動執行，能夠監控、收集和查詢狀態信息，控制地理上分布的多個系統的任務執行過程。

　　安全技術

　　在廣域網絡上部署計算，安全保證是至關重要的。網格安全機制將提供基本的安全保護驗證機制，以驗證合法的用戶和資源，并為其他安全服務提供接口，允許用戶選擇不同的安全策略、安全級別和加密方法，提供底層基礎的安全設施，這是網格計算的要求和特點。

　　在數據網格中，由于數據的復制和緩沖導致了數據網格特有的安全性問題:一個站點緩沖了位于另一個地點系統中的數據，兩個系統之間的安全保護機制、措施和安全級別不同，如何達到數據擁有者所要求的數據保護安全級別和策略是一個非常困難的問題。

　　 21世紀前期的信息基礎設施將以Terascale規模（萬億：Terabits的通信能力、Teraflops以上的計算處理能力、Terabytes甚至Petabytess規模的數據和萬億個傳感器或設備）為目標，科學計算領域下一個十年將是“數據十年”，數據網格計算技術的研究既迫切又重大。IT行業是按照Internet的速度向前發展，因此，在下一個以高速Internet 為基礎的網格計算應用浪潮到來之前，我們必須現在開始把握和實踐網格計算技術和應用。

摘自《計算機世界》

上一篇：寬帶的新定義

下一篇：SHDSL技術優勢分析