分层存储指南:层类型和解决方案

組織今天必須合理使用存儲空間,因為大量數據可能增加存儲成本並導致數據激增。數據存儲媒體在成本、寫入/讀取速度等方面存在差異,不同類型的數據應存儲在最有效的媒體上,以節省成本和資源。

例如,在高速SSD(固態硬盤)設備上存儲備份是不必要的昂貴,因為SSD的高速度對於這種次要數據並不需要。相反,將生產虛擬機器(VM)存儲在轉速較低的硬盤驅動器(HDD)上可能價格合理,但不會滿足主要系統的性能要求。

因此,應該對存儲類型進行分類,通過使用存儲分層來使用每種存儲類型來存儲適當的數據。

什麼是存儲分層?

存儲分層是一種數據存儲管理策略,通過根據數據的特徵和訪問模式將數據分類到不同層次中,以優化存儲系統的性能和成本效益。存儲分層的主要目標是確保最常訪問和關鍵的數據存儲在高性能存儲介質上,而較不常訪問的數據或較不關鍵的數據存儲在較低成本的存儲介質上。

這種方法使組織能夠將其數據存儲在各種類型的存儲介質上,例如快速且昂貴的固態硬盤(SSD)或轉速較慢但成本更有效的硬盤驅動器(HDD),具體取決於數據的價值和使用模式。

儲存層級分類始於根據訪問頻率、重要性和性能需求等標準將數據分類到不同的類別或層級。如果工作流程需要,此分類隨時間可能會改變。儲存層級的數量和類型可能會不同,取決於儲存基礎設施。

A tiered storage architecture helps organizations reduce storage costs by allocating high-cost storage resources only to the data that requires it. This ensures that expensive resources are not wasted on data that doesn’t benefit from them. By placing hot (frequently accessed) data on high-performance storage media and cold (less frequently accessed) data on lower-performance media, storage tiering optimizes overall system performance.

層級儲存的數據類別

層級儲存架構中的數據類別指的是基於特定屬性或特徵對數據進行分類或分類。這些類別建立了數據層次結構,幫助確定數據應存儲在層級儲存系統的哪個位置。此方法確保將數據放置在最適合的儲存層級上,以平衡性能、成本和可訪問性。數據類別的具體內容可能會根據組織的需求和儲存基礎設施而變化。用於數據分類的常見屬性包括:

  • 訪問頻率數據分類的主要標準之一是用戶和應用程序訪問頻繁程度。經常和積極使用的數據(熱數據)應存儲在高性能的儲存層級,例如SSD或NVMe驅動器,以確保快速訪問時間。相比之下,不常訪問的數據(冷數據)可以放置在像HDD或雲存儲這樣的低成本儲存層級上。
  • 重要性或關鍵性。一些數據對組織的運營或合規要求比其他數據更為關鍵。關鍵數據可能需要存儲在更可靠和強大的存儲層上,例如RAID(獨立磁盤冗餘陣列)或具有冗餘性的雲存儲,以減小數據丟失的風險。
  • 數據類型。不同類型的數據,如數據庫文件、多媒體內容、應用程序日誌或存檔文件,可能具有不同的存儲要求。例如,多媒體文件可能需要高吞吐量和容量,而日誌可以存儲在速度較慢的存儲器上,只要它們為合規目的保留即可。
  • 保留期限。具有特定保留或合規要求的數據可能需要存儲在可以保證數據完整性和可用性的層上,以滿足所需的持續時間。合規數據通常需要長期保留,因此可能存儲在更可靠的存儲層上。
  • 尺寸。大型數據對象可能受益於存儲在針對容量優化的存儲層上,而小型、頻繁訪問的數據可能需要具有低延遲和高I/O性能的存儲。
  • 數據生命周期。數據在其生命周期中經歷各種階段,從創建和活動使用到存檔或刪除。數據類別應考慮這些階段,根據需要在不同層之間移動數據。例如,新創建的數據可能始於高性能層,但隨著活動減少逐漸移至更低成本的層。
  • 成本敏感性。組織通常有預算限制。數據類別可以通過確保更昂貴的存儲資源用於合理化成本的數據,從而使數據存儲成本與預算考慮相一致。
  • 用戶或應用需求。不同的用戶或應用可能有特定的存儲需求。數據類別可以考慮這些需求,以確保每個群體都獲得所需的存儲性能和容量。

一旦數據分類為這些類別,就會使用政策和算法來管理層級化存儲基礎設施中的數據放置和移動。這確保了數據在滿足組織需求和訪問模式的同時,持續優化性能和成本效率。

熱、溫和冷存儲的分類

層級化存儲系統中常見的數據分類類型是將數據分類為關鍵任務、熱、溫和冷。這些類別有助於確定數據在存儲基礎設施中的存儲、管理和訪問方式。在這種情況下,層級化存儲策略中使用的數據類別包括:

  • 關鍵任務數據。這個數據類別涉及到對組織核心運營非常重要的數據。關鍵任務數據需要最高水平的性能、可靠性和可用性。通常存儲在最強大和高性能的存儲媒體上,例如冗餘的固態硬盤陣列或容錯存儲系統。
  • 熱門數據。熱門數據是指被積極且頻繁訪問的數據。這些數據通常對組織至關重要,需要快速響應時間和高性能存儲。熱門數據通常存儲在最高級別的存儲介質上,例如固態硬盤(SSD)或NVMe硬盤,以確保低延遲和快速訪問。
  • 溫暖數據。溫暖數據表示比熱門數據訪問頻率低,但仍然被積極使用的數據。這個數據類通常位於性能上一個級別的熱門數據下,例如高性能硬盤驅動器(HDD)或混合存儲解決方案。儘管溫暖數據可能不需要最快的存儲,但仍需要能夠有效訪問。
  • 冷門數據。冷門數據包括很少被訪問、歷史數據或存檔數據。這些數據通常被認為不太關鍵,並存儲在更低成本的存儲層上,這可能是傳統的、速度較慢的HDD,或者是像磁帶或基於雲的冷存儲等存檔存儲選項。冷門數據的重點是長期保留和節省成本。

數據類的數量取決於存儲分類模型中存儲層的數量。組織可以通過使用以下數據類來更複雜地對數據進行分類,除了上面解釋的類別。

  • 備份和災害恢復數據。用於備份和災害恢復目的的數據通常被分類為不同類別。這些數據類別旨在確保在數據丟失或系統故障的情況下可以可靠快速地恢復數據。備份數據可能存儲在基於磁盤的系統上,而長期保留副本則可以存儲在磁帶或雲中。
  • 合規數據。需要符合監管合規要求的數據,例如財務記錄或醫療數據,可能有特定的存儲需求。合規數據類別確保這些數據安全存儲,具有加密和嚴格的訪問控制等功能,並按照要求的期限保留。
  • 用戶或部門數據。一些組織根據數據的來源對其進行分類,例如由特定部門或用戶生成的數據。這種方法有助於根據不同組織單位的需求分配存儲資源。
  • 臨時或緩存數據。臨時或緩存數據的數據類別可能包括存儲在高速存儲層上的短暫且可快速訪問的數據,並且可以在不再需要時丟棄或替換。分層遷移數據。在某些情況下,數據類別用於識別根據訪問模式在存儲層之間積極移動的數據。例如,起初為熱門但隨著時間推移變得不太頻繁訪問的數據可能會遷移到更溫暖或更冷的存儲層。
  • 層級遷移數據。在某些情況下,數據類別用於識別根據訪問模式在存儲層級之間主動移動的數據。例如,起初是熱數據但隨著時間變得較少被訪問的數據可能會遷移到較溫暖或較冷的存儲層級。

這些數據類別可以作為存儲管理員和自動化存儲管理系統的指導原則,以做出有關在分層存儲基礎設施中放置數據的明智決策。

多層級存儲類型

多層級存儲指的是一種存儲架構,其中數據根據其性能和可訪問性要求被分類到不同的層級。每個層級代表特定的存儲性能和成本水平。目標是確保數據存儲在最合適的層級上,以優化性能和成本效率。以下是從Tier 0開始的常見存儲層級:

  • Tier 0 代表多層級存儲系統中性能最高的存儲層級。它通常由最快和最昂貴的存儲媒體組成,例如企業級固態硬盤(SSDs)或NVMe(非易失性記憶體快速)SSDs。存儲在Tier 0的數據通常是關鍵任務,需要極低的延遲、高I/O性能和快速數據訪問。它用於需要最高性能水平的應用程序和數據。
  • 第一層 在性能和成本方面是下一個級別。它通常包括高性能硬碟(HDD)、混合儲存陣列(結合SSD和HDD)或更快的SSD,這些成本不如第0層的那些高。第一層的數據很重要,但可能不需要絕對最快的儲存。這一層適合需要良好性能但可以容忍比第0層數據稍高延遲的應用程序和數據。
  • 第二層 代表比第一層成本更低、性能稍慢的儲存層。它通常包括傳統的HDD或基於雲的儲存解決方案。第二層的數據通常訪問頻率較低或對實時操作不太關鍵。這一層適合存檔數據、備份以及可以容忍較長訪問時間的數據。
  • 第三層 是多層儲存系統中成本最低的儲存層。它通常包括歸檔儲存解決方案,如磁帶庫和基於雲的冷儲存。第三層的數據很少被訪問,主要保留用於合規性、法規或長期歸檔目的。它提供最低的性能,但最經濟的儲存。

一些主要使用本地儲存的組織為公共雲中的儲存和備份儲存專門設置了額外的特殊層級:

  • 雲端層。在某些多層存儲架構中,使用一個獨立的雲端層來將數據存儲在雲端存儲服務中,例如Amazon S3Azure Blob Storage。這使得組織能夠利用可擴展且成本效益高的雲端存儲來存儲可能無法整齊地放入本地層的數據。雲端層中的數據可以在需要時通過互聯網訪問。
  • 備份層。雖然備份存儲不總是被視為主要存儲層,但它是存儲層次結構中的一個關鍵部分。備份數據存儲在基於磁盤的系統或磁帶庫中,具體取決於組織的備份策略。重點是數據保護和在數據丟失或災難情況下的快速恢復。

組織通常使用多少層?

組織在其存儲架構中使用的層數可能會根據其特定需求、預算限制和數據管理要求的複雜性而有很大差異。然而,在實踐中,許多組織通常從三層存儲層次結構(第0層、第1層、第2層)開始。

許多組織以這三層為基礎,然後根據其特定需求定制其存儲基礎設施。隨著數據需求的演變,他們可能會添加額外的層或採用專門的存儲類別。例如:

  • 某些組織可能會添加第四層第五層作為長期、深層歸檔儲存,這可能涉及磁帶庫或非常低成本的雲端儲存等技術。
  • 其他組織可能會實施雲端層,用於異地備份和災難恢復目的,使用雲端儲存服務如Amazon S3或Azure Blob Storage。
  • 混合雲策略也可能引入更多層級,包括需要無縫地在本地和雲端儲存之間移動的數據的雲端層。

關鍵是設計一個與組織的數據存取模式、性能需求和預算考慮相符合的儲存架構。實施有效的數據管理和分層政策也很重要,以確保數據根據其隨時間變化的需求存儲在適當的層級上。隨著數據儲存技術的不斷發展,組織可能會調整其分層儲存策略,以利用新的創新和成本效益解決方案。

這些常見的儲存層級可以總結在一個表格中,並附有簡短的解釋和典型的使用案例:

層級編號 層級名稱 解釋 典型使用案例
第0層 超快SSD 最高性能存儲,低延遲 關鍵數據庫,實時應用
第1層 高性能SSD 速度與成本的良好平衡 通用應用數據,虛擬機
第2層 混合存儲 SSD和HDD混合,成本效益高 備份存儲,次要數據,文件共享
第3層 近線HDD 備份存儲,次要數據,文件共享 歸檔數據,長期存儲
第4層 冷存儲 低成本,超高容量,訪問速度慢 不常訪問的歸檔數據
雲層級 雲存儲 可擴展的基於雲的存儲 異地備份,災難恢復,數據共享

請注意,存儲層級的名稱和特性在不同的組織和存儲供應商之間可能會有所不同。上表提供了常見存儲層級及其典型使用案例的一般概述,但具體實現可能會根據組織的需求和可用技術而有所不同。

存儲層級的使用地點

存儲分層是一種存儲管理策略,既可以在組織自己的數據中心或私有雲環境內部使用,也可以在公共雲中使用。它是一種靈活的方法,可以應用於各種存儲架構,以優化數據放置和訪問模式。

本地儲存層級

儲存層級在以下專注於本地(本地)基礎設施的環境中使用:

  • 傳統數據中心。在傳統的本地數據中心中,儲存層級通常用於管理存儲在不同類型存儲媒體上的數據,例如SSD、HDD和磁帶庫。組織實施儲存層級以優化性能、成本和數據可用性在其自己的基礎設施內。
  • 私有雲。許多私有雲環境包含儲存層級,以有效地管理跨不同類型存儲資源的數據。這在私有雲設置中尤其重要,其中需要動態分配資源以支持各種工作負載。
  • 混合雲。在混合雲環境中,它結合了本地基礎設施和公共雲資源,儲存層級可用於優化跨兩種環境的數據放置。組織可能使用層級策略來確定哪些數據應該存儲在本地,哪些應該移動到公共雲以實現成本效率或可擴展性。

公共雲中的儲存層級

至於公共雲,儲存層級在以下環境中使用:

  • 公有雲儲存服務。公有雲供應商如亞馬遜網路服務(AWS)、微軟Azure和Google雲端平台(GCP)提供自己的雲端儲存分層選項作為其雲端儲存服務的一部分。例如,AWS提供S3儲存類別(標準、智能分層、冰川等),每個都針對不同的性能和成本要求量身定制。
  • 物件儲存物件儲存服務在公有雲中經常支援儲存分層,允許客戶選擇最適合其數據的儲存類別。這對於優化成本和存取時間是有益的。

自動化儲存分層

自動化儲存分層和儲存分層優化是現代數據儲存管理中使用的技術,以確保數據被有效地放置在最合適的儲存層並在適當的時間。

自動化儲存分層是一種數據管理技術,涉及根據特定政策和標準在不同儲存層之間自動和動態地移動數據。這些政策通常由儲存管理員定義或由智能儲存管理軟件設置。自動化儲存分層的主要目標是通過確保數據在任何給定時間都存儲在最合適的層上來優化儲存資源的使用。

自動化儲存層級調整使您能夠動態優化儲存層級,持續監控資料使用和存取以確定資料優先級和所需的層級水平。使用自動化儲存時,您設定您偏好的閾值,自動化將處理其餘部分。

當資料使用達到預定義的閾值時,它會相應地重新定位。如果資料存取頻率增加,它會移動到較低延遲的層級。當資料不被使用時,它會被移動到較低成本、較高延遲的層級。這種方法以最小的努力和不需要持續維護來優化您的成本和性能。

自動化儲存層級調整通過政策驅動的資料在儲存層級之間的傳輸,從而與用戶的性能和容量需求相對齊。這一功能有效地與您現有的分層儲存架構配合工作,並通過自動化簡化資料管理。自動化儲存層級調整由於實時調整和快速資料移動而提高了性能優化和成本效益。

儲存層優化是一個更廣泛的概念,包括各種策略,包括自動化儲存層級調整,以確保組織的儲存基礎設施得到有效管理和利用。雖然自動化儲存層級調整是儲存層優化的關鍵組成部分,但其他技術和最佳實踐也可能涉及其中。

層級與緩存

分層和快取是兩種不同的數據存儲和管理技術,它們有不同的用途。分層快取這兩個術語經常被錯誤地互換使用,但它們指的是兩種不同的存儲加速技術。兩者都涉及將經常訪問或熱門數據放置在高速度媒體上,如閃存。然而,相似之處基本上到此為止。

快取是將數據臨時存儲在高性能媒介上,如DRAM或固態內存,以提高性能。快取位於應用程序和後端存儲之間。相同的數據也存儲在較低存儲層,通常是HDD。數據被複製到快取中,但原始數據仍保留在其初始位置。快取實質上是一種單向交易,快取在使用後會使數據無效。

存儲分層則是將數據物理移動到存儲設備之間。當數據被識別為熱門時,這些數據會被重新定位到高速層,使標準層不再包含副本。當數據冷卻下來時,它會被移回標準層。存儲分層涉及移動數據而不是僅僅複製它,無論是從較慢的存儲到較快的存儲,還是反過來。

存儲分層和快取都提高了數據的可訪問性,但它們在如何利用存儲來處理經常訪問的數據方面有所不同。快取創建副本,而存儲分層識別數據並將其移動,而不創建額外的副本。

因此,分層著重於優化長期數據在不同存儲層級之間的擺放,以實現性能與成本之間的平衡,而快取則旨在通過將經常訪問的數據暫時存儲在高速緩衝區中來加速數據訪問。選擇分層和快取取決於應用程序或存儲系統的具體需求以及數據訪問模式的性質。在某些情況下,組織可能會同時使用這兩種技術以實現最佳的整體性能和成本效益。

分層存儲和分級存儲管理

分層存儲和分級存儲管理都是數據存儲管理中使用的策略,但它們在粒度、數據移動機制和主要目標方面有所不同。分層存儲專注於根據特徵將數據分類到不同的存儲介質層級,而分級存儲管理則專注於透明地將個別文件或對象在主要和次要存儲之間遷移,以提高主要存儲效率和成本節省。

存儲分層的好處

存儲分層為尋求優化其數據存儲基礎設施的組織提供了幾個重要的好處。實施存儲分層的關鍵優勢包括:

  • 提升性能。通過將經常訪問或關鍵數據放置在高性能存儲層級,如固態硬盤或NVMe存儲,存儲分層可以顯著提高系統性能。這導致延遲減少和更快的數據訪問時間,從而提高應用程序和用戶的生產力和滿意度。
  • 有效資源利用。存儲分層確保每個存儲層都能有效使用,避免高性能存儲介質的過度配置和低成本存儲的利用不足。它最大化存儲基礎設施的投資回報率(ROI)。
  • 成本優化。存儲分層幫助組織僅將昂貴的存儲資源分配給需要高性能的數據,而較不關鍵或不經常訪問的數據可以存儲在成本較低的層級,如硬盤驅動器或雲存儲。這種成本優化導致在硬件和運營費用方面可能的成本節省。
  • 平衡的工作負載。存儲分層可以幫助跨不同層級分配數據和工作負載,減少資源爭用。這在具有混合工作負載的環境中尤其有價值,其中一些應用程序需要高性能,而其他應用程序的存儲要求較低。
  • 適應性數據管理。數據訪問模式可能會隨時間變化。存儲分層解決方案不斷分析這些模式,並根據需要自動在層級之間移動數據。這種適應性確保數據即使在訪問要求演變時仍保留在最合適的存儲層上。
  • 可擴展性。隨著數據存儲需求的增長,存儲分層允許組織有效擴展其存儲基礎設施。可以根據需要添加新的存儲層或擴展現有層,以容納不斷增長的数据量和性能需求。
  • 簡化資料管理。儲存層級解決方案通常包括自動化政策和管理工具,這些工具簡化了資料管理任務。這減少了與手動資料放置和遷移相關的管理開銷。
  • 合規性和保留。具有法規或合規性要求的組織通過儲存層級獲益,確保資料按照法律規定進行儲存和保留。合規性資料可以在具有必要安全和保留政策的特定儲存層級上進行管理。
  • 資料保護和災難恢復。通過根據重要性對資料進行分類,儲存層級幫助組織優先考慮資料保護工作。關鍵資料可以儲存在具有彈性和冗餘的層級上,確保在故障或災難發生時的資料可用性和可恢復性。
  • 優化備份和恢復。通過根據資料的重要性和存取模式對其進行分隔,儲存層級可以幫助優先考慮資料的備份和恢復操作。關鍵資料可以更頻繁地進行備份,而較不關鍵的資料可能會受到更長的備份間隔。

儘管儲存層級的主要目的是優化數據放置和儲存成本,但它們提供的優勢也能增強組織從災難中恢復的能力。冗餘和成本效益高的數據保留使成功恢復數據的機會更高。它幫助組織維持業務連續性,並在最小化數據損失和停機時間的情況下從災難中恢復,最終提高其整體災難恢復準備度。

儲存層級最佳實踐

儲存層級是一種優化數據儲存的寶貴技術,但遵循最佳實踐以確保其有效性和效率非常重要。以下是儲存層級最佳實踐:

  • 了解您的數據。對您的數據進行徹底分析,以了解其特徵、存取模式和重要性。並非所有數據都需要分層,因此您應該識別哪些數據集將從分層儲存中受益最多。
  • 選擇合適的儲存媒體。根據您組織的性能和預算要求,為每個層級選擇儲存媒體。固態硬盤、硬碟、雲端儲存和磁帶庫是常見的選項。
  • 定期監控和調整。持續監控您的儲存環境,以追蹤數據存取模式和層級利用率。根據需要調整層級策略以反映變化的需求。定期審查和微調您的策略對於最佳性能至關重要。
  • 使用數據分類和標記。使用元數據和數據標記對數據進行分類。這些元數據可以被您的層級系統用來做出更明智的數據放置決策。
  • 優先考慮關鍵數據。確保任務關鍵和頻繁訪問的數據被放置在高性能層級。這可能需要對不同類型的數據制定不同的政策或優先級。
  • 在關鍵層級中包含冗餘。如果您在高性能層級上存儲任務關鍵數據,請考慮使用RAID(獨立磁盤冗餘陣列)等冗餘機制來防止因硬件故障導致數據丟失。
  • 實施自動化層級政策。為數據在層級之間移動定義清晰的自動化政策。這些政策應考慮訪問頻率、數據年齡和性能需求等因素。自動化數據放置和遷移有助於確保數據始終位於正確的層級。
  • 提供安全和訪問控制。為所有層級的數據實施適當的安全措施和訪問控制。確保敏感數據得到保護,並且只有授權用戶才能訪問。
  • 備份和災難恢復。規劃數據保護和災難恢復。確保備份和恢復策略與您的存儲層級方法相一致。關鍵數據應該更頻繁地進行備份並安全地保留。
  • 可擴展性。設計您的存儲層級策略以實現可擴展性。隨著您的數據存儲需求增長,準備好添加更多層級或擴展現有層級。
  • 考慮混合雲解決方案。根據您的組織需求,考慮將雲存儲作為您的存儲層之一進行整合。混合雲解決方案可以提供可擴展性和靈活性。
  • 定期評估技術。隨時了解存儲技術的進展。隨著技術的發展,新的存儲媒體和解決方案可能會變得更具成本效益並適合您的存儲層。

NAKIVO Backup & Replication 和備份存儲分層

NAKIVO Backup & Replication 是一種現代數據保護和災難恢復解決方案,可以與不同的存儲層配合使用,允許您根據其特定需求和可用存儲基礎設施優化您的備份和恢復策略。NAKIVO 解決方案支持各種存儲類型,包括本地存儲、雲存儲和重複數據刪除設備。

您可以配置 NAKIVO Backup & Replication 以使用不同的存儲層進行備份。例如,關鍵備份可以存儲在高性能存儲(第1層)上以便快速恢復,而較不關鍵的備份可以移動到成本較低的存儲(第2層或雲)以進行長期保留。

該產品提供備份副本複製等功能,這些功能可以在不同的存儲層上創建備份的額外副本。這通過在多個位置或存儲層放置備份來增強數據冗餘和災難恢復準備。

您可以在 NAKIVO Backup & Replication 中定義保留政策,根據您的分層策略自動管理備份數據。例如,備份可以在第1層保留較短的時間,然後轉移到第2層進行長期保留。

NAKIVO解決方案支持流行的雲存儲提供商。這意味著您可以輕鬆地將雲存儲作為遠程備份的存儲層,減少對額外本地基礎設施的需求。

結論

多層存儲架構允許組織根據其數據的特定需求分配存儲資源。通過將數據放置在最合適的層,組織可以優化性能和成本,確保關鍵數據獲得必要的性能,而較不關鍵或不經常訪問的數據則以成本效益的方式存儲。自動化數據分層政策和管理工具可以幫助確保數據隨著訪問模式和要求的變化而隨時間在各層之間移動。

Source:
https://www.nakivo.com/blog/storage-tiering/