存儲類型

先從三種存儲類型開始。

看了很多文章，感覺都無從下手，因?yàn)槲疫�不了解為什么有這么多的存儲方式和存儲類型，所以先不看這些概念的定義，先了解為什么會有這些概念。

為什么會有這么多存儲類型？

因?yàn)闃I(yè)務(wù)需要，不同場景需要滿足不同的人，其實(shí)有很多存儲類型可以用，三種只是常見的。就像有很多種編程語言，沒有優(yōu)劣之分，只是在各自領(lǐng)域里各司其職

先說分布式存儲：

首先要說明一下的是，這三個(gè)概念都是分布式存儲中的概念，由不同的網(wǎng)絡(luò)存儲協(xié)議實(shí)現(xiàn)。

所謂分布式存儲，就是底層的存儲系統(tǒng)，因?yàn)橐�存放的�?shù)據(jù)非常多，單一服務(wù)器所能連接的物理介質(zhì)是有限的，提供的IO性能也是有限的，所以通過多臺服務(wù)器協(xié)同工作，每臺服務(wù)器連接若干物理介質(zhì)，一起為多個(gè)系統(tǒng)提供存儲服務(wù)。為了滿足不同的訪問需求，往往一個(gè)分布式存儲系統(tǒng)，可以同時(shí)提供文件存儲、塊存儲和對象存儲這三種形式的服務(wù)。

來個(gè)通俗易懂的理解，用不同的存儲類型存儲玉米：

塊存儲

塊存儲一般體現(xiàn)形式是卷或者硬盤（比如windows里面看到的c盤），數(shù)據(jù)是按字節(jié)來訪問的，對于塊存儲而言，對里面存的數(shù)據(jù)內(nèi)容和格式是完全一無所知的。好比上面圖中，數(shù)據(jù)就像玉米粒一樣堆放在塊存儲里，塊存儲只關(guān)心玉米粒進(jìn)來和出去，不關(guān)心玉米粒之間的關(guān)系和用途。

塊存儲只負(fù)責(zé)數(shù)據(jù)讀取和寫入，因此性能很高，適用于對響應(yīng)時(shí)間要求高的系統(tǒng)。比如數(shù)據(jù)庫等。

文件存儲

文件存儲一般體現(xiàn)形式是目錄和文件（比如C:\Users\Downloads\text.doc），數(shù)據(jù)以文件的方式存儲和訪問，按照目錄結(jié)構(gòu)進(jìn)行組織。文件存儲可以對數(shù)據(jù)進(jìn)行一定的高級管理，比如在文件層面進(jìn)行訪問權(quán)限控制等。好比上面圖中，數(shù)據(jù)像玉米粒一樣組成玉米棒子，再對應(yīng)到不同的玉米桿上，要找到某個(gè)玉米粒，先找到玉米桿，再找到玉米棒子，然后根據(jù)玉米粒在玉米棒子上的位置找到它。

文件存儲可以很方便的共享，因此用途非常廣泛。比如常用的NFS、CIFS、ftp等都是基于文件存儲的。

對象存儲

對象存儲一般體現(xiàn)形式是一個(gè)UUID（比如https://www.youtube.com/watch?v=nAKxJbcec8U），數(shù)據(jù)和元數(shù)據(jù)打包在一起作為一個(gè)整體對象存在一個(gè)超大池子里。對于對象訪問，只需要報(bào)出它的UUID，就能立即找到它，但訪問的時(shí)候?qū)ο笫亲鳛橐粋�(gè)整體訪問的。好比上面圖中，數(shù)據(jù)的玉米粒被做成了玉米罐頭，每個(gè)玉米罐頭都有一個(gè)唯一出廠號，但是買賣罐頭，都一次是一盒為單位。

從設(shè)計(jì)之初衷（一般的對象存儲都是基于哈希環(huán)之類的技術(shù)來實(shí)現(xiàn)），對象存儲就可以非常簡單的擴(kuò)展到超大規(guī)模，因此非常適合數(shù)據(jù)量大、增速又很快的視頻、圖像等。

一、塊存儲

傳統(tǒng)的文件系統(tǒng)，是直接訪問存儲數(shù)據(jù)的硬件介質(zhì)的。介質(zhì)不關(guān)心也無法去關(guān)心這些數(shù)據(jù)的組織方式以及結(jié)構(gòu)，因此用的是最簡單粗暴的組織方式：所有數(shù)據(jù)按照固定的大小分塊，每一塊賦予一個(gè)用于尋址的編號。以大家比較熟悉的機(jī)械硬盤為例，一塊就是一個(gè)扇區(qū)，老式硬盤是512字節(jié)大小，新硬盤是4K字節(jié)大小。老式硬盤用柱面-磁頭-扇區(qū)號（CHS，Cylinder-Head-Sector）組成的編號進(jìn)行尋址，現(xiàn)代硬盤用一個(gè)邏輯塊編號尋址（LBA，Logical Block Addressing）。所以，硬盤往往又叫塊設(shè)備（Block Device）,當(dāng)然，除了硬盤還有其它塊設(shè)備，例如不同規(guī)格的軟盤，各種規(guī)格的光盤，磁帶等。

至于哪些塊組成一個(gè)文件，哪些塊記錄的是目錄/子目錄信息，這是文件系統(tǒng)的事情。不同的文件系統(tǒng)有不同的組織結(jié)構(gòu)，這個(gè)就不展開了。為了方便管理，硬盤這樣的塊設(shè)備通�？梢詣澐譃槎鄠�(gè)邏輯塊設(shè)備，也就是我們熟悉的硬盤分區(qū)（Partition）。反過來，單個(gè)介質(zhì)的容量、性能有限，可以通過某些技術(shù)手段把多個(gè)物理塊設(shè)備組合成一個(gè)邏輯塊設(shè)備，例如各種級別的RAID，JBOD，某些操作系統(tǒng)的卷管理系統(tǒng)（Volume Manager）如Windows的動態(tài)磁盤、Linux的LVM等。

塊設(shè)備的使用對象除了傳統(tǒng)的文件系統(tǒng)以及一些專用的管理工具軟件如備份軟件、分區(qū)軟件外，還有一些支持直接讀寫塊設(shè)備的軟件如數(shù)據(jù)庫等，但一般用戶很少這樣使用。

在網(wǎng)絡(luò)存儲中，服務(wù)器把本地的一個(gè)邏輯塊設(shè)備——底層可能是一個(gè)物理塊設(shè)備的一部分，也可能是多個(gè)物理塊設(shè)備的組合，又或者多個(gè)物理塊設(shè)備的組合中的一部分，甚至是一個(gè)本地文件系統(tǒng)上的一個(gè)文件——通過某種協(xié)議模擬成一個(gè)塊設(shè)備，遠(yuǎn)程的客戶端（可以是一臺物理主機(jī)，也可以是虛擬機(jī)，某個(gè)回答所說的塊設(shè)備是給虛擬機(jī)用是錯(cuò)誤的）使用相同的協(xié)議把這個(gè)邏輯塊設(shè)備作為一個(gè)本地存儲介質(zhì)來使用，劃分分區(qū)，格式化自己的文件系統(tǒng)等等。這就是塊存儲，比較常見的塊存儲協(xié)議是iSCSI。

1、優(yōu)點(diǎn)

這種方式的好處當(dāng)然是因?yàn)橥ㄟ^了Raid與LVM等手段，對數(shù)據(jù)提供了保護(hù)；

可以將多塊廉價(jià)的硬盤組合起來，稱為一個(gè)大容量的邏輯盤對外提供服務(wù)，提高了容量；

寫入數(shù)據(jù)時(shí)，由于是多塊磁盤組合出來的邏輯盤，所以幾塊硬盤可以并行寫入的，提升了讀寫效率；

很多時(shí)候塊存儲采用SAN架構(gòu)組網(wǎng)，傳輸速度以及封裝協(xié)議的原因，使得傳輸速度和讀寫效率得到提升

2、缺點(diǎn)

采用SAN架構(gòu)組網(wǎng)時(shí)，需要額外為主機(jī)購買光纖通道卡，還要購買光纖交換機(jī)，造價(jià)成本高；

主機(jī)之間數(shù)據(jù)無法共享，在服務(wù)器不做集群的情況下，塊存儲裸盤映射給主機(jī)，在格式化使用后，對于主機(jī)來說相當(dāng)于本地盤，那么主機(jī)A的本地盤根本不能給主機(jī)B去使用，無法共享數(shù)據(jù)

不利于不同操作系統(tǒng)主機(jī)間的數(shù)據(jù)共享：因?yàn)椴僮飨到y(tǒng)使用不同的文件系統(tǒng)，格式化后，不同的文件系統(tǒng)間的數(shù)據(jù)是共享不了的。 例如一臺win7，文件系統(tǒng)是FAT32/NTFS，而linux是EXT4，EXT4是無法識別NTFS的文件系統(tǒng)的

3、使用場景

docker容器、虛擬機(jī)磁盤存儲分配。

日志存儲。

文件存儲。

…

4、典型設(shè)備

磁盤陣列、硬盤

5、典型存儲方式

DAS（Direct Attach STorage）：是直接連接于主機(jī)服務(wù)器的一種儲存方式，每一臺主機(jī)服務(wù)器有獨(dú)立的儲存設(shè)備，每臺主機(jī)服務(wù)器的儲存設(shè)備無法互通，需要跨主機(jī)存取資料時(shí)，必須經(jīng)過相對復(fù)雜的設(shè)定，若主機(jī)服務(wù)器分屬不同的操作系統(tǒng)，要存取彼此的資料，更是復(fù)雜，有些系統(tǒng)甚至不能存取。通常用在單一網(wǎng)絡(luò)環(huán)境下且數(shù)據(jù)交換量不大，性能要求不高的環(huán)境下，可以說是一種應(yīng)用較為早的技術(shù)實(shí)現(xiàn)。

SAN（Storage Area Network）：是一種用高速（光纖）網(wǎng)絡(luò)聯(lián)接專業(yè)主機(jī)服務(wù)器的一種儲存方式，此系統(tǒng)會位于主機(jī)群的后端，它使用高速I/O 聯(lián)結(jié)方式， 如 SCSI, ESCON 及 Fibre- Channels。一般而言，SAN應(yīng)用在對網(wǎng)絡(luò)速度要求高、對數(shù)據(jù)的可靠性和安全性要求高、對數(shù)據(jù)共享的性能要求高的應(yīng)用環(huán)境中，特點(diǎn)是代價(jià)高，性能好。例如電信、銀行的大數(shù)據(jù)量關(guān)鍵應(yīng)用。它采用SCSI 塊I/O的命令集，通過在磁盤或FC（Fiber Channel）級的數(shù)據(jù)訪問提供高性能的隨機(jī)I/O和數(shù)據(jù)吞吐率，它具有高帶寬、低延遲的優(yōu)勢，在高性能計(jì)算中占有一席之地，但是由于SAN系統(tǒng)的價(jià)格較高，且可擴(kuò)展性較差，已不能滿足成千上萬個(gè)CPU規(guī)模的系統(tǒng)。

二、文件存儲

文件存儲的用戶是自然人，最容易理解。計(jì)算機(jī)中所有的數(shù)據(jù)都是0和1，存儲在硬件介質(zhì)上的一連串的01組合對我們來說完全無法去分辨以及管理。因此我們用“文件”這個(gè)概念對這些數(shù)據(jù)進(jìn)行組織，所有用于同一用途的數(shù)據(jù)，按照不同應(yīng)用程序要求的結(jié)構(gòu)方式組成不同類型的文件（通常用不同的后綴來指代不同的類型），然后我們給每一個(gè)文件起一個(gè)方便理解記憶的名字。而當(dāng)文件很多的時(shí)候，我們按照某種劃分方式給這些文件分組，每一組文件放在同一個(gè)目錄（或者叫文件夾）里面，當(dāng)然我們也需要給這些目錄起一個(gè)容易理解和記憶的名字。而且目錄下面除了文件還可以有下一級目錄（稱之為子目錄或者子文件夾），所有的文件、目錄形成一個(gè)樹狀結(jié)構(gòu)。我們最常用的Windows系統(tǒng)中，打開資源管理器就可以看到以這種方式組織起來的無數(shù)個(gè)文件和目錄。

為了方便查找，從根節(jié)點(diǎn)開始逐級目錄往下，一直到文件本身，把這些目錄、子目錄、文件的名字用特殊的字符（例如Windows/DOS用“\”，類Unix系統(tǒng)用“/”）拼接起來，這樣的一串字符稱之為路徑，例如Linux中的“/etc/systemd/system.conf”或者Windows中的“C:\Windows\System32\taskmgr.exe”。人類用路徑作為唯一標(biāo)識來訪問具體的文件。而由作為自然人的程序員所編寫的各種軟件程序，絕大部分也使用這種方式來訪問文件。

把存儲介質(zhì)上的數(shù)據(jù)組織成目錄-子目錄-文件這種形式的數(shù)據(jù)結(jié)構(gòu)，用于從這個(gè)結(jié)構(gòu)中尋找、添加、修改、刪除文件的程序，以及用于維護(hù)這個(gè)結(jié)構(gòu)的程序，組成的系統(tǒng)有一個(gè)專用的名字：文件系統(tǒng)（File System）。文件系統(tǒng)有很多，常見的有Windows的FAT/FAT32/NTFS，Linux的EXT2/EXT3/EXT4/XFS/BtrFS等。而在網(wǎng)絡(luò)存儲中，底層數(shù)據(jù)并非存儲在本地的存儲介質(zhì)，而是另外一臺服務(wù)器上，不同的客戶端都可以用類似文件系統(tǒng)的方式訪問這臺服務(wù)器上的文件，這樣的系統(tǒng)叫網(wǎng)絡(luò)文件系統(tǒng)（Network File System），常見的網(wǎng)絡(luò)文件系統(tǒng)有Windows網(wǎng)絡(luò)的CIFS（也叫SMB）、類Unix系統(tǒng)網(wǎng)絡(luò)的NFS等。而文件存儲除了網(wǎng)絡(luò)文件系統(tǒng)外，F(xiàn)TP、HTTP其實(shí)也算是文件存儲的某種特殊實(shí)現(xiàn)，都是可以通過某個(gè)url來訪問一個(gè)文件。

1、優(yōu)點(diǎn)

造價(jià)低：隨便一臺機(jī)器就可以，另外普通的以太網(wǎng)就可以，根本不需要專用的SAN網(wǎng)絡(luò)，所以造價(jià)低

方便文件共享

2、缺點(diǎn)

讀寫速率低，傳輸速率慢：以太網(wǎng)，上傳下載速度較慢

所有讀寫都要1臺服務(wù)器里面的硬盤來承受，相比起磁盤陣列動不動就十幾上百塊硬盤同時(shí)讀寫，速率慢了許多。

3、使用場景

日志存儲。

有目錄結(jié)構(gòu)的文件存儲。

…

4、典型設(shè)備

FTP、NFS服務(wù)器

5、典型存儲方式

通常，NAS產(chǎn)品都是文件級存儲。NAS（Network Attached Storage）：是一套網(wǎng)絡(luò)儲存設(shè)備，通常是直接連在網(wǎng)絡(luò)上并提供資料存取服務(wù)，一套 NAS 儲存設(shè)備就如同一個(gè)提供數(shù)據(jù)文件服務(wù)的系統(tǒng)，特點(diǎn)是性價(jià)比高。例如教育、政府、企業(yè)等數(shù)據(jù)存儲應(yīng)用。它采用NFS或CIFS命令集訪問數(shù)據(jù)，以文件為傳輸協(xié)議，通過TCP/IP實(shí)現(xiàn)網(wǎng)絡(luò)化存儲，可擴(kuò)展性好、價(jià)格便宜、用戶易管理，如目前在集群計(jì)算中應(yīng)用較多的NFS文件系統(tǒng)，但由于NAS的協(xié)議開銷高、帶寬低、延遲大，不利于在高性能集群中應(yīng)用。

三、對象存儲

之所以出現(xiàn)對象存儲這種東西，是為了克服塊存儲與文件存儲各自的缺點(diǎn)，發(fā)揚(yáng)各自的優(yōu)點(diǎn)。簡單來說塊存儲讀寫快，不利于共享，文件存儲讀寫慢，利于共享。能否弄一個(gè)讀寫塊，利于共享的存儲出來呢？于是就有了對象存儲。

一個(gè)文件包含了屬性（術(shù)語：metadata，元數(shù)據(jù)，例如該文件的大小、修改時(shí)間、存儲路徑等）以及內(nèi)容（數(shù)據(jù)）。

    像FAT32這種文件系統(tǒng)，是直接將一份文件與metadata一起存儲的，存儲過程先將文件按照文件系統(tǒng)的最小塊大小來打散（例如4M的文件，假設(shè)文件系統(tǒng)要求一個(gè)塊4K，那么就將文件打散稱為1000個(gè)小塊），再寫進(jìn)硬盤里，過程中沒有區(qū)分?jǐn)?shù)據(jù)和metadata的。而每個(gè)塊最后會告知你下一個(gè)要讀取的塊地址，然后一直這樣順序的按圖索驥，最后完成整份文件的所有塊的讀取。

這種情況下讀寫速率很慢，因?yàn)榫退隳阌?00個(gè)機(jī)械臂在讀寫，但是由于你只有讀取到第一個(gè)塊，才能知道下一個(gè)塊在哪里，其實(shí)相當(dāng)于只能有1個(gè)機(jī)械臂在實(shí)際工作。

而對象存儲則將元數(shù)據(jù)獨(dú)立出來了，控制節(jié)點(diǎn)叫元數(shù)據(jù)服務(wù)器（服務(wù)器+對象存儲管理軟件），里面主要負(fù)責(zé)存儲對象的屬性（主要是對象的數(shù)據(jù)被打散存放到了那幾臺分布式服務(wù)器中的信息）而其他負(fù)責(zé)存儲數(shù)據(jù)的分布式服務(wù)器叫做OSD，主要負(fù)責(zé)存儲文件的數(shù)據(jù)部分。當(dāng)用戶訪問對象，會先訪問元數(shù)據(jù)服務(wù)器，元數(shù)據(jù)服務(wù)器只負(fù)責(zé)反饋對象存儲在哪里OSD，假設(shè)反饋文件A存儲在B、C、D三臺OSD，那么用戶就會再次直接訪問3臺OSD服務(wù)器去讀取數(shù)據(jù)。

這時(shí)候由于是3臺OSD同時(shí)對外傳輸數(shù)據(jù)，所以傳輸?shù)乃俣染蜁�加快了，�?dāng)OSD服務(wù)器數(shù)量越多，這種讀寫速度的提升就越大，通過此種方式，實(shí)現(xiàn)了讀寫快的目的。

另一方面，對象存儲軟件是有專門的文件系統(tǒng)的，所以O(shè)SD對外又相當(dāng)于文件服務(wù)器，那么就不存在共享方面的困難了，也解決了文件共享方面的問題

所以對象存儲的出現(xiàn)，很好的結(jié)合了塊存儲和文件存儲的優(yōu)點(diǎn)。

為什么對象存儲兼具塊存儲和文件存儲的好處，還要使用塊存儲和文件存儲呢？

    （1）有一類應(yīng)用是需要存儲直接裸盤映射的，例如數(shù)據(jù)庫。因?yàn)閿?shù)據(jù)需要存儲樓盤映射給自己后，再根據(jù)自己的數(shù)據(jù)庫文件系統(tǒng)來對裸盤進(jìn)行格式化的，所以是不能夠采用其他已經(jīng)被格式化為某種文件系統(tǒng)的存儲的。此類應(yīng)用更合適使用塊存儲。

    （2）對象存儲的成本比起普通的文件存儲還要較高，需要購買專門的對象存儲軟件以及大容量硬盤。如果對數(shù)據(jù)量要求不是海量，只是為了做文件共享的時(shí)候，直接用文件存儲的形式好了，性價(jià)比高。

1、優(yōu)點(diǎn)

具備塊存儲的讀寫高速。

具備文件存儲的共享等特性。

可擴(kuò)展性高：對象存儲能夠擴(kuò)展數(shù)十乃至數(shù)百EB的容量，能夠充分利用高密度存儲；

效率高：扁平化結(jié)構(gòu)，不受復(fù)雜目錄系統(tǒng)對性能的影響；

無需遷移：對象存儲是一種橫向擴(kuò)展系統(tǒng)，隨著容量的增加，數(shù)據(jù)根據(jù)算法自動分布于所有的對象存儲節(jié)點(diǎn)；

安全性高：對象存儲通常憑借HTTP調(diào)用對象存儲本身提供的認(rèn)證密鑰來提供數(shù)據(jù)訪問；

訪問方便：不光支持HTTP(S)協(xié)議，采用REST的API方式調(diào)用和檢索數(shù)據(jù)，同樣增加了NFS和SMB支持；

成本相對低：與塊存儲方式相比，對象存儲是最具成本效益的數(shù)據(jù)存儲類型，并且與云計(jì)算搭配，把對象存儲的這一特性發(fā)揮的淋漓盡致。

2、缺點(diǎn)

最終一致性：由于不同節(jié)點(diǎn)的位置不同，數(shù)據(jù)同步時(shí)可能會有一定時(shí)間的延遲或者錯(cuò)誤；

不易做數(shù)據(jù)庫：對象存儲比較適合存儲那些變動不大甚至不變的文件，而對于像數(shù)據(jù)庫這種需要直接與存儲裸盤相互映射的應(yīng)用，還是塊存儲更合適。

3、使用場景

對象存儲服務(wù)OSS（英文Object Storage Service）主要應(yīng)用于以下場景。

圖片和音視頻等應(yīng)用的海量存儲。OSS可用于圖片、音視頻、日志等海量文件的存儲。各種終端設(shè)備、Web網(wǎng)站程序、移動應(yīng)用可以直接向OSS寫入或讀取數(shù)據(jù)。OSS支持流式寫入和文件寫入兩種方式

網(wǎng)頁或者移動應(yīng)用的靜態(tài)和動態(tài)資源分離。利用BGP帶寬，OSS可以實(shí)現(xiàn)超低延時(shí)的數(shù)據(jù)直接下載。也可以配合阿里云CDN加速服務(wù)，為圖片、音視頻、移動應(yīng)用的更新分發(fā)提供最佳體驗(yàn)

云端數(shù)據(jù)處理。上傳文件到OSS后，可以配合媒體轉(zhuǎn)碼服務(wù)(MTS)和圖片處理服務(wù)（IMG）進(jìn)行云端的數(shù)據(jù)處理。

4、典型設(shè)備

內(nèi)置大容量硬盤的分布式服務(wù)器。對象存儲最常用的方案，就是多臺服務(wù)器內(nèi)置大容量硬盤，再裝上對象存儲軟件，然后再額外搞幾臺服務(wù)作為管理節(jié)點(diǎn)，安裝上對象存儲管理軟件。管理節(jié)點(diǎn)可以管理其他服務(wù)器對外提供讀寫訪問功能。

四、三種存儲類型有什么區(qū)別？

塊存儲、文件存儲、對象存儲是三種不同的存儲類型，它們的區(qū)別和聯(lián)系如下：

塊存儲是將裸磁盤空間整個(gè)映射給主機(jī)使用的，主機(jī)需要對磁盤進(jìn)行分區(qū)、格式化，然后才能使用。塊存儲的優(yōu)點(diǎn)是讀寫速度快，缺點(diǎn)是不利于數(shù)據(jù)共享。塊存儲適合數(shù)據(jù)庫等需要高性能的應(yīng)用。

文件存儲是在文件系統(tǒng)一層對外提供服務(wù)，主機(jī)可以直接訪問文件系統(tǒng)中的文件。文件存儲的優(yōu)點(diǎn)是方便文件共享，缺點(diǎn)是讀寫速度慢。文件存儲適合日志存儲、有目錄結(jié)構(gòu)的文件存儲等應(yīng)用。

對象存儲是將數(shù)據(jù)和元數(shù)據(jù)封裝成對象，通過對象標(biāo)識來訪問對象。對象存儲的優(yōu)點(diǎn)是結(jié)合了塊存儲和文件存儲的優(yōu)點(diǎn)，可以實(shí)現(xiàn)高速讀寫和數(shù)據(jù)共享。對象存儲適合圖片存儲、視頻存儲等海量數(shù)據(jù)管理的應(yīng)用。

本文鏈接：http://www.51huadong.com/cloundnews/11008355.html