更新時(shí)間:2019-02-13 11:04 來(lái)源:動(dòng)力節(jié)點(diǎn) 瀏覽11203次
分布式文件系統(tǒng) (Distributed File System) 是一個(gè)軟件/服務(wù)器,這個(gè)軟件可以用來(lái)管理文件;
但這個(gè)軟件所管理的文件通常不是在一個(gè)服務(wù)器節(jié)點(diǎn)上,而是在多個(gè)服務(wù)器節(jié)點(diǎn)上,這些服務(wù)器節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)相連構(gòu)成一個(gè)龐大的文件存儲(chǔ)服務(wù)器集群,這些服務(wù)器都用于存儲(chǔ)文件資源,通過(guò)分布式文件系統(tǒng)來(lái)管理這些服務(wù)器上的文件;
常見(jiàn)的分布式文件系統(tǒng)有:FastDFS、GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS等;
GFS(Google File System)
Google公司為了滿足本公司需求而開(kāi)發(fā)的基于Linux的專有分布式文件系統(tǒng);
HDFS
Hadoop 實(shí)現(xiàn)的一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System),簡(jiǎn)稱HDFS;
Lustre
是一個(gè)大規(guī)模的、安全可靠的,具備高可用性的集群文件系統(tǒng),它是由SUN公司開(kāi)發(fā)和維護(hù)的;
Ceph
是加州大學(xué)圣克魯茲分校的Sage weil攻讀博士時(shí)開(kāi)發(fā)的分布式文件系統(tǒng);
GridFS
GridFS是MongoDB之上的分布式文件系統(tǒng),其利用了MongoDB的分布式存儲(chǔ)機(jī)制并通過(guò)MongoDB來(lái)存儲(chǔ)文件數(shù)據(jù)和文件元數(shù)據(jù);
MogileFS
由memcahed的開(kāi)發(fā)公司danga,開(kāi)發(fā)的一款采用perl開(kāi)發(fā)的產(chǎn)品,目前國(guó)內(nèi)使用mogielFS的有圖片托管網(wǎng)站yupoo等;
mooseFS
相對(duì)比較輕量級(jí),對(duì)master服務(wù)器有單點(diǎn)依賴,用perl編寫(xiě),性能相對(duì)較差;
分布式文件系統(tǒng)與傳統(tǒng)文件系統(tǒng)對(duì)比:
FastDFS是一個(gè)開(kāi)源的輕量級(jí)分布式文件系統(tǒng),為互聯(lián)網(wǎng)應(yīng)用量身定做,簡(jiǎn)單、靈活、高效,采用C語(yǔ)言開(kāi)發(fā),由阿里巴巴開(kāi)發(fā)并開(kāi)源;
FastDFS對(duì)文件進(jìn)行管理,功能包括:文件存儲(chǔ)、文件同步、文件訪問(wèn)(文件上傳、文件下載、文件刪除)等,解決了大容量文件存儲(chǔ)和負(fù)載均衡的問(wèn)題,特別適合以文件為載體的在線服務(wù),如相冊(cè)網(wǎng)站、文檔網(wǎng)站、圖片網(wǎng)站、視頻網(wǎng)站等等;
FastDFS充分考慮了冗余備份、負(fù)載均衡、線性擴(kuò)容等機(jī)制,并注重高可用、高性能等指標(biāo),使用FastDFS很容易搭建一套高性能的文件服務(wù)器集群提供文件上傳、下載等服務(wù);
2008年4月項(xiàng)目啟動(dòng),7月發(fā)布第一個(gè)版本V1.00,兩年時(shí)間內(nèi)持續(xù)升級(jí)到V1.29;
2010年8月推出V2.00;
2011年6月推出V3.00;
2012年10月推出V4.0.0;
2013年12月推出V5.0.0;
截止目前最新版是V5.11;(2017年6月發(fā)布)
FastDFS系統(tǒng)架構(gòu)從第一個(gè)版本發(fā)布后一直沒(méi)有大的調(diào)整,高版本完全兼容低版本的數(shù)據(jù),可以做到平滑升級(jí),推薦更新升級(jí)到最新版本;
FastDFS文件系統(tǒng)由兩大部分構(gòu)成,一個(gè)是客戶端,一個(gè)是服務(wù)端;
客戶端通常指我們的程序,比如我們的Java程序去連接FastDFS、操作FastDFS,那我們的Java程序就是一個(gè)客戶端;
FastDFS提供專有API訪問(wèn),目前提供了 C、Java 和 PHP 幾種編程語(yǔ)言的API,用來(lái)訪問(wèn)FastDFS文件系統(tǒng);
服務(wù)端由兩個(gè)部分構(gòu)成:一個(gè)是跟蹤器(tracker),一個(gè)是存儲(chǔ)節(jié)點(diǎn)(storage);
跟蹤器(tracker)主要做調(diào)度工作,在訪問(wèn)上起負(fù)載均衡的作用,在內(nèi)存中記錄集群中g(shù)roup和storage server的狀態(tài)信息,是前端Client和后端Storage server的樞紐。 因?yàn)橄嚓P(guān)信息全部在內(nèi)存中,Tracker server的性能非常高,一個(gè)較大的集群(比如上百個(gè)group)中有3臺(tái)就足夠了。
存儲(chǔ)節(jié)點(diǎn)(storage)用于存儲(chǔ)文件,文件和文件屬性(meta data)都保存到存儲(chǔ)服務(wù)器上,完成文件管理的所有功能:文件存儲(chǔ)、文件同步和提供文件存取接口等;
相關(guān)閱讀
0基礎(chǔ) 0學(xué)費(fèi) 15天面授
有基礎(chǔ) 直達(dá)就業(yè)
業(yè)余時(shí)間 高薪轉(zhuǎn)行
工作1~3年,加薪神器
工作3~5年,晉升架構(gòu)
提交申請(qǐng)后,顧問(wèn)老師會(huì)電話與您溝通安排學(xué)習(xí)
初級(jí) 202925
初級(jí) 203221
初級(jí) 202629
初級(jí) 203743