大家的每一次面試都是一個(gè)重要的轉(zhuǎn)機(jī)，能不能抓住這個(gè)機(jī)遇，就給看大家對(duì)于面試的信息應(yīng)用掌握了多少，掌握當(dāng)下最緊缺的技術(shù)就是進(jìn)入到大廠的關(guān)鍵，hadoop的相關(guān)面試題無(wú)論如何都是需要掌握的技術(shù)知識(shí)，今天的這套面試題將在未來(lái)職場(chǎng)，讓你脫穎而出!

1、什么是Hadoop及其組件

Hadoop是一個(gè)開(kāi)源分布式計(jì)算平臺(tái)架構(gòu)，基于apache協(xié)議發(fā)布，由java語(yǔ)言開(kāi)發(fā)。主要包括

• HDFS(分布式文件管理系統(tǒng))
• MapReduce(分布式計(jì)算框架)
• Hive(基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù))
• Pig(基于Hadoop的數(shù)據(jù)流系統(tǒng))
• HBase(一個(gè)分布式面向列的數(shù)據(jù)庫(kù))
• Spark(快速和通用計(jì)算的Hadoop數(shù)據(jù)引擎)
• ZooKeeper(分布式協(xié)作服務(wù))

2、Hadoop的守護(hù)進(jìn)程

• NameNode(元數(shù)據(jù)服務(wù)器)
• 主節(jié)點(diǎn)，存儲(chǔ)文件的元數(shù)據(jù)(文件名，文件目錄結(jié)構(gòu)，文件屬性——生成時(shí)間，副本數(shù)，文件權(quán)限)，以及每個(gè)文件的塊列表和塊所在的DataNode等
• SecondaryNameNode(輔助元數(shù)據(jù)服務(wù)器)
• 用來(lái)監(jiān)控HDFS狀態(tài)的輔助后臺(tái)程序，每隔一段時(shí)間獲取HDFS元數(shù)據(jù)快照
• DataNodes(塊存儲(chǔ))
• 在本地文件系統(tǒng)存儲(chǔ)文件塊數(shù)據(jù)，以及塊數(shù)據(jù)校驗(yàn)
• JobTracker(任務(wù)調(diào)度)
• 負(fù)責(zé)接收用戶提交的作業(yè)，負(fù)責(zé)啟動(dòng)、跟蹤任務(wù)執(zhí)行，每個(gè) DataNode有一個(gè)TaskTracker，它們執(zhí)行實(shí)際工作。
• TaskTrackers(任務(wù)執(zhí)行)
• 負(fù)責(zé)執(zhí)行由JobTracker分配的任務(wù)，管理各個(gè)任務(wù)在每個(gè)節(jié)點(diǎn)的執(zhí)行情況。

3.YARN：Yet Another Resource Negotiator，是一種新的Hadoop資源管理器

• ReasourManager

負(fù)責(zé)資源管理的，整個(gè)系統(tǒng)有且只有一個(gè) RM ，來(lái)負(fù)責(zé)資源的調(diào)度。它也包含了兩個(gè)主要的組件：定時(shí)調(diào)用器(Scheduler)以及應(yīng)用管理器(ApplicationManager)。

• ApplicationMaster

每當(dāng) Client 提交一個(gè) Application 時(shí)候，就會(huì)新建一個(gè) ApplicationMaster 。由這個(gè) ApplicationMaster 去與 ResourceManager 申請(qǐng)容器資源，獲得資源后會(huì)將要運(yùn)行的程序發(fā)送到容器上啟動(dòng)，然后進(jìn)行分布式計(jì)算。

• NodeManager

NodeManager 是 ResourceManager 在每臺(tái)機(jī)器的上代理，負(fù)責(zé)容器的管理，并監(jiān)控他們的資源使用情況(cpu，內(nèi)存，磁盤及網(wǎng)絡(luò)等)，以及向ResourceManager/Scheduler 提供這些資源使用報(bào)告。

• Container

Container是YARN集群中資源的抽象，將NM上的資源進(jìn)行量化，根據(jù)需要組裝成一個(gè)個(gè)Container，然后服務(wù)于已授權(quán)資源的計(jì)算任務(wù)。計(jì)算任務(wù)在完成計(jì)算后，系統(tǒng)會(huì)回收資源，以供后續(xù)計(jì)算任務(wù)申請(qǐng)使用。Container包含兩種資源：內(nèi)存和CPU，后續(xù)Hadoop版本可能會(huì)增加硬盤、網(wǎng)絡(luò)等資源。

4.HDFS：分布式文件管理系統(tǒng)

• NameNode
• SecondaryNameNode
• DataNode

5.MapReduce：分布式計(jì)算框架，采用Master/Slave架構(gòu)，1個(gè)JobTracker帶多個(gè)TaskTracker

• JobTracker
• TaskTracker
• MapTask
• ReduceTask

6.一個(gè)MapReduce任務(wù)在提交階段是如何對(duì)輸入數(shù)據(jù)進(jìn)行分片劃分的?

通過(guò)InputSplit()函數(shù)來(lái)處理，設(shè)置分片數(shù)量為Math.max(minSize,Math.min(goalSize, blockSize))，一個(gè)數(shù)據(jù)片分配一個(gè)map任務(wù)。

7.MapReduce里的Combiner是做什么用的?什么情況下需要，和Reduce的區(qū)別是什么?

Combiner主要是在map完成后，reducer之前對(duì)數(shù)據(jù)做一次聚合，以減少數(shù)據(jù)傳輸?shù)腎O開(kāi)銷。

數(shù)據(jù)格式轉(zhuǎn)換

• map: (K1, V1) → list(K2, V2)
• combine: (K2, list(V2)) → list(K2, V2)
• reduce: (K2, list(V2)) → list(K3, V3)

注意：combine的輸入和reduce的完全一致，輸出和map的完全一致

Combiner和Reducer的區(qū)別在于運(yùn)行的位置

Combiner是在每一個(gè)MapTask所在的節(jié)點(diǎn)運(yùn)行;

Reducer是接收全局所有Mapper的輸出結(jié)果;

以上就是“高頻出現(xiàn)的程序員hadoop面試題及答案”，你能回答上來(lái)嗎?如果想要了解更多的Java面試題相關(guān)內(nèi)容，可以關(guān)注動(dòng)力節(jié)點(diǎn)Java官網(wǎng)。