99青草青草久热精品视频,亚洲精品乱码久久久久久麻豆,亚洲男人天堂视频,精品一久久,日韩午夜免费视频,尹人香蕉,日韩精品欧美成人

當(dāng)前位置:高考升學(xué)網(wǎng) > 筆試面試 > 正文

大數(shù)據(jù)技術(shù)Hadoop面試題(三)

更新:2023-09-19 21:14:36 高考升學(xué)網(wǎng)

  分析:它是可以被修改的Hadoop的基礎(chǔ)配置文件是hadoop-default.xml,默認(rèn)建立一個Job的時候會建立Job的Config,Config首先讀入hadoop-default.xml的配置,然后再讀入hadoop-site.xml的配置(這個文件初始的時候配置為空),hadoop-site.xml中主要配置需要覆蓋的hadoop-default.xml的系統(tǒng)級配置。

  15.Nagios不可以監(jiān)控Hadoop集群,因?yàn)樗惶峁〩adoop支持。(錯誤)

  分析:Nagios是集群監(jiān)控工具,而且是云計算三大利器之一

  16.如果NameNode意外終止,SecondaryNameNode會接替它使集群繼續(xù)工作。(錯誤)

  分析:SecondaryNameNode是幫助恢復(fù),而不是替代,如何恢復(fù),可以查看

  17.ClouderaCDH是需要付費(fèi)使用的。(錯誤)

  分析:第一套付費(fèi)產(chǎn)品是ClouderaEnterpris,ClouderaEnterprise在美國加州舉行的Hadoop大會(HadoopSummit)上公開,以若干私有管理、監(jiān)控、運(yùn)作工具加強(qiáng)Hadoop的功能。收費(fèi)采取合約訂購方式,價格隨用的Hadoop叢集大小變動。

  18.Hadoop是Java開發(fā)的,所以MapReduce只支持Java語言編寫。(錯誤)

  分析:rhadoop是用R語言開發(fā)的,MapReduce是一個框架,可以理解是一種思想,可以使用其他語言開發(fā)。

  19.Hadoop支持?jǐn)?shù)據(jù)的隨機(jī)讀寫。(錯)

  分析:lucene是支持隨機(jī)讀寫的,而hdfs只支持隨機(jī)讀。但是HBase可以來補(bǔ)救。HBase提供隨機(jī)讀寫,來解決Hadoop不能處理的問題。HBase自底層設(shè)計開始即聚焦于各種可伸縮性問題:表可以很“高”,有數(shù)十億個數(shù)據(jù)行;也可以很“寬”,有數(shù)百萬個列;水平分區(qū)并在上千個普通商用機(jī)節(jié)點(diǎn)上自動復(fù)制。表的模式是物理存儲的直接反映,使系統(tǒng)有可能提高高效的數(shù)據(jù)結(jié)構(gòu)的序列化、存儲和檢索。

  20.NameNode負(fù)責(zé)管理metadata,client端每次讀寫請求,它都會從磁盤中讀取或則會寫入metadata信息并反饋client端。(錯誤)

  此題分析:

  NameNode不需要從磁盤讀取metadata,所有數(shù)據(jù)都在內(nèi)存中,硬盤上的只是序列化的結(jié)果,只有每次namenode啟動的時候才會讀取。

  1)文件寫入

  Client向NameNode發(fā)起文件寫入的請求。

  NameNode根據(jù)文件大小和文件塊配置情況,返回給Client它所管理部分DataNode的信息。

  Client將文件劃分為多個Block,根據(jù)DataNode的地址信息,按順序?qū)懭氲矫恳粋DataNode塊中。

  2)文件讀取

  Client向NameNode發(fā)起文件讀取的請求。

  21.NameNode本地磁盤保存了Block的位置信息。(個人認(rèn)為正確,歡迎提出其它意見)

  分析:DataNode是文件存儲的基本單元,它將Block存儲在本地文件系統(tǒng)中,保存了Block的Meta-data,同時周期性地將所有存在的Block信息發(fā)送給NameNode。NameNode返回文件存儲的DataNode的信息。

  Client讀取文件信息。

  22.DataNode通過長連接與NameNode保持通信。()

  這個有分歧:具體正在找這方面的有利資料。下面提供資料可參考。

  首先明確一下概念:

  (1).長連接

  Client方與Server方先建立通訊連接,連接建立后不斷開,然后再進(jìn)行報文發(fā)送和接收。這種方式下由于通訊連接一直存在,此種方式常用于點(diǎn)對點(diǎn)通訊。

  (2).短連接

  Client方與Server每進(jìn)行一次報文收發(fā)交易時才進(jìn)行通訊連接,交易完畢后立即斷開連接。此種方式常用于一點(diǎn)對多點(diǎn)通訊,比如多個Client連接一個Server.

  23.Hadoop自身具有嚴(yán)格的權(quán)限管理和安全措施保障集群正常運(yùn)行。(錯誤)

  hadoop只能阻止好人犯錯,但是不能阻止壞人干壞事

  24.Slave節(jié)點(diǎn)要存儲數(shù)據(jù),所以它的磁盤越大越好。(錯誤)

  分析:一旦Slave節(jié)點(diǎn)宕機(jī),數(shù)據(jù)恢復(fù)是一個難題

  25.hadoopdfsadmin–report命令用于檢測HDFS損壞塊。(錯誤)

  26.Hadoop默認(rèn)調(diào)度器策略為FIFO(正確)

  27.集群內(nèi)每個節(jié)點(diǎn)都應(yīng)該配RAID,這樣避免單磁盤損壞,影響整個節(jié)點(diǎn)運(yùn)行。(錯誤)

  分析:首先明白什么是RAID,可以參考百科磁盤陣列。這句話錯誤的地方在于太絕對,具體情況具體分析。題目不是重點(diǎn),知識才是最重要的。因?yàn)閔adoop本身就具有冗余能力,所以如果不是很嚴(yán)格不需要都配備RAID。具體參考第二題。

  28.因?yàn)镠DFS有多個副本,所以NameNode是不存在單點(diǎn)問題的。(錯誤)

  29.每個map槽就是一個線程。(錯誤)

  分析:首先我們知道什么是map槽,map槽->mapslotmapslot只是一個邏輯值(org.apache.hadoop.maPd.TaskTracker.TaskLauncher.numFreeSlots),而不是對應(yīng)著一個線程或者進(jìn)程

  30.MaPduce的inputsplit就是一個block。(錯誤)

  31.NameNode的WebUI端口是50030,它通過jetty啟動的Web服務(wù)。(錯誤)

  32.Hadoop環(huán)境變量中的HADOOP_HEAPSIZE用于設(shè)置所有Hadoop守護(hù)線程的內(nèi)存。它默認(rèn)是200GB。(錯誤)

  hadoop為各個守護(hù)進(jìn)程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)統(tǒng)一分配的內(nèi)存在hadoop-env.sh中設(shè)置,參數(shù)為HADOOP_HEAPSIZE,默認(rèn)為1000M。

  33.DataNode首次加入cluster的時候,如果log中報告不兼容文件版本,那需要NameNode執(zhí)行“Hadoopnamenode-format”操作格式化磁盤。(錯誤)

  分析:

  首先明白介紹,什么ClusterID

  ClusterID

  添加了一個新的標(biāo)識符ClusterID用于標(biāo)識集群中所有的節(jié)點(diǎn)。當(dāng)格式化一個Namenode,需要提供這個標(biāo)識符或者自動生成。這個ID可以被用來格式化加入集群的其他Namenode。

  二次整理

  有的同學(xué)問題的重點(diǎn)不是上面分析內(nèi)容:內(nèi)容如下:

  這個報錯是說明DataNode所裝的Hadoop版本和其它節(jié)點(diǎn)不一致,應(yīng)該檢查DataNode的Hadoop版本


最新圖文

常見的hr面試官面試問題大全

時間:2023-09-14 23:0:24

企業(yè)面試官面試問題及參考

時間:2023-09-17 08:0:27

高校教師招聘面試答辯100題

時間:2023-09-17 06:0:03