鍍金池/ 教程/ 大數(shù)據(jù)/ Hadoop - 簡介
YARN - Failover
MapReduce - Shuffle
Hadoop配置
MapReduce - 讀取數(shù)據(jù)
Hadoop - MapReduce
YARN - Container
Hadoop 測試
MapReduce - Mapper
Hadoop - 參考
YARN - ResourceManager
HDFS - 可靠性
HDFS - 讀文件
Hadoop - 簡介
YARN - ApplicationMaster
Hadoop - IO
Hadoop 監(jiān)控
MapReduce - 編程
Hadoop - YARN
Hadoop - HDFS
HDFS - 命令工具
HDFS - 寫文件
YARN - NodeManager
Hadoop安裝

Hadoop - 簡介

Hadoop可運(yùn)行于一般的商用服務(wù)器上，具有高容錯、高可靠性、高擴(kuò)展性等特點(diǎn)

特別適合寫一次，讀多次的場景

適合

  • 大規(guī)模數(shù)據(jù)
  • 流式數(shù)據(jù)（寫一次，讀多次）
  • 商用硬件（一般硬件）

不適合

  • 低延時的數(shù)據(jù)訪問
  • 大量的小文件
  • 頻繁修改文件（基本就是寫1次）

Hadoop架構(gòu)

http://wiki.jikexueyuan.com/project/hadoop/images/architecture.png" alt="" />

  • HDFS: 分布式文件存儲
  • YARN: 分布式資源管理
  • MapReduce: 分布式計(jì)算
  • Others: 利用YARN的資源管理功能實(shí)現(xiàn)其他的數(shù)據(jù)處理方式

內(nèi)部各個節(jié)點(diǎn)基本都是采用Master-Woker架構(gòu)