鍍金池/ 問答/人工智能  Java  Linux/ 內(nèi)網(wǎng)搭建的hadoop分布式環(huán)境,如何通過外網(wǎng)訪問

內(nèi)網(wǎng)搭建的hadoop分布式環(huán)境,如何通過外網(wǎng)訪問

公司搭建的hadoop環(huán)境,datanode使用的都是內(nèi)網(wǎng)ip,只有master節(jié)點(diǎn)開通了外網(wǎng)ip,
現(xiàn)在通過Java遠(yuǎn)程獲取HDFS上的數(shù)據(jù),master返回給Java程序的datanode地址都是內(nèi)網(wǎng)ip,
Java連接不上,請問怎么辦?

回答
編輯回答
清夢

修改本地 hosts 文件,把 namenode、datanode 的外網(wǎng) IP 和 hostname 的映射關(guān)系加進(jìn)去(前提是得有外網(wǎng)IP)

然后在代碼中設(shè)置:

Configuration conf = new Configuration();
conf.set("dfs.client.use.datanode.hostname", "true");

畢竟本地開發(fā)只是測試一下,不建議改到 hadoop 配置文件。

2017年4月1日 06:33