Ubuntu16.04安装Hadoop3.1.0

Ubuntu系统稳定性有点差,今天清理空间后,重新启动无法进入图形界面。考虑到稳定性还有我的MBP磁盘空间不够大,决定在本机搭建Hadoop3.1.0环境。

由于网上,同类型的安装教程很多,我就不去东施效颦,我只把我安装过程中参考的帖子和遇到的异常问题记录下来,以下是全部内容。

Hadoop官方在3.0.0及以后的版本里将一些默认的端口号进行了修改。Issue见这里

Namenode ports: 50470 –> 9871, 50070 –> 9870, 8020 –> 9820
Secondary NN ports: 50091 –> 9869, 50090 –> 9868
Datanode ports: 50020 –> 9867, 50010 –> 9866, 50475 –> 9865, 50075 –> 9864

参考资料:


这两天因工作需要,需要搭建一套Hadoop集群环境。

参照各种帖子,折腾2天,算把Hadoop环境配置起来。中间踩了无数坑,单机模式和伪分布模式(不开启Yarn服务)下WordCount测试都能够成功;集群环境暂时还没配好,随后开始布置。

在这个学习过程中,看到几篇写得不错的技术帖,统一收集整理在此。

PS:Ubuntu16.04下面发现阿里云的源有好几个网址存在问题,换用中科大的源,明显感觉稳定很多。

参考资料:

大西洋暖流 wechat
欢迎订阅大西洋暖流