大数据/Hadoop

yarn 工作原理（2）

1.client向yarn提交job，首先找ResourceManager分配资源， 2.ResourceMa […]

Hadoop 中文编码相关问题 — mapreduce程序处理GBK编码数据并输出GBK编码数据 […]

大数据名词(1) -Shuffle Shuffle过程是MapReduce的核心，也被称为奇迹发生的地 […]

前面搭建了spark集群需要的系统环境，本文在前文基础上搭建hadoop集群一、配置几个配置文件 hadoo […]

一、虚拟机配置 1、下载安装三台虚拟机我选择的版本是virtualBox5.2、Ubuntu14.04，vi […]

　　项目将近尾声，上线一切顺利，在开发过程中遇到了不少的问题，趁着空闲时间对项目中遇到的常见问题做一个总结，当 […]

分为4个流程 1.源码下载构建编译环境 3.编译源码 4.运行源码下载安装git并且配置 //安装git […]

解决：java.io.IOException: No FileSystem for scheme: hdfs […]

集群架构 Hadoop的安装其实就是HDFS和YARN集群的配置，从下面的架构图可以看出，HDFS的每一个Da […]