Hadoop入门教程
Hadoop 入门教程
一、简介
在当今大数据时代，数据量的爆炸式增长对传统数据处理方式提出了严峻挑战。Hadoop 作为一款开源的分布式计算框架，被广泛用于处理海量数据。Hadoop 通过其分布式存储（HDFS）和分布式计算（MapReduce）能力，为大数据处理提供了强大的支持。
本教程将带领你从零开始学习 Hadoop，涵盖其基本概念、安装配置、核心组件、编程模型以及实际应用。无论你是大数据初学者还是希望深入了解 Hadoop 的开发者，本教程都将为你提供实用的知识和指导。
二、目录
- Hadoop 简介
- Hadoop 的核心组件
- Hadoop 的安装配置
- Hadoop 的基本操作
- Hadoop 的编程模型（MapReduce）
- Hadoop 的实际应用案例
- 总结
三、Hadoop 简介
Hadoop 是 Apache 软件基金会下的一个开源项目，最初由 Yahoo! 开发，用于处理其搜索引擎数据。Hadoop 的核心目标是为大规模数据集提供可靠的、可扩展的分布式存储和处理能力。
Hadoop 的设计基于“分而治之”的思想，通过将数据和计算任务分发到多个节点上并行处理，极大提升了数据处理的效率。它不仅适用于批处理任务，还可以与其他大数据技术（如 Spark、Hive、Pig）集成，构建完整的大数据生态系统。
Hadoop 的主要特点：
- 分布式存储：Hadoop 分布式文件系统（HDFS）将数据分块存储在多个节点上，保障高可用性和容错性。
- 分布式计算：Hadoop MapReduce 框架将计算任务分配到各个节点并行执行。
- 可扩展性：Hadoop 支持横向扩展，可通过增加节点来提升集群的处理能力。
- 高容错性：Hadoop 能够自动处理节点故障，确保数据可靠性和任务完成。
四、Hadoop 的核心组件
Hadoop 主要由以下几个核心组件组成：
1. Hadoop Distributed File System (HDFS)
HDFS 是 Hadoop 的分布式文件系统，用于存储海量数据。它将大文件拆分成多个块（默认 128MB），并存储在多个数据节点（DataNode）上。HDFS 的 NameNode 负责管理文件系统的元数据，DataNode 负责存储数据块。
2. MapReduce
MapReduce 是 Hadoop 的并行计算框架，用于处理大规模数据集。其原理是将数据拆分为多个小块，由多个节点并行处理，最终将结果汇总。
3. YARN (Yet Another Resource Negotiator)
YARN 是 Hadoop 2.0 引入的资源管理框架，负责集群中的资源调度和任务管理。它将资源管理和任务调度分离，使得 Hadoop 可以支持多种计算框架（如 Spark、Flink）。
4. Hadoop Common
Hadoop Common 提供了 Hadoop 各组件共享的库和工具，包括文件系统、网络通信、序列化等基础模块。
五、Hadoop 的安装配置
1. 环境准备
在开始安装 Hadoop 之前，需要确保以下环境已经就绪：
- 操作系统：Linux（推荐 Ubuntu 或 CentOS）
- Java 环境：Hadoop 需要 Java 8 或更高版本
- SSH 配置：Hadoop 使用 SSH 与集群节点通信，需配置免密登录
2. 下载 Hadoop
你可以从 Apache Hadoop 官方网站 下载最新版本的 Hadoop，例如：
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz3. 解压并配置环境变量
tar -zxvf hadoop-3.3.6.tar.gz -C /opt
ln -s /opt/hadoop-3.3.6 /opt/hadoop配置环境变量（例如 ~/.bashrc）：
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin4. 配置 Hadoop
Hadoop 的配置文件位于 $HADOOP_HOME/etc/hadoop/ 目录下，主要配置文件包括：
core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlworkers.txt
4.1 配置 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>4.2 配置 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>4.3 配置 mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>4.4 配置 yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>4.5 配置 workers.txt
localhost5. 启动 Hadoop
hadoop namenode -format # 格式化 HDFS 文件系统
start-dfs.sh # 启动 HDFS
start-yarn.sh # 启动 YARN6. 验证安装
使用 jps 命令查看是否启动了 Hadoop 进程：
jps应看到如下进程：
- NameNode
- DataNode
- ResourceManager
- NodeManager
六、Hadoop 的基本操作
1. 上传文件到 HDFS
hadoop fs -put /path/to/local/file /path/in/hdfs例如：
hadoop fs -put /home/user/data.txt /user/hadoop/data.txt2. 查看 HDFS 文件
hadoop fs -ls /user/hadoop3. 查看文件内容
hadoop fs -cat /user/hadoop/data.txt4. 删除文件
hadoop fs -rm /user/hadoop/data.txt5. 查看 HDFS 状态
hadoop fsck / -files -blocks七、Hadoop 的编程模型（MapReduce）
MapReduce 是 Hadoop 的核心计算模型，其基本流程分为 Map 和 Reduce 两个阶段。
1. Map 阶段
Map 函数将输入数据分割成键值对（key-value），并输出中间结果。
2. Reduce 阶段
Reduce 函数将 Map 的输出按 key 分组，进行汇总处理。
2.1 编写 MapReduce 程序
以下是一个简单的 WordCount 示例：
2.1.1 Map 类
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line);
while (tokenizer.hasMoreTokens()) {
word.set(tokenizer.nextToken());
context.write(word, one);
}
}
}2.1.2 Reduce 类
import java.io.IOException;
import java.util.Iterator;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
context.write(key, new IntWritable(sum));
}
}2.1.3 主类
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class WordCount {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(WordCountReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}2.2 打包并运行
将代码打包成 JAR 文件：
javac -cp `hadoop classpath` WordCount.java WordCountMapper.java WordCountReducer.java
jar -cvf wordcount.jar -C . .运行 MapReduce 任务：
hadoop jar wordcount.jar WordCount /user/hadoop/input /user/hadoop/output八、Hadoop 的实际应用案例
1. 日志分析
Hadoop 可用于分析 Web 服务器日志，提取访问量、访问路径、用户行为等信息，帮助优化网站性能。
2. 用户行为分析
电商、社交平台等可以利用 Hadoop 存储和分析用户行为数据，进行个性化推荐、广告投放等。
3. 金融风控
银行和金融机构可以使用 Hadoop 处理海量交易数据，进行风险评估与欺诈检测。
4. 科学研究
科研机构可以利用 Hadoop 处理大规模实验数据，如基因组数据分析、天文数据处理等。
九、总结
Hadoop 是处理大数据的有力工具，其分布式存储和计算能力使其在大数据领域占据重要地位。通过本教程，你已经了解了 Hadoop 的基本概念、核心组件、安装配置、基本操作以及 MapReduce 编程模型。
掌握了 Hadoop 的基础知识后，你可以进一步学习 Hadoop 生态系统（如 Hive、Pig、Spark 等），构建更复杂的大数据处理流程。希望本教程能为你的大数据之旅打下坚实的基础。