MapReduce – API
MapReduce – API
在本章中，我们将仔细研究 MapReduce 编程操作中涉及的类及其方法。我们将主要关注以下方面 –
- 作业上下文接口
- 工作班级
- 映射器类
- 减速机类
作业上下文接口
JobContext 接口是所有类的超级接口，它定义了 MapReduce 中的不同作业。它为您提供了在任务运行时提供给任务的作业的只读视图。
以下是 JobContext 接口的子接口。
| S.No. | 子接口说明 |
|---|---|
| 1. | MapContext<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
定义提供给 Mapper 的上下文。 |
| 2. | ReduceContext<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
定义传递给 Reducer 的上下文。 |
Job类是实现JobContext接口的主要类。
工作班级
Job 类是 MapReduce API 中最重要的类。它允许用户配置作业、提交作业、控制其执行和查询状态。set 方法仅在提交作业之前有效，之后它们将抛出 IllegalStateException。
通常，用户创建应用程序，描述作业的各个方面，然后提交作业并监控其进度。
以下是如何提交作业的示例 –
// Create a new Job
Job job = new Job(new Configuration());
job.setJarByClass(MyJob.class);
// Specify various job-specific parameters
job.setJobName("myjob");
job.setInputPath(new Path("in"));
job.setOutputPath(new Path("out"));
job.setMapperClass(MyJob.MyMapper.class);
job.setReducerClass(MyJob.MyReducer.class);
// Submit the job, then poll for progress until the job is complete
job.waitForCompletion(true);
构造函数
以下是 Job 类的构造函数摘要。
| S.No | 构造函数总结 |
|---|---|
| 1 | 工作() |
| 2 | 作业（配置配置） |
| 3 | 作业（配置配置，字符串作业名称） |
方法
Job 类的一些重要方法如下 –
| S.No | 方法说明 |
|---|---|
| 1 | 获取作业名称()
用户指定的作业名称。 |
| 2 | getJobState()
返回作业的当前状态。 |
| 3 | 做完了（）
检查作业是否完成。 |
| 4 | 设置输入格式类()
设置作业的 InputFormat。 |
| 5 | setJobName（字符串名称）
设置用户指定的作业名称。 |
| 6 | 设置输出格式类（）
设置作业的输出格式。 |
| 7 | setMapperClass(Class)
设置作业的映射器。 |
| 8 | setReducerClass(Class)
为作业设置 Reducer。 |
| 9 | setPartitionerClass(Class)
设置作业的分区程序。 |
| 10 | setCombinerClass(Class)
为作业设置组合器。 |
映射器类
Mapper 类定义了 Map 作业。将输入键值对映射到一组中间键值对。映射是将输入记录转换为中间记录的单个任务。转换后的中间记录不需要与输入记录的类型相同。一个给定的输入对可以映射到零个或多个输出对。
方法
map是 Mapper 类中最突出的方法。语法定义如下 –
map(KEYIN key, VALUEIN value, org.apache.hadoop.mapreduce.Mapper.Context context)
为输入拆分中的每个键值对调用一次此方法。
减速机类
Reducer 类定义 MapReduce 中的 Reduce 作业。它将共享一个键的一组中间值减少到一组较小的值。Reducer 实现可以通过 JobContext.getConfiguration() 方法访问作业的配置。Reducer 具有三个主要阶段 – Shuffle、Sort 和 Reduce。
-
Shuffle – Reducer 使用 HTTP 跨网络复制每个 Mapper 的排序输出。
-
Sort – 框架按键对 Reducer 输入进行合并排序（因为不同的 Mapper 可能输出相同的键）。shuffle 和 sort 阶段同时发生，即在获取输出时，它们被合并。
-
Reduce – 在此阶段，为排序输入中的每个 <key, (collection of values)> 调用 reduce (Object, Iterable, Context) 方法。
方法
reduce是 Reducer 类中最突出的方法。语法定义如下 –
reduce(KEYIN key, Iterable<VALUEIN> values, org.apache.hadoop.mapreduce.Reducer.Context context)
对于键值对集合中的每个键，都会调用此方法一次。
