题目
什么是 MapReduce?
答案
**MapReduce** 是 Google 提出的一个 **分布式计算模型**,后来被 Hadoop 生态实现。它的核心思想是:把复杂的 **大规模数据处理任务** 拆分成两个阶段 —— **Map(映射)** 和 **Reduce(归约)**,并行运行在分布式集群上。
MapReduce 程序由两个主要函数组成:
- **Map(映射阶段)**
- 输入:一部分原始数据(比如一行日志、一段文本)。
- 输出:键值对 (key, value)。
- 作用:把数据分解并提取出关键特征。
- **Reduce(归约阶段)**
- 输入:同一个 key 对应的所有 value 列表。
- 输出:一个合并后的结果。
- 作用:对 key 分组后的数据进行汇总/计算。
