题目
什么是 MapReduce?
答案
**MapReduce** 是 Google 提出的一个 **分布式计算模型**,后来被 Hadoop 生态实现。它的核心思想是:把复杂的 **大规模数据处理任务** 拆分成两个阶段 —— **Map(映射)** 和 **Reduce(归约)**,并行运行在分布式集群上。 MapReduce 程序由两个主要函数组成: - **Map(映射阶段)** - 输入:一部分原始数据(比如一行日志、一段文本)。 - 输出:键值对 (key, value)。 - 作用:把数据分解并提取出关键特征。 - **Reduce(归约阶段)** - 输入:同一个 key 对应的所有 value 列表。 - 输出:一个合并后的结果。 - 作用:对 key 分组后的数据进行汇总/计算。