Lab

引子 本文记录完成 Lab01 的过程,跟着 AI 照猫画虎. MapReduce 首先我们需要简单了解一下 MapReduce 这篇论文,其提出了分布式的思想,具体如下: Map:将一个大的问题分解为小问题,应用用户定义的 Map 函数,生成中间键值对——文本分割为单词,输出 {world, 1} 这样的键值对 Reduce: 将中间键值对按 key 分组,应用用户定义的 Reduce 函数,生成最终输出——Reduce 对同一 key 进行计数求和 {word, count} 系统可以自动做到并行,任务调度,负载均衡,容错,让用户只需要开发 Map 和 Reduce 这两个函数 这样的一个系统由三部分组成 ...