MongoDB - MapReduce



根据 MongoDB 文档,**Map-reduce** 是一种数据处理范式,用于将大量数据压缩成有用的聚合结果。MongoDB 使用 **mapReduce** 命令进行 map-reduce 操作。MapReduce 通常用于处理大型数据集。

MapReduce 命令

以下是基本 mapReduce 命令的语法:

>db.collection.mapReduce(
   function() {emit(key,value);},  //map function
   function(key,values) {return reduceFunction}, {   //reduce function
      out: collection,
      query: document,
      sort: document,
      limit: number
   }
)

map-reduce 函数首先查询集合,然后将结果文档映射到发出键值对,然后根据具有多个值的键进行归约。

在上述语法中:

  • **map** 是一个 JavaScript 函数,它将值与键映射并发出键值对

  • **reduce** 是一个 JavaScript 函数,它减少或分组所有具有相同键的文档

  • **out** 指定 map-reduce 查询结果的位置

  • **query** 指定用于选择文档的可选选择条件

  • **sort** 指定可选的排序条件

  • **limit** 指定要返回的可选最大文档数

使用 MapReduce

考虑以下存储用户帖子的文档结构。文档存储用户的 user_name 和帖子的状态。

{
   "post_text": "tutorialspoint is an awesome website for tutorials",
   "user_name": "mark",
   "status":"active"
}

现在,我们将对我们的 **posts** 集合使用 mapReduce 函数来选择所有活动帖子,根据 user_name 对其进行分组,然后使用以下代码计算每个用户的帖子数量:

>db.posts.mapReduce( 
   function() { emit(this.user_id,1); }, 
	
   function(key, values) {return Array.sum(values)}, {  
      query:{status:"active"},  
      out:"post_total" 
   }
)

上述 MapReduce 查询输出以下结果:

{
   "result" : "post_total",
   "timeMillis" : 9,
   "counts" : {
      "input" : 4,
      "emit" : 4,
      "reduce" : 2,
      "output" : 2
   },
   "ok" : 1,
}

结果显示共有 4 个文档匹配查询 (status:"active"),map 函数发出了 4 个带有键值对的文档,最后 reduce 函数将具有相同键的映射文档分组为 2 个。

要查看此 MapReduce 查询的结果,请使用 find 运算符:

>db.posts.mapReduce( 
   function() { emit(this.user_id,1); }, 
   function(key, values) {return Array.sum(values)}, {  
      query:{status:"active"},  
      out:"post_total" 
   }
	
).find()

上述查询给出以下结果,表明 **tom** 和 **mark** 两个用户都分别有两个处于活动状态的帖子:

{ "_id" : "tom", "value" : 2 }
{ "_id" : "mark", "value" : 2 }

以类似的方式,MapReduce 查询可用于构建大型复杂的聚合查询。MapReduce 使用自定义 JavaScript 函数,非常灵活且强大。

广告