• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • MsSql
  • Mysql
  • oracle
  • MariaDB
  • DB2
  • SQLite
  • PostgreSQL
  • MongoDB
  • Redis
  • Access
  • 数据库其它
  • sybase
  • HBase
您的位置:首页 > 数据库 >MongoDB > MongoDB中的MapReduce简介

MongoDB中的MapReduce简介

作者: 字体:[增加 减小] 来源:互联网 时间:2017-05-11

通过本文主要向大家介绍了mongodb mapreduce,mongodb中的mapreduce,mapreduce简介,mongodb简介,mongodb数据库简介等相关知识,希望本文的分享对您有所帮助

MongoDB MapReduce

MapReduce是一种计算模型,简单的说就是将大批量的工作(数据)分解(MAP)执行,然后再将结果合并成最终结果(REDUCE)。这样做的好处是可以在任务被分解后,可以通过大量机器进行并行计算,减少整个操作的时间。

上面是MapReduce的理论部分,下面说实际的应用,下面以MongoDB MapReduce为例说明。

下面是MongoDB官方的一个例子:
> db.things.insert( { _id : 1, tags : ['dog', 'cat'] } );
> db.things.insert( { _id : 2, tags : ['cat'] } );
> db.things.insert( { _id : 3, tags : ['mouse', 'cat', 'dog'] } );
> db.things.insert( { _id : 4, tags : []  } );

> // map function
> map = function(){
...    this.tags.forEach(
...        function(z){
...            emit( z , { count : 1 } );
...        }
...    );
...};

> // reduce function
> reduce = function( key , values ){
...    var total = 0;
...    for ( var i=0; i<values.length; i++ )
...        total += values[i].count;
...    return { count : total };
...};

db.things.mapReduce(map,reduce,{out:'tmp'})
{
    "result" : "tmp",
    "timeMillis" : 316,
    "counts" : {
        "input" : 4,
        "emit" : 6,
        "output" : 3
    },
    "ok" : 1,
}
> db.tmp.find()
{ "_id" : "cat", "value" : { "count" : 3 } }
{ "_id" : "dog", "value" : { "count" : 2 } }
{ "_id" : "mouse", "value" : { "count" : 1 } }
</div>

例子很简单,计算一个标签系统中每个标签出现的次数。

这里面,除了emit函数之外,所有都是标准的js语法,这个emit函数是非常重要的,可以这样理解,当所有需要计算的文档(因为在mapReduce时,可以对文档进行过滤,接下来会讲到)执行完了map函数,map函数会返回key_values对,key即是emit中的第一个参数key,values是对应同一key的emit的n个第二个参数组成的数组。这个key_values会作为参数传递给reduce,分别作为第1.2个参数。

reduce函数的任务就是将key-values变成key-value,也就是把values数组变成一个单一的值value。当key-values中的values数组过大时,会被再切分成很多个小的key-values块,然后分别执行Reduce函数,再将多个块的结果组合成一个新的数组,作为Reduce函数的第二个参数,继续Reducer操作。可以预见,如果我们初始的values非常大,可能还会对第一次分块计算后组成的集合再次Reduce。这就类似于多阶的归并排序了。具体会有多少重,就看数据量了。

reduce一定要能被反复调用,不论是映射环节还是前一个简化环节。所以reduce返回的文档必须能作为reduce的第二个参数的一个元素。

(当书写Map函数时,emit的第二个参数组成数组成了reduce函数的第二个参数,而Reduce函数的返回值,跟emit函数的第二个参数形式要一致,多个reduce函数的返回值可能会组成数组作为新的第二个输入参数再次执行Reduce操作。)

MapReduce函数的参数列表如下:
db.runCommand(
 { mapreduce : <collection>,
   map : <mapfunction>,
   reduce : <reducefunction>
   [, query : <query filter object>]
   [, sort : <sort the query.  useful for optimization>]
   [, limit : <number of objects to return from collection>]
   [, out : <output-collection name>]
   [, keeptemp: <true|false>]
   [, finalize : <finalizefunction>]
   [, scope : <object where fields go into javascript global scope >]
   [, verbose : true]
 }
);
</div>
或者这么写:
db.collection.mapReduce(
                         <map>,
                         <reduce>,
                         {
                           <out>,
                           <query>,
                           <sort>,
                           <limit>,
                           <keytemp>,
                           <finalize>,
                           <scope>,
                           <jsMode>,
                           <verbose>
                         }
                       )
</div>

1.mapreduce:指定要进行mapreduce处理的collection
2.map:map函数
3.reduce:reduce函数
4.out:输出结果的collection的名字,不指定会默认创建一个随机名字的collection(如果使用了out选项,就不必指定keeptemp:true了,因为已经隐含在其中了)
5.query:一个筛选条件,只有满足条件的文档才会调用map函数。(query。limit,sort可以随意组合)
6.sort:和limit结合的sort排序参数(也是在发往map函数前给文档排序),可以优化分组机制
7.limit:发往map函数的文档数量的上限(要是没有limit,单独使用sort的用处不大)
8.keytemp:true或false,表明结果输出到的collection是否是临时的,如果想在连接关闭后仍然保留这个集合,就要指定keeptemp为true,如果你用的是MongoDB的mongo客户端连接,那必须exit后才会删除。如果是脚本执行,脚本退出或调用close会自动删除结果collection
9.finalize:是函数,它会在执行完map、reduce后再对key和value进行一次计算并返回一个

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • Mongodb中MapReduce实现数据聚合方法详解
  • MongoDB中的MapReduce简介
  • MongoDB中MapReduce编程模型使用实例

相关文章

  • 2017-05-11MongoDB入门教程(包含安装、常用命令、相关概念、使用技巧、常见操作等)
  • 2017-05-11MongoDB数据库forEach循环遍历用法
  • 2017-05-11MongoDB数据库的特色和优点介绍
  • 2017-05-11Windows下MongoDB配置用户权限实例
  • 2017-05-11mongodb在建立一个T级别的数据库时,进程挂掉的解决方法
  • 2017-05-11利用mongodb查询某坐标是否在规定多边形区域内的方法
  • 2017-05-11MongoDB中javascript脚本编程简介和入门实例
  • 2017-05-11MongoDB的创建、更新和删除
  • 2017-05-11MongoDB Windows安装服务方法与注意事项
  • 2017-05-11MongoDB教程之数据操作实例

文章分类

  • MsSql
  • Mysql
  • oracle
  • MariaDB
  • DB2
  • SQLite
  • PostgreSQL
  • MongoDB
  • Redis
  • Access
  • 数据库其它
  • sybase
  • HBase

最近更新的内容

    • mongodb 数据库操作详解--创建,切换,删除
    • MongoDB 备份与恢复
    • MongoDB中MapReduce编程模型使用实例
    • MongoDB的主从复制及副本集的replSet配置教程
    • 详解MongoDB中创建集合与删除集合的操作方法
    • MongoDB加入到Windows服务的方法
    • MongoDB备份、还原、导出、导入、克隆操作示例
    • C#实现窗体中的各个控件同比自动放缩大小
    • MongoDB系列教程(一):NoSQL起源
    • CentOS 6.4创建Mongodb副本集

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有