• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >云计算 > NOSQL(六)集群并发计算模型Map-Reduce,nosqlmap-reduce

NOSQL(六)集群并发计算模型Map-Reduce,nosqlmap-reduce

作者:网友 字体:[增加 减小] 来源:互联网

本文主要包含nosql集群,nosql数据模型,nosql,nosql数据库,nosql是什么等服务器相关知识,网友希望可以进行参考

NOSQL(六)集群并发计算模型Map-Reduce,nosqlmap-reduce


《NoSQL精粹》读书笔记,转载请注明出处《jiq?钦's technical Blog》

 

         面向聚合的数据库能够兴起,很大程度上是由于集群的增长。集群不仅改变了数据存储的规则,还改变了数据计算的方式。

         集中式数据库通常两种方式处理计算逻辑:一种是在数据库服务器上执行数据计算、一种是在客户端计算机上执行数据计算。把数据库放到集群之后,采用的计算方式是将计算分布到多台计算机上,同时为了尝试减少网络传输的数据量,把节点所需的数据尽可能多地放到该节点上执行。这就是所谓的“Map-Reduce计算模型”。

         举一个适合于Map-Reduce的场景,考虑客户与订单的例子,因为经常需要一次性访问整个订单,所以将订单作为一个聚合,其中包含多个商品项,每个商品项由<产品ID,数量,价格>组成。然而需要查看最近7天来各个商品的销售总额,这时看到的聚合结构的缺点,为了获得这个销售报表,需要访问所有订单聚合,也就是说需要访问集群中所有机器。采用Map-Reduce正好可以解决这个问题,map函数在每台机器上运行,以订单作为输入,以商品id和销售额的键值对作为输出,Reduce将所有这些键值对进行归并得出最终结果。

         更多的适合于Map-Reduce的例子如经典的wordCount,PageRank,InversedIndex等。

MapReduce特点:

u  MapReduce是在集群上执行并发计算的模式

u  Map从聚合中读取数据,缩减为键值对,在所有节点上并发执行

u  Map的输出是许多具备同一关键字的值,而Reduce则将它们化简为单一的输出值,每个Reduce函数只操作与单个键相关的Map结果。所以Reduce可以根据关键字并发执行

         

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • NOSQL(六)集群并发计算模型Map-Reduce,nosqlmap-reduce

相关文章

  • Hadoop常见重要命令行操作及命令作用,hadoop命令行命令
  • 《转》OpenStack Live Migration,《转》openstack
  • 什么是OpenStack,OpenStack
  • Spark源码分析之worker节点启动driver和executor
  • 金典依旧,钱龙金典版
  • Hadoop之——搭建ZooKeeper服务器集群,hadoopzookeeper
  • MapReduce编程之倒排索引,mapreduce编程索引
  • Hadoop之——数据类型,hadoop数据类型
  • Nginx使用ngx_zeromq模块返回502错误的解决方法,nginxngx_zeromq
  • MapReduce编程之实现多表关联,mapreduce编程关联

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • Azure云平台学习之路(三)——Cloud Services,azurecloud
    • zookeeper——分布式锁,zookeeper
    • kernel interrupt,interrupt
    • Redis源码学习-Lua脚本,redis源码-lua
    • Hadoop之——正常启动而无法正常关闭,hadoop无法正常关闭
    • Elasticsearch之Nested Query,elasticsearch
    • Hadoop对小文件的解决方案,
    • Cloud Foundry buildpack开发部署实例解析,foundrybuildpack
    • Hive Developing,hivedeveloping
    • Hadoop之——HDFS随笔,hadoophdfs

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有