云计算

HDFS小文件的合并优化HDFS小文件的合并优化我们都知道，HDFS设计是用来存储海量数据的，特别适合存储TB、PB量级别的数据。但是随着时间的推移，HDFS上可能会存在大量的小文件，这里说的小文件指的是文件大小远远小于一个HDFS块（128MB）的大小；HDFS上存在大量的小文件至少会产生以下影响：消耗NameNode大量的内存延长MapReduce作业的总运行时间本文将介绍如何在MapReduce作业层面上将大量的
HDFS小文件的合并优化HDFS小文件的合并优化我们都知道，HDFS设计是用来存储海量数据的，特别适合存储TB、PB量级别的数据。但是随着时间的推移，HDFS上可能会存在大量的小文件，这里说的小文件指的是文件大小远远小于一个HDFS块（128MB）的大小；HDFS上存在大量的小文件至少会产生以下影响：消耗NameNode大量的内存延长MapReduce作业的总运行时间本文将介绍如何在MapRedu
mahout简介及安装配置一.mahout简介：Mahout?是一个很强大的数据挖掘工具，是一个分布式机器学习算法的集合，包括：被称为Taste的分布式协同过滤的实现、分类、聚类等。Mahout最大的优点就是基于Hadoop实现，把很多以前运行于单机上的算法，转化为了MapReduce模式，这样大大提升了算法可处理的数据量和处理性能。以下为在mahout实现的机器学习算法：算法类算
云计算NA1云计算是按使用量付费的模式，提供可用的便捷的按需的网络访问，进入可配置的计算资源共享池，这些资源能被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互
漫谈分布式系统：三种通信范型0x00前言通信是分布式系统中至关重要的一环！虽说我们在日常编写MapReduce和Spark程序的时候不需要考虑进程间之间的通信、搭建Zookeeper和Cassandra集群的时候也不用考虑节点之间的通信。但这只是因为有人已经帮我做好了这些工作，比如Hadoop定制的RPC协议、Zookeeper实现的Paxos算法、Cassandra用来做故障节点检测的Gossip协议，有很多很多这样有趣
Elasticsearch的简单使用案例1.添加一个学生的成绩(ip:port/库/表/id)curl-XPUT'http://192.168.80.123:9200/school/jsj/1'-d'{class:软件工程,subject:math,name:{first:li,last:jie},create_time:2
MapReduce处理数据平均值与数值大小排行比较，mapreduce平均值MapReduce处理数据平均值与数值大小排行比较，mapreduce平均值一：计算数据平均值在map中将名称作为key数据为value写出去/**计算平均成绩*名字作为key分数值为v
Cloud Foundry安装部署指南（下），cloudfoundryCloudFoundry安装部署指南（下），cloudfoundry上篇介绍了PivotalOpsManager和OperationsManagerDirectorforVMwarevSphere的安
Zoho产品经理谈中小企业面临的挑战及应对之策，zoho产品经理Zoho产品经理谈中小企业面临的挑战及应对之策，zoho产品经理近日，全球知名的企业云服务提供商-Zoho产品经理HytherNizam，接受了SMEntrepreneur杂志的专访，他谈到了中小企业
R语言数据分析系列之一，数据分析系列之一R语言数据分析系列之一，数据分析系列之一R语言数据分析系列之一——bycomaple.zhang写在前面：关于R的优势网上已经很多了，略去不表，这里只表干货。这是我第一篇关于R的博客，打算写个系列教程
Storm On Yarn部署，stormonyarn部署StormOnYarn部署，stormonyarn部署Storm是一个实时计算框架，与MapReduce离线计算框架，两者互补，分别可以用来解决不同场景下的问题。Yarn是Hadoop2.0中新引入的
MapReduce的两表join一般操作，mapreduce表joinMapReduce的两表join一般操作，mapreduce表join案例：(部门员工两表的join查询)原始数据员工表(emp):empnoenamejobmgrhiredatesalcommdep
Cloud Foundry service broker开发部署实例解析（上），foundrybrokerCloudFoundryservicebroker开发部署实例解析（上），foundrybrokerCloudFoundry（CF）通过buildpack扩展运行不同语言应用的能力，通过service
MapReduce的两表join操作优化，mapreduce表joinMapReduce的两表join操作优化，mapreduce表join注：优化前的分析过程详见本博的上篇博文案例地址(Address)和人员(Person)的一对多关联原始数据地址(Address)数
Cloud Foundry service broker开发部署实例解析（下），foundrybrokerCloudFoundryservicebroker开发部署实例解析（下），foundrybroker通过上篇，我们得到servicebroker的程序包，之后我们将其部署到CF上，得到真正能使用的市场
配置KVM虚拟机的网络，Bridge和Nat方式，kvmnat配置KVM虚拟机的网络，Bridge和Nat方式，kvmnat使用libvirt配置KVM虚拟机的网络，分别使用bridge和nat方式。操作系统配置：centos7，libvirt-1.1.1，qe
MapReduce处理二次排序(分区-排序-分组)，mapreduce二次MapReduce处理二次排序(分区-排序-分组)，mapreduce二次MapReduce二次排序原理在map阶段，使用job.setInputFormatClass定义的InputFormat将输
K天熟悉Apache Storm （三），apachestormK天熟悉ApacheStorm（三），apachestorm软件版本：Storm：0.9.3，Redis：2.8.19；jedis：2.6.2；代码及Jedis下载：Storm实时单词计数Storm应
说说hadoop，hadoop说说hadoop，hadoopHadoop目前我是只看过猪跑，没有吃过猪肉的状态。我在微信和微博上零星地看过一些文章，在udacity上的”IntrotoHadoopandMapReduce”课程上看
MapReduce处理表的自连接，mapreduce处理表MapReduce处理表的自连接，mapreduce处理表原始数据/**原始数据*子父*TomLucyTomJackJoneLocyJoneJackLucyMaryLucyBenJackAliceJa
Hadoop学习笔记0001——Hadoop安装配置，hadoop学习笔记0001Hadoop学习笔记0001——Hadoop安装配置，hadoop学习笔记0001Hadoop配置主要事项1、保证Master和Slave能够ping通；2、配置/etc/hosts文件；3、能够ss
MapReduce实现倒排索引，mapreduce实现索引MapReduce实现倒排索引，mapreduce实现索引使用到Combiner编程(可插拔式)在map端对输出先做合并，最基本是实现本地key合并，具有本地reduce功能如果不用combiner，
Greenplum+Hadoop学习笔记-14-定义数据库对象之创建与管理表空间，hadoop-14-Greenplum+Hadoop学习笔记-14-定义数据库对象之创建与管理表空间，hadoop-14-6.2.创建与管理表空间表空间建立在文件空间之上，文件空间建立在一系列文件系统之上。关于gpfil
Greenplum+Hadoop学习笔记-14-定义数据库对象之创建与管理数据库，hadoop-14-Greenplum+Hadoop学习笔记-14-定义数据库对象之创建与管理数据库，hadoop-14-6.定义数据库对象6.1.创建与管理数据库通过\h命令查看创建数据库的语法，如下所示：testdw
谈谈自己对随机森林(Random Forest)的一点理解以及代码注释~，randomforest谈谈自己对随机森林(RandomForest)的一点理解以及代码注释~，randomforest之前因为做过随机森林方面的项目，对随机森林有过研究，但理论这块还不是很深入，代码倒是看了不少，这里写下这

首页上一页 1 2 3 4 5 6 下一页末页

云计算

文章分类

最新内容