- MapReduce对输入多文件的处理,mapreduce输入处理MapReduce对输入多文件的处理,mapreduce输入处理MultipleInputs类指定不同的输入文件路径以及输入文化格式现有两份数据phone123,goodnumber12
- hive 不以科学计数法输出,hive计数法输出hive不以科学计数法输出,hive计数法输出1.原始的sql:sum(online_time)num输出:小R2.6014523E7中R3881104大R3569632.转换后的sql:cast(s
- hadoop单机存储均衡和坏block处理,hadoop单机blockhadoop单机存储均衡和坏block处理,hadoop单机block1.Namenode岩机处理:重启集群无法恢复的情况下这时候解决的办法很简单,把namenode镜像存储的路径下内容删除掉,再把s
- MapReduce处理输出多文件格式(MultipleOutputs),mapreduce多文件输出MapReduce处理输出多文件格式(MultipleOutputs),mapreduce多文件输出MultiPleOutputs原理MapReducejob中,可以使用FileInputFormat
- libvirt网络过滤规则:禁止客户机(bridge方式)连接外网,libvirtbridgelibvirt网络过滤规则:禁止客户机(bridge方式)连接外网,libvirtbridge首先是libvirt定义网络过滤规则的相关命令:virshnwfilter-define后面加上一个xml
- 深入理解kafka设计原理,深入理解kafka设计深入理解kafka设计原理,深入理解kafka设计最近开研究kafka,下面分享一下kafka的设计原理。kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较
- 深入理解Scala 标识符,命名和域,深入理解scala深入理解Scala标识符,命名和域,深入理解scala在Scala中,命名用来表示类型,值,方法以及类,这些统称为实体。命名在局部定义与声明,继承,import子句,package子句中
- 玩转OpenStack网络Neutron(1)--热身,openstackneutron玩转OpenStack网络Neutron(1)--热身,openstackneutron欢迎转载,转载请保留原作者信息欢迎交流学习,共同进步!作者:颜海峰个人博客:http://yanheven.gi
- hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍,hadoopnamenodehadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍,hadoopnamenode1)NameNode、DataNode和ClientNameNode可以看作是
- 玩转OpenStack网络Neutron(2)--使用Open vSwitch实现VLAN类型租户网络,openstackvswitch玩转OpenStack网络Neutron(2)--使用OpenvSwitch实现VLAN类型租户网络,openstackvswitch欢迎转载,转载请保留原作者信息欢迎交流学习,共同进步!作者:颜海峰
- 可穿戴KEY带来的身份认证的革命,key身份认证可穿戴KEY带来的身份认证的革命,key身份认证在用户身份认证方面,PKI体系给出了极好的解决方案,即基于X.509数字证书的用户身份认证。该方法基于非对称公钥算法的难题为用户提供非常安全的认证过程。
- HDFS概念详解—块,hdfs详解HDFS概念详解—块,hdfs详解一个磁盘有它的块大小,代表着它能够读写的最小数据量。文件系统通过处理大小为一个磁盘块大小的整数倍数的数据块来运作这个磁盘。文件系统块一般为几千字节,而磁盘块一般为51
- 联想台式机启天m4350 启用intel vt-x,m4350vt-x联想台式机启天m4350启用intelvt-x,m4350vt-x在vmwareworkstations1064位上安装windowsserver2012操作系统时,出现如下错误:已将该虚拟机配置为使
- Hive编程指南_学习笔记01,hive编程指南Hive编程指南_学习笔记01,hive编程指南第四章:HQl的数据定义1:创建数据库createdatabasefinancials;createdatabaseifnotexistsfinanci
- Greenplum+Hadoop学习笔记-14-定义数据库对象之创建与管理模式,hadoop-14-Greenplum+Hadoop学习笔记-14-定义数据库对象之创建与管理模式,hadoop-14-6.3.创建与管理模式概述:DB内组织对象的一种逻辑结构,一个DB内可以有多个模式,在未指定模式时默
- [Hive]MapReduce将数据写入Hive分区表,mapreducehive[Hive]MapReduce将数据写入Hive分区表,mapreducehive业务需求:将当天产生的数据写入Hive分区表中(以日期作为分区)业务分析:利用MapReduce将数据写入Hive表实
- Scala类型详解,scala详解Scala类型详解,scala详解语法:Type::=InfixType?=?Type|?(?[?=?Type]?)??=?Type|InfixType[ExistentialClause]Exist
- HDFS概念详解---名称节点与数据节点,hdfs节点HDFS概念详解---名称节点与数据节点,hdfs节点HDFS集群有两种节点,以管理者-工作者的模式运行,即一个名称节点(管理者)和多个数据节点(工作者)。名称节点管理文件系统的命名空间。它维护着这个
- 玩转OpenStack网络Neutron(3)--配置多种不同类型网络,openstackneutron玩转OpenStack网络Neutron(3)--配置多种不同类型网络,openstackneutron欢迎转载,转载请保留原作者信息欢迎交流学习,共同进步!作者:颜海峰个人博客:http://yan
- 分布式系列,分布式系统分布式系列,分布式系统dubbo服务发布之后,我们可以利用telnet命令进行调试、管理。Dubbo2.0.5以上版本服务提供端口支持telnet命令,下面我以Windows为例抛砖引玉一下:1.连接
- centos源码编译docker,centos源码dockercentos源码编译docker,centos源码docker安装golangcentos7直接安装golangyuminstallgolangcentos6需添加软件源,然后再安装rpm-ivhht
- 玩转OpenStack网络Neutron(4)--网络隧道技术 VXALN & GRE,openstackvxaln玩转OpenStack网络Neutron(4)--网络隧道技术VXALNGRE,openstackvxaln欢迎转载,转载请保留原作者信息欢迎交流学习,共同进步!作者:颜海峰个人博客:http://y
- OutOfMemoryError PermGen space 的解决办法(头痛了几天),permgenspaceOutOfMemoryErrorPermGenspace的解决办法(头痛了几天),permgenspace解决OutOfMemoryError:PermGenspace,过程是痛苦的,结果是舒畅的最近
- OpenStack-API开发,openstackapiOpenStack-API开发,openstackapi介绍两种OpenStack-API(Java版)——jcouldsopenstack4jJclouds1.介绍jclouds-该API提供云计算
- zookeeper——分布式锁,zookeeperzookeeper——分布式锁,zookeeper我们可以把zookeeper看做是一个高可用的分布式文件系统。借助于zookeeper的特性,我们可以很方便的实现分布式的一些服务其中典型的应用场景有