• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >云计算 > 详说大数据计算的可类化Classable,类化classable

详说大数据计算的可类化Classable,类化classable

作者:网友 字体:[增加 减小] 来源:互联网

本文主要包含classable,数据挖掘聚类算法,统计与数据科学类专业,定类数据,顶类数据恢复软件等服务器相关知识,网友希望可以进行参考

详说大数据计算的可类化Classable,类化classable


        可类化(Classable)是Laxcus大数据管理系统提供的一项基础功能,它能够将类转化为一串字节数组,或者逆向将字节数组转化为一个类。这项功能与JAVA提供的序列化(Serializable)非常相似,但是不同之处在于,可类化是可以由用户自己定义的,包括数据的选择、数据的样式、数据结构等一系列的规则。 
        这样的好处在于,我们摆脱了JAVA序列化的那种由系统硬性规定的固定格式,可以自由组织我们需要的数据,包括一些可能是私密的数据;不便在于,因为这种自由,程序员需要做些牺牲,编写代码来实现这项技术。
        尽管这样,Laxcus大数据管理系统已经将这项工作做至极简。API中提供了可类化接口,用户需要做的,是在自己的类中继承这个接口,接口只有两个方法:
<1> int build(ClassWriter writer);
<2> int resolve(ClassReader reader);
        第一个方法是将类输出到可类化写入器(ClassWriter)中,写入器能够写入目前已知的所有格式的数据。
        第二个方法是对写入操作的反向动作,把数据从可类化读取器(ClassReader)还原到类里。
        设计可类化的初衷是因为,在之前的Laxcus大数据集群里,负责组织实施大数据计算的中间件计算组件,采用了JAVA系统默认的序列化来产生数据。序列化产生数据量非常庞大,对网络通信、网络计算、数据存储都造成了巨大的担负。更关键的问题是,在序列化的数据里面,有很多数据是计算过程中并不需要的,它们成为大数据计算的数据“鸡肋”。
        目前的Laxcus中间件计算组件,经过可类化改造后,在Laxcus大数据集群里传输的数据量明显减少,普遍减少量在4-5倍左右,个别已经超过10倍。数据在网络中的传输速度,以及计算机对数据的处理反应能力也得到明显的提高。
        可类化对提升大数据能力非常有效。
?

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • 详说大数据计算的可类化Classable,类化classable

相关文章

  • 初试 Coding.net 在线IDE——WebIDE,coding.netwebide
  • Elasticsearch之scroll,elasticsearch
  • Storm计算结果是如何存放的,Storm计算结果存放
  • 玩转OpenStack网络Neutron(1)--热身,openstackneutron
  • Spark源码分析之worker节点启动driver和executor
  • sqoop流程详解,sqoop详解
  • 多网卡PC装OVS改造成OpenFlow交换机配置脚本,ovsopenflow
  • Hadoop2伪分布模式安装,hadoop2分布模式
  • hadoop distcp 实现不同集群之间数据同步,hadoopdistcp
  • centos源码编译docker,centos源码docker

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • 分布式数据库MVCC读写设计,数据库mvcc读写
    • spark streaming kafka1.4.1中的低阶api createDirectStream使用总结,directstream
    • (Kilo)Devstack Kilo版本localrc推荐,devstacklocalrc
    • Andrew Ng Machine Learning,andrewlearning
    • OpenStack Kilo新特性解读和分析(1),openstackkilo
    • Greenplum数据库升级实务(上),greenplum实务
    • Hadoop之——SQOOP笔记,hadoopsqoop
    • spark-OutOfMemory:GC overhead limit exceeded 解决,timelimitexceeded
    • Azure云平台学习之路(三)——Cloud Services,azurecloud
    • Hbase Client Test Case,hbasecase

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有