• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >云计算 > 一个spark receiver 或多个spark receiver 接收 多个flume agent,receiverflume

一个spark receiver 或多个spark receiver 接收 多个flume agent,receiverflume

作者:网友 字体:[增加 减小] 来源:互联网

本文主要包含一个spark receiver 或多个spark receiver 接收 多个flume agent,receiverflume等服务器相关知识,网友希望可以进行参考

一个spark receiver 或多个spark receiver 接收 多个flume agent,receiverflume



String host = args[0];
  int port = Integer.parseInt(args[1]);
  String host1 = args[2];
  int port1 = Integer.parseInt(args[3]);

  InetSocketAddress address1 = new InetSocketAddress(host,port);
  InetSocketAddress address2 = new InetSocketAddress(host1,port1);

  InetSocketAddress[] InetSocketAddressArray = {address1,address2};

JavaStreamingContext jssc = new JavaStreamingContext(new SparkConf().setAppName("JavaFlumeEventHandle_1"), Durations.seconds(2));
 JavaReceiverInputDStream<SparkFlumeEvent> flumeStream = FlumeUtils.createPollingStream(jssc, InetSocketAddressArray, StorageLevel.MEMORY_AND_DISK_SER_2());

        String host = args[0];
        int port = Integer.parseInt(args[1]);
        String host1 = args[2];
        int port1 = Integer.parseInt(args[3]);

        InetSocketAddress address1 = new InetSocketAddress(host,port);
        InetSocketAddress address2 = new InetSocketAddress(host1,port1);

        InetSocketAddress[] InetSocketAddressArray = {address1,address2};

      JavaStreamingContext jssc = new JavaStreamingContext(new SparkConf().setAppName("JavaFlumeEventHandle_1"), Durations.seconds(2));
//       JavaReceiverInputDStream<SparkFlumeEvent> flumeStream = FlumeUtils.createPollingStream(jssc, InetSocketAddressArray, StorageLevel.MEMORY_AND_DISK_SER_2());

        JavaReceiverInputDStream<SparkFlumeEvent> flumeStream = FlumeUtils.createPollingStream(jssc,host,port);
        JavaReceiverInputDStream<SparkFlumeEvent> flumeStream1 = FlumeUtils.createPollingStream(jssc, host1, port1);
        JavaDStream<SparkFlumeEvent> union = flumeStream.union(flumeStream1);

性能参照:
http://blog.sina.com.cn/s/blog_13122bdbc0102vay7.html

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • 一个spark receiver 或多个spark receiver 接收 多个flume agent,receiverflume

相关文章

  • CentOS 下面解决libvirt版本过低、升级冲突问题,centoslibvirt
  • Hive学习笔记(三),hive学习笔记
  • JOIN操作,数据库join操作
  • HDFS命令行接口详解,hdfs命令行详解
  • MapReduce的两表join一般操作,mapreduce表join
  • logstash 学习小记,logstash小记
  • Java 调用Hive 自定义UDF,java调用hiveudf
  • Dynamics CRM 2015 Update 1 系列(2): Upsert API,dynamicsupsert
  • Hadoop之——HBase笔记(补充),hadoophbase
  • 从事Cloud行业需要掌握的基本技能清单,cloud基本技能

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • kafka集群搭建,kafka集群
    • Spark编程指南V1.4.0(翻译),编程指南v1.4.0
    • libvirt 部分API 介绍,libvirtapi
    • Linux快速配置svn库,Linux配置svn库
    • 【hadoop】 3002-mapreduce程序统计单词个数示例,hadoopmapreduce
    • Hadoop之——自定义分组比较器实现分组功能,hadoop分组
    • Hadoop中自带的examples之wordcount应用案例,hadoopwordcount
    • HDFS读文件解析,
    • 2015 OpenCloud峰会总结,2015opencloud峰会
    • mysql数据导入hbase

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有