• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >云计算 > 从Hadoop URL中读取数据,hadoopurl读取数据

从Hadoop URL中读取数据,hadoopurl读取数据

作者:网友 字体:[增加 减小] 来源:互联网

本文主要包含hadoop url,大数据hadoop,hadoop数据分析,hadoop大数据技术,hadoop大数据教程等服务器相关知识,网友希望可以进行参考

从Hadoop URL中读取数据,hadoopurl读取数据


要从Hadoop文件系统中读取文件,一个最简单的方法是使用java.net.URL对象来打开一个数据流,从而从中读取数据。一般的格式如下:

1.      InputStream in = null;  

2.  try {  

3.       in = new URL("hdfs://host/path").openStream(); 

4.       // process in 

5.  } finally {  

6.       IOUtils.closeStream(in); 

7.  } 

这里还需要一点工作来让Java识别Hadoop文件系统的URL 方案,就是通过一个FsUrlStreamHandlerFactory实例来调用在URL中的setURLStreamHandler-Factory方法。这种方法在一个Java虚拟机中只能被调用一次,因此一般都在一个静态块中执行。这个限制意味着如果程序的其他部件(可能是不在你控制中的第三方部件)设置一个URLStreamHandlerFactory,我们便无法再从Hadoop中读取数据。下一节将讨论另一种方法。

例3-1展示了以标准输出显示Hadoop文件系统的文件的程序,它类似于Unix的cat命令。

例3-1:用URLStreamHandler以标准输出格式显示Hadoop文件系统的文件

1.  public class URLCat {  

2.   

3.    static {  

4.      URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); 

5.    }  

6.      

7.    public static void main(String[] args) throws Exception { 

8.      InputStream in = null;  

9.      try {  

10.       in = new URL(args[0]).openStream(); 

11.       IOUtils.copyBytes(in, System.out, 4096, false); 

12.     } finally { 

13.       IOUtils.closeStream(in); 

14.     }  

15.   }  

16. } 

我们使用Hadoop中简洁的IOUtils类在finally子句中关闭数据流,同时复制输入流和输出流之间的字节(本例中是System.out)。copyBytes方法的最后两个参数,前者是要复制的缓冲的大小,后者表示复制结束后是否关闭数据流。这里是将输入流关掉了,而System.out不需要关闭。

下面是一个运行示例:

1.      % hadoop URLCat hdfs://localhost/user/tom/quangle.txt 

2.  On the top of the Crumpetty Tree 

3.  The Quangle Wangle sat,  

4.  But his face you could not see, 

5.  On account of his Beaver Hat. 

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • 从Hadoop URL中读取数据,hadoopurl读取数据

相关文章

  • Spark Standalone 以及 HDFS系统环境搭建,standalonehdfs
  • Deploy FAILURE:An app Was not successfully detected by any available buildpack,deploybuildpack
  • HDFS概念详解—块,hdfs详解
  • NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(一),hadoop2.7安装
  • 机器学习-模型评估与选择
  • 一步一步教你搭建基于docker的MongoDB复制集群环境,dockermongodb
  • Error: Failed to launch instance "win7": Please try again later [Error: No valid host was found. ].,win7valid
  • openstack中Nova组件images的所有python API 汇总,openstacknova
  • 大数据学习笔记1--hadoop简介和入门,学习笔记1--hadoop
  • 需要时才去度秘一下,不如苍老师主动找你服务一下,

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • openstack中Nova组件servers的所有python API 汇总,openstacknova
    • 大数据的两种处理方式,数据两种处理方式
    • HBase基本数据操作详解,HBase数据操作详解
    • HDFS 异常,HDFS
    • 一步一步跟我学习hadoop(3)----hadoop命令手册,hadoop----hadoop
    • Greenplum+Hadoop学习笔记-15-管理数据,hadoop-15-
    • Apriori算法的java实现,apriori算法java
    • Sqoop工具,sqoop安装
    • HDFS命令行接口详解,hdfs命令行详解
    • pagerank算法的MapReduce实现,pagerankmapreduce

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有