• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >虚拟化 > Hadoop Streaming 获取mapreduce_map_input_file遇到的版本问题,hadoopmapreduce

Hadoop Streaming 获取mapreduce_map_input_file遇到的版本问题,hadoopmapreduce

作者:网友 字体:[增加 减小] 来源:互联网

本文主要包含Hadoop Streaming 获取mapreduce_map_input_file遇到的版本问题,hadoopmapreduce等服务器相关知识,网友希望可以进行参考

Hadoop Streaming 获取mapreduce_map_input_file遇到的版本问题,hadoopmapreduce


1.Hadoop Streaming,可以在任务中获取hadoop设置的环境变量,

  例如用awk写的map可以这样获取:filename = ENVIRON["mapreduce_map_input_file"]

2.可是在不同的Hadoop集群提交作业的时候却遇到了版本的问题,

   在0.21.0中,使用mapreduce_map_input_file可以取到作业输入文件名

   在1.0.3中,必须使用map_input_file才可以取到作业输入文件名

3.查询网络资源,说是hadoop新旧api的问题,

  即新api使用mapreduce_map_input_file这个环境变量能够获取

  旧的api必须使用map_input_file才能获取

4.hadoop分支:

  hadoop 0.21.0与1.0.3不属于一个分支,1.0.3是从0.20.1分支中发展而来的,


需要进一步验证,可以阅读下: hadoop-0.21.0-streaming.jar 与 hadoop-streaming-1.0.3.jar能够看出其中的端倪

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • Hadoop Streaming 获取mapreduce_map_input_file遇到的版本问题,hadoopmapreduce

相关文章

  • 详解使用Dockerfile创建带Apache服务的CentOS Docker镜像
  • Docker学习笔记之Weave实现跨主机容器互联
  • Docker 如何分配宿主机网段 IP
  • 服务器虚拟化基础设施:2014年争夺战
  • VMware网络连接模式(桥接、NAT以及仅主机模式的详细介绍和区别)
  • OpenStack 创建windows镜像实现步骤
  • 详解Docker使用Linux iptables 和 Interfaces管理容器网络
  • 详解Docker私有仓库最简便的搭建方法
  • 利用OpenVSwitch在多台主机上部署Docker的教程
  • 解决docker pull镜像速度慢的问题的方法

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • Hadoop编程基于MR程序实现倒排索引示例
    • VM12中CentOS7以NAT的方式连接网络的方法
    • 虚拟化之VMware Workstation 10.0.x安装教程(图文)
    • Docker 教程之镜像创建及修改详细介绍
    • 详解Docker 数据卷管理
    • XenServer6.0中虚拟机设置自动启动的方法
    • 详解Docker使用Linux iptables 和 Interfaces管理容器网络
    • Windows Server 2012 Hyper-V群集图文教程
    • Docker 私有仓库恢复实例详解
    • Hadoop安全性,hadoop安全机制

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有