本文主要包含大数据学习笔记1--hadoop简介和入门，学习笔记1--hadoop等服务器相关知识,网友希望可以进行参考
大数据学习笔记1--hadoop简介和入门，学习笔记1--hadoop
Hadoop简介:
- 分布式、可扩展、可靠的、分布式计算框架。
组件：
common：公共组件
hdfs：分布式文件系统
yarn：运行环境
mapreduce：mr计算模型
生态系统：
Ambari:操作界面
avro：通用的序列化机制、与语言无关
cassandra:数据库
chukwa：数据收集系统
hbase:分布式大表数据库
hive：基于sql的分析系统
matout：机器学习算法库
pig：脚本语言
spark：快速通用的计算引擎，主要用于迭代计算
tez：数据流框架
zookeeper：高性能的协调服务
海量数据分析：
- 原始方式？空间限制|性能限制|单节点故障| 细节实现问题
- hdfs?提供统一接口|大文件切分|分布式存储|平行扩展|高可靠
HDFS
hadoop生态系统分布式文件系统，用来解决大数据存储问题。
hdfs是在本地文件系统之上抽象出的文件系统，提供统一的访问接口（目录树），实际的文件经过切分和负载均衡算法之后，存储在本地的文件系统中，通过一个主节点（Namenode）统一管理。
为了提高数据存储的可靠性，文件的block会被存储多个副本（默认3个）第一个在本机，第二个在本机所在地同一个机架上，第三个在不同的机架上。
文件系统：提供一套统一的访问接口，屏蔽底层实现细节的系统。
hadoop目录结构：
bin：可执行脚本
etc：系统配置
lib：本地库
sbin：系统的可执行脚本
share：共享目录，存放的jar包
hdfs文件操作：
- 使用hdfs dfs命令操作
- put：上传文件
- get：下载文件
- ls：显示文件
- cat：显示文件内容
- tail：查看文件末尾
- count：统计文件数
- cp：hdfs的拷贝
- df：查看磁盘容量
- du：查看文件大小
- mkdir：创建文件夹 -p创建父文件夹
- rm：删除
- mv：移动
- createSnapshot：创建快照
- chown：修改所有者
- chomd：修改权限
hdfs文件存储
- 文件存储在tmp/data/子文件夹下面，大文件会被切分为128M大小的block，文件只是被简单的切分，不做任何操作，可以手动拼接为完整的文件。