本文主要包含gzip压缩格式,gzip压缩,linux gzip压缩,网页gzip压缩,gzip压缩命令等服务器相关知识,网友希望可以进行参考
创建GZIP压缩格式的HIVE表，gzip压缩格式hive
[Author]: kwu
GZIP为Linux系统中最常用的压缩格式，创建GZIP压缩格式的HIVE表具体步骤如下。
CREATE TABLE TRACKLOG (DATEDAY STRING COMMENT "日期",IP STRING COMMENT "IP",COOKIEID STRING COMMENT "用户COOKIE",USERID STRING COMMENT "用户ID", LOGSERVERIP STRING COMMENT "记录日志服务器IP",REFERER STRING COMMENT "来源 ：用户浏览网页的REFER",REQUESTURL STRING COMMENT "访问网址 ： 当前访问网址")
PARTITIONED BY(DAY STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '
STORED AS TEXTFILE ;
2、TEXTFILE格式可使用普通文本格式数据、也可使用GZIP的压缩格式，HIVE做自动解压GZIP的格式。
3、GZIP的压缩方法：
压缩当前目录下所有的 *.dat 文件
gzip *.dat
4、装载数据到HIVE分区表中
LOAD DATA LOCAL INPATH '/DISKG/BIGDATA/10-0-251-146/TRACKLOG/20150123*.DAT' OVERWRITE INTO TABLE TRACKLOG PARTITION (DAY='20150123');
或者通过mapreduce加载数据，需要先设置hive的压缩参数：
set hive.enforce.bucketing=true;
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;
insert overwrite table trackloggzip PARTITION (day='20150124') select dateday, datetime ,ip,cookie ,userid ,logserverip ,source ,requesturl ,remark1 ,remark2,alexaflag ,ua , wirelessflag from tracklog where day='20150124' ;
5、删除一个分区
ALTER TABLE TRACKLOG DROP PARTITION(DAY='20130823')
6、GZIP的压缩，有着较好的通用性（LINUX系统中最常用的压缩方式），及良好的压缩比率（经测试文本压缩为23%），同时SPARK-SQL也能完美支持GZIP的格式。