HIVE-分區入門踩坑

hive 分區

概念在先:
1: 靜態分區是把一個目錄下面的很多【文件】分類存放起來 , 只能細化到【文件】，但是細化不到內容 .但是一次操作只能指定一個類(區);
2: 動態分區一次操作可以根據字段具體內容分多類(區);
3: 分區目的是單表查詢的時候縮小查詢范圍，提高單表的查詢效率
4: 靜態分區因在命令行指定了分區,底層不執行mr程序(相對死板);動態分區執行mr程序,提取相應字段(相對智能一點)

Demo步驟:

1.創建一個學生分區表

95001,李勇,男,20,CS
95002,劉晨,女,19,IS
95003,王敏,女,22,MA
95004,張立,男,19,IS
95005,劉剛,男,18,MA
95006,孫慶,男,23,CS

--分區表創建create table t_students(id int,name string,sex string)
partitioned by (age int,class string)row format delimited fields terminated by ',' ;

創建后看一下成功沒有

hive> set hive.cli.print.header=true;hive> select * from t_students;OK
t_students.id   t_students.name t_students.sex  t_students.age  t_students.class

2.添加內容
(1)load

--靜態分區load data local inpath '/root/logs/students.txt' into table t_students partition (age=19,class='MA');

(2)insert
Hive 中 insert 主要是結合 select 查詢語句使用.

--動態分區set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;insert overwrite table t_students  partition (age,class) 
select * from t_student;

執行之后查看元數據SDS表 , 可以看到所有映射信息

--使用同樣的數據,再次追加insert一次數據
hive> insert into table t_students  partition (age,class) select * from t_student;

再次追加一次數據后,元數據SDS表信息不變,每條分區路徑下的文件變為兩份

hive 分桶

分桶是相對分區進行更細粒度的劃分。分桶將整個數據內容安裝某列屬性值得hash值進行區分，如要安裝name屬性分為3個桶，就是對name屬性值的hash值對3取摸，按照取模結果對數據分桶。如取模結果為0的數據記錄存放到一個文件，取模為1的數據存放到一個文件，取模為2的數據存放到一個文件。
注意：
第一，分桶之前要執行命令hive.enforce.bucketiong=true;
第二，要使用關鍵字clustered by 指定分區依據的列名，還要指定分為多少桶，這里指定分為3桶。
第三，與分區不同的是，分區依據的不是真實數據表文件中的列，而是我們指定的偽列，但是分桶是依據數據表中真實的列而不是偽列。所以在指定分區依據的列的時候要指定列的類型，因為在數據表文件中不存在這個列，相當于新建一個列。而分桶依據的是表中已經存在的列，這個列的數據類型顯然是已知的，所以不需要指定列的類型。

以上就是避免HIVE分區入門踩坑必學的五大知識的詳細內容，更多請關注php中文網其它相關文章！