Hive的數據分為表數據和元數據，表數據是Hive中表格(table)具有的數據;而元數據是用來存儲表的名字，表的列和分區及其屬性，表的屬性(是否為外部表等)，表的數據所在目錄等。下面分別來介紹。
一、Hive的數據存儲
在讓你真正明白什么是hive 博文中我們提到Hive是基于Hadoop分布式文件系統的，它的數據存儲在Hadoop分布式文件系統中。Hive本身是沒有專門的數據存儲格式，也沒有為數據建立索引，只需要在創建表的時候告訴Hive數據中的列分隔符和行分隔符，Hive就可以解析數據。所以往Hive表里面導入數據只是簡單的將數據移動到表所在的目錄中(如果數據是在HDFS上;但如果數據是在本地文件系統中，那么是將數據復制到表所在的目錄中)。
Hive中主要包含以下幾種數據模型：Table(表)，External Table(外部表)，Partition(分區)，Bucket(桶)(本博客會專門寫幾篇博文來介紹分區和桶)。
1、表：Hive中的表和關系型數據庫中的表在概念上很類似，每個表在HDFS中都有相應的目錄用來存儲表的數據，這個目錄可以通過${HIVE_HOME}/conf/hive-site.xml配置文件中的 hive.metastore.warehouse.dir屬性來配置，這個屬性默認的值是/user/hive/warehouse(這個目錄在 HDFS上)，我們可以根據實際的情況來修改這個配置。如果我有一個表wyp，那么在HDFS中會創建/user/hive/warehouse/wyp 目錄(這里假定hive.metastore.warehouse.dir配置為/user/hive/warehouse);wyp表所有的數據都存放在這個目錄中。這個例外是外部表。
2、外部表：Hive中的外部表和表很類似，但是其數據不是放在自己表所屬的目錄中，而是存放到別處，這樣的好處是如果你要刪除這個外部表，該外部表所指向的數據是不會被刪除的，它只會刪除外部表對應的元數據;而如果你要刪除表，該表對應的所有數據包括元數據都會被刪除。
3、分區：在Hive中，表的每一個分區對應表下的相應目錄，所有分區的數據都是存儲在對應的目錄中。比如wyp 表有dt和city兩個分區，則對應dt=20131218,city=BJ對應表的目錄為/user/hive/warehouse /dt=20131218/city=BJ，所有屬于這個分區的數據都存放在這個目錄中。
4、桶：對指定的列計算其hash，根據hash值切分數據，目的是為了并行，每一個桶對應一個文件(注意和分區的區別)。比如將wyp表id列分散至16個桶中，首先對id列的值計算hash，對應hash值為0和16的數據存儲的HDFS目錄為：/user /hive/warehouse/wyp/part-00000;而hash值為2的數據存儲的HDFS 目錄為：/user/hive/warehouse/wyp/part-00002。
來看下Hive數據抽象結構圖
從上圖可以看出，表是在數據庫下面，而表里面又要分區、桶、傾斜的數據和正常的數據等;分區下面也是可以建立桶的。
二、Hive的元數據
Hive中的元數據包括表的名字，表的列和分區及其屬性，表的屬性(是否為外部表等)，表的數據所在目錄等。 由于Hive的元數據需要不斷的更新、修改，而HDFS系統中的文件是多讀少改的，這顯然不能將Hive的元數據存儲在HDFS中。目前Hive將元數據存儲在數據庫中，如Mysql、Derby中。我們可以通過以下的配置來修改Hive元數據的存儲方式
京公網安備 11010502049343號