【大数据】Hive分区和分桶的区别及示例讲解

Hive中的分区表可以进一步细分为静态分区和动态分区。

静态分区是指通过手动指定分区列的值来创建分区。例如，在创建一个基于年份的分区表时，我们可以手动指定每个分区名对应的年份：

CREATE TABLE sales (
  id int,
  date string,
  amount double
)
PARTITIONED BY (year string);

ALTER TABLE sales ADD PARTITION (year='2019') location '/data/sales/2022';
ALTER TABLE sales ADD PARTITION (year='2020') location '/data/sales/2023';

在上述示例中，我们通过 ALTER TABLE 语句手动添加了2019和2020两个年份的分区。

动态分区是指在加载数据时通过SQL语句自动创建分区。例如，在从一个包含销售记录的数据文件中加载数据时，可以自动根据数据中的年份信息创建相应的分区：

INSERT INTO TABLE sales PARTITION (year)
SELECT id, date, amount, YEAR(date)
FROM raw_sales;

在上述示例中，我们使用 PARTITION 子句指定在 CREATE TABLE 语句中定义的分区列year，并使用 YEAR(date) 表达式从数据中提取出年份信息。

动态分区的优点在于它可以大大简化创建和管理分区表的过程并提高效率；但是需要注意的是，它可能会在某些情况下产生不可预期的行为，例如可能创建太多分区。

总之，静态分区和动态分区都是用于在Hive中管理大型数据集的有效工具，具体使用需要根据具体情况选择最适合的方法，并理解它们的优点和缺点。

五、hive分区表严格模式和非严格模式

Hive分区表的严格模式和非严格模式可以通过以下两个参数进行设置：

1. hive.exec.dynamic.partition.mode：该参数用于设置分区模式，其默认值为strict，即严格模式。可以将其设置为nonstrict，即非严格模式：

# 登录hive客户端
beeline -u jdbc:hive2://hive-hiveserver2:10000  -n hadoop
# 设置
SET hive.exec.dynamic.partition.mode=nonstrict;

1. hive.exec.max.dynamic.partitions：该参数用于限制动态分区的最大数量。在非严格模式下，当动态分区的数量超过该参数指定的值时，Hive将抛出异常。可以通过以下语句来修改该参数：

SET hive.exec.max.dynamic.partitions=;

其中， 为一个整数值，表示限制的动态分区数量。如果需要取消该限制，可以将该参数设置为一个非正数，例如：

SET hive.exec.max.dynamic.partitions=-1;

需要注意的是，这些参数的设置仅对当前会话有效，也可以将其添加到Hive的配置文件中以在每个会话中自动应用。

总之，hive.exec.dynamic.partition.mode 和 hive.exec.max.dynamic.partitions 是控制Hive分区表严格模式和非严格模式的两个重要参数，开发人员可以根据自己的需求进行设置。

1）严格模式

严格模式要求在加载数据时必须指定所有分区列的值，否则将会导致抛出异常。例如，在下面的分区表中：

CREATE TABLE sales (
  id int,
  date string,
  amount double
)
PARTITIONED BY (year string, month string, day string)
CLUSTERED BY (id) INTO 10 BUCKETS;

在严格模式下，我们必须为year、month和day三个分区列的所有可能取值指定一个分区：

INSERT INTO TABLE sales PARTITION (year='2019', month='01', day='03')
SELECT id, date, amount
FROM raw_sales
WHERE YEAR(date) = 2019 AND MONTH(date) = 1 AND DAY(date) = 3;

在上述示例中，我们使用 PARTITION 子句手动为分区列year、month、day指定取值。

2）非严格模式

非严格模式则允许忽略某些分区列的值，这样使用 INSERT INTO 语句时只需指定提供的分区值即可。例如：

# 
SET hive.exec.dynamic.partition.mode=nonstrict;

INSERT INTO TABLE sales PARTITION (year, month, day)
SELECT id, YEAR(date), MONTH(date), DAY(date), amount
FROM raw_sales
WHERE YEAR(date) = 2019;

在上述示例中，我们使用 SET 语句设置分区模式为非严格模式，然后只提供了year分区列的值，而month和day分区列的值是从数据中动态计算得出的。

使用非严格模式可以简化分区表的创建和管理，但需要注意，它可能会产生一些意料之外的结果（例如可能创建太多分区），所以需要谨慎使用。

总之，分区表的严格模式和非严格模式都具有一些优点和缺点，具体使用需要根据具体情况选择最适合的方式。

六、分区表和分桶表示例讲解

1）分区表示例讲解

在Hive中，我们可以使用分区表来更有效地组织和管理数据。分区表将数据分为子集，每个子集对应一个或多个分区。这样，我们就可以更快地访问和查询数据，而不必扫描整个数据集。

创建分区表的语法类似于创建普通表，只不过要使用 PARTITIONED BY 子句指定一个或多个分区列，例如：

# 内部表
CREATE TABLE partitioned_internal_table (
  id INT,
  mesg STRING
)
PARTITIONED BY (
  year INT,
  month INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

# 外部表
CREATE EXTERNAL TABLE partitioned_external_table (
  id INT,
  mesg STRING
)
PARTITIONED BY (
  year INT,
  month INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
LOCATION '/user/hive/partitioned_table/data';

上述语句创建了一个分区表，在列column1和column2的基础上，按照year和month两列进行了分区。

【注意】分区的实现依赖于Hive的底层存储Hadoop分布式文件系统（HDFS）。为了确定如何分配数据，Hive要求每个分区对应一个目录，该目录包含该分区数据的所有文件。因此，在将数据加载到分区表中时，必须提供与分区对应的目录。

例如，如果我们要将一个CSV文件加载到分区表中，我们可以使用以下语句：

LOAD DATA LOCAL INPATH './file.csv' INTO TABLE partitioned_external_table PARTITION (year=2019, month=1);

# 查看分区
show partitions partitioned_external_table;

在上述语句中，我们使用 LOAD DATA 子句将 /data/file.csv 文件加载到partitioned_table 表中，并指定了分区year为2019，分区month为1。

假设我们的CSV文件具有以下内容：

1,test1,2019,1
1,test2,2019,1
2,test3,2022,1
3,test4,2023,1

使用以下语句查询分区表：

SELECT * FROM partitioned_external_table WHERE year=2019 AND month=1;

分区表的优点在于可以更高效地组织数据，同时也允许我们根据需要删除或添加分区。例如，我们可以使用以下语句删除分区：

ALTER TABLE partitioned_table DROP PARTITION (year=2019, month=1);

可以使用以下语句添加分区：

ALTER TABLE partitioned_external_table ADD PARTITION (year=2020, month=2);

# 查看分区
show partitions partitioned_external_table;

总之，分区表是管理和查询大型数据集的有效方式，可以帮助我们更轻松地处理大量数据。

2）分桶表示例讲解

除了分区表之外，Hive还提供了另一种将数据分割成可管理单元的方式，即分桶。

分区和分桶的概念有一些相似之处，但也存在一些重要的区别。

• 分区是指基于表的某些列将数据分割成不同的存储单元；
• 而分桶是指将数据根据哈希函数分成一组固定的桶。

类比于分区，在创建一个分桶表时，我们需要指定分桶的数量和分桶的列。例如，以下是一个创建分桶表的示例：

CREATE TABLE bucketed_table (
  column1 data_type,
  column2 data_type,
  ...
) 
CLUSTERED BY (column1) -- 分桶列
INTO 10 BUCKETS; -- 桶数量

在上述示例中，我们将column1作为分桶列，并将数据分成10个桶。

加载数据时，Hive根据指定的桶列计算哈希值，并将数据存储在对应的桶中。

INSERT INTO TABLE bucketed_table VALUES ('value1', 1, 2.3)

查询时，可以使用以下格式指定桶列：

SELECT * FROM bucketed_table TABLESAMPLE(BUCKET x OUT OF y ON column1);

在上述示例中，我们使用用于抽样数据的 TABLESAMPLE 子句，指定从桶x中抽取数据，并在分桶列column1上进行抽样。

分桶表的优点在于，我们可以更容易地执行等值和范围查询，并更好地利用MapReduce 的数据本地性，从而提高查询性能。但分桶表也有一些缺点，例如添加和删除数据涉及重新计算哈希函数和移动数据的成本。

总之，分区表和分桶表都是Hive管理和处理大型数据集的重要工具，可以帮助我们更轻松地组织、查询和分析大量数据。在具体使用时，需要考虑表的存储和查询需求，选择最适合的表类型。在实际场景中分区用的居多。

网站栏目：【大数据】Hive分区和分桶的区别及示例讲解
网站地址：http://www.shufengxianlan.com/qtweb/news14/235314.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联