欢迎访问 生活随笔!

生活随笔

当前位置: 首页 >

hive 创建表_2min快速了解,Hive内部表和外部表

发布时间:2024/7/5 59 豆豆
生活随笔 收集整理的这篇文章主要介绍了 hive 创建表_2min快速了解,Hive内部表和外部表 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

在了解内部表和外部表区别前,

我们需要先了解一下Hive架构

大家可以简单看一下这个架构图,我介绍其中要点:

Hive的数据分为两种,一种为普通数据,一种为元数据。

  • 元数据存储着表的基本信息,增删改查记录,类似于Hadoop架构中的namespace。普通数据就是表中的详细数据。
  • Hive的元数据默认存储在derby中,但大多数情况下存储在MySQL中。普通数据如架构图所示存储在hdfs中。
  • 下面我们来介绍表的两种类型:内部表和外部表

  • 内部表(MANAGED):hive在hdfs中存在默认的存储路径,即default数据库。之后创建的数据库及表,如果没有指定路径应都在/user/hive/warehouse下,所以在该路径下的表为内部表。
  • 外部表(EXTERNAL):指定了/user/hive/warehouse以外路径所创建的表
  • 而内部表和外部表的主要区别就是
    • 内部表:当删除内部表时,MySQL的元数据和HDFS上的普通数据都会删除 ;
    • 外部表:当删除外部表时,MySQL的元数据会被删除,HDFS上的数据不会被删除;

    1.准备数据: 按tab键制表符作为字段分割符

    2.内部表测试:

    2.1 在Hive里面创建一个表:

    2.2 这样我们就在Hive里面创建了一张普通的表,现在给这个表导入数据:

    2.3 内部表删除

    3.外部表测试:

    3.1 创建外部表多了external关键字说明以及hdfs上location ‘/hive/external’

    创建外部表,需要在创建表的时候加上external关键字,同时指定外部表存放数据的路径

    (当然,你也可以不指定外部表的存放路径,这样Hive将 在HDFS上的/user/hive/warehouse/文件夹下以外部表的表名创建一个文件夹,并将属于这个表的数据存放在这里)

    3.2 外部表导入数据和内部表一样:

    3.3 删除外部表

    总结

    以上是生活随笔为你收集整理的hive 创建表_2min快速了解,Hive内部表和外部表的全部内容,希望文章能够帮你解决所遇到的问题。

    如果觉得生活随笔网站内容还不错,欢迎将生活随笔推荐给好友。