基于 QingStor 的存储引擎

  1. 创建以 QingStor 为默认存储引擎的 Database。

    在 QingStor 的 bucket 中创建一个目录，这里命名为 test_s3 ，然后创建 Database。

    $ hive> create database test_s3 location 's3a://<your_bucket_name>/test_s3';

  2. 在以 QingStor 为默认存储引擎的 Database 中创建 Table 。

    创建table，并载入测试数据。

    $ hive> use test_s3;
$ hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);
$ hive> LOAD DATA LOCAL INPATH '/opt/hive/examples/files/kv2.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-15');
$ hive> LOAD DATA LOCAL INPATH '/opt/hive/examples/files/kv3.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-08');

  3. 执行查询。

    $ hive> SELECT * FROM invites LIMIT 10;
$ hive> SELECT avg(a.foo) FROM invites a WHERE a.ds='2008-08-15';

基于 HDFS 的存储引擎

创建以 HDFS 为默认存储引擎的 Database ，并创建基于 QingStor 的外部表（使用示例 2 通过 Hive 导入 QingStor 的数据）。

  1. 在 root 下创建一个名为 test 的数据库。

    $ /opt/hive/bin/hive -e "create database test_hdfs;"

  2. 在 root 用户下执行下面命令,将数据库 test_hdfs 的拥有者更改为 ubuntu 后，即可以 ubuntu 用户执行后续操作。

    $ /opt/hadoop/bin/hdfs dfs -chown -R ubuntu /user/hive/warehouse/test_hdfs.db

  3. 创建基于 QingStor 的外部表，并加入已有 partition。

    $ hive> use test_hdfs;
$ hive> CREATE EXTERNAL TABLE IF NOT EXISTS invites_s3 (foo INT, bar STRING) PARTITIONED BY (ds STRING)     Location 's3a://<your_bucket_name>/test_s3/invites';
$ hive> ALTER TABLE invites_s3 ADD PARTITION (ds='2008-08-15');
$ hive> ALTER TABLE invites_s3 ADD PARTITION (ds='2008-08-08');

将 QingStor 数据导入 HDFS

将 QingStor 中的数据导入以 HDFS 为存储的 Hive 表中。

  1. 创建以 HDFS 为存储的 Hive 表。

    $ hive> CREATE TABLE IF NOT EXISTS invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);

  2. 数据导入时，为了动态创建分区，设置 hive.exec.dynamic.partition.mode=nonstrict。

    为了防止误操作导致动态创建大量分区，一般情况下应使用默认配置 hive.exec.dynamic.partition.mode=strict。

    $ hive> set hive.exec.dynamic.partition.mode=nonstrict;

  3. 将 QingStor 中的数据导入。

    $ hive> INSERT OVERWRITE table invites partition (ds) select se.foo,se.bar,se.ds from invites_s3 se;