Hive导入数据

Fourierr 发布于2019-05-28 18:51 / 2556人阅读

摘要：导入数据创建规则文件创建数据库创建数据库创建表制表符是文件导入到表中时一个分割符也可以填写入码在文件数据成功导入到中时会把中文件删除导入本地及数据导入本地文件导入文件查询数据导入是否正确扩展链接基本概念批量日志分析建表格式示例

Hive导入数据 创建规则文件

vim /tmp/result.log

baidu.com 12 2018-08-12
baidu.com 22 2018-08-12
baidu.com 19 2018-08-12
baidu.com 10 2018-08-12

hadoop fs -put /tmp/result.log /data/

Hive创建数据库

# 创建hive数据库
create database nginx_db;

# 创建表
use nginx_db;
create table t_result(name STRING, num INT, generate_date STRING) ROW FORMAT DELIMITED  FIELDS TERMINATED BY "" STORED AS TEXTFILE;

制表符是文件导入到hive表中时一个分割符,也可以填写入ascii码

在文件数据成功导入到hive中时会把hdfs中文件删除

Hive导入本地及HDFS数据

# 导入本地文件
load data local inpath "/data/result.log" into table t_result;

# 导入hdfs文件
load data inpath "/data/result.log" into table t_result;

# 查询数据导入是否正确 
select * from t_result;

扩展链接

Hive基本概念

Hive批量日志分析

Hive建表格式示例

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/8465.html

如何将其他RDBMS的数据到迁移到Trafodion

摘要：为了避免这种情况，可以针对表短期内被两个以上的语句所加载执行一个大的数据压缩。通常，对一张大表执行数据压缩会花费大量的时间几分钟到几小时不等。本文介绍了如何将数据从现有的RDBMS迁移到Trafodion数据库。从其它的RDBMS或外部数据源向Trafodion集群中导入大量的重要数据，可以通过下面两步完美实现：在Trafodion集群中，将数据从源头导入Hive表。使用下列方...

李文鹏 2019-08-06 14:21 评论0 收藏0
如何将其他RDBMS的数据到迁移到Trafodion

摘要：为了避免这种情况，可以针对表短期内被两个以上的语句所加载执行一个大的数据压缩。通常，对一张大表执行数据压缩会花费大量的时间几分钟到几小时不等。本文介绍了如何将数据从现有的RDBMS迁移到Trafodion数据库。从其它的RDBMS或外部数据源向Trafodion集群中导入大量的重要数据，可以通过下面两步完美实现：在Trafodion集群中，将数据从源头导入Hive表。使用下列方...

weknow619 2019-06-25 18:50 评论0 收藏0
Hive常用函数的使用

摘要：示例本地创建测试文件放入中此时在表中就可以查看到数据注意如果删除外部表，里的文件并不会删除也就是如果包删除，下文件并不会被删除。示例分组聚合构建测试数据建分区表，导入数据查看数据查看表分区每一行的变成大写针对每一行进行运算文章作者：foochane 原文链接：https://foochane.cn/article/2019062501.html 1 基本介绍 1.1 HIVE简单介绍...

MyFaith 2019-07-24 10:58 评论0 收藏0
Hive+Sqoop浅度学习指南

摘要：业务需求统计每小时的数数据采集数据清洗用来描述将数据从来源端经过抽取转换加载至目的端的过程字段过滤字段补全用户信息商品信息字段格式化数据分析将数据导出介绍由开源的用于解决海量结构化日志的数据统计的项目本质将转化为程序的其实时上的目录和业务需求：统计每小时的PV数数据采集 hdfs hive 数据清洗（ETL）用来描述将数据从来源端经过抽取（extract）、转换（trans...

Achilles 2019-08-06 14:54 评论0 收藏0
Hive+Sqoop浅度学习指南

摘要：业务需求统计每小时的数数据采集数据清洗用来描述将数据从来源端经过抽取转换加载至目的端的过程字段过滤字段补全用户信息商品信息字段格式化数据分析将数据导出介绍由开源的用于解决海量结构化日志的数据统计的项目本质将转化为程序的其实时上的目录和业务需求：统计每小时的PV数数据采集 hdfs hive 数据清洗（ETL）用来描述将数据从来源端经过抽取（extract）、转换（trans...

Kahn 2019-06-25 19:18 评论0 收藏0