如何用hive实现无限递归

作者：2551529836

蜂巢

* * Facebook开源

* *主页：

** Hive是基于Hadoop的数据仓库工具

Hive和数据库：

数据库： MySQL、Oracle、DB2、SQLServer

数据仓库！==数据库，即Hive不是数据库

为什么要选择hive

** MapReduce编程成本高

* *对于现有DBA，不熟悉Java。请使用Hive进行数据分析

Hive简介：

* *过程

* * hql-hive(Java)-MapReduce-yarn-HDFS

* *将必需的： HQL转换为MapReduce程序

* *使用MapReduce计算模型在yarn平台上运行

** Hive适合离线批量处理，延迟更大

* *不适合在线业务实时分析结果，不适合业务要求延迟低的情况

Hive体系结构

* *用户界面3360客户端

* *终端命令行CLI主要使用方法

** JDBC方法-很少使用

* *元数据：metastore

* *基本Apache使用derby数据库(只能使用一个客户端)，CDH使用postgreDB

* *企业通常选择其他要存储的MySQL

* *元数据包括表名、表所属的数据库(默认为default)、

表所有者、列/分区字段、表类型(是否为外部表)、

表中包含数据的目录等。

* *此处不存储Hive表的实际数据

* *海道op

* *使用HDFS的存储

* *使用MapReduce计算

* *驱动器：驱动程序

* *分析器：解析Hql语句

* *编译器：将SQL语句翻译为MapReduce程序

* *优化程序：优化SQL语句

* *运行者：在yarn平台上运行MapReduce程序

=====Hive安装===============================================

* *版本0.13.1(与以后使用的框架的兼容性很好)

Hive安装所需的环境：

1、安装JDK，然后测试

$ Java -version

2、Hadoop安装

* *验证Hadoop是否正常工作(测试：上传文件或运行jar)

在$ HDFS DFS -mkdir /input2 # HDFS中创建文件夹。-没有与cd进入目录类似的参数

$ HDFS DFS -mkdir -p /aaa/bbb/ccc #级联目录

查看$ HDFS DFS -ls/#

$ HDFS DFS -put b.txt /input #将本地文件复制到HDFS

查看$ HDFS DFS -cat /input2 #文件

删除$ HDFS DFS -rm /input2 #文件

$ HDFS DFS -rmr /input？递归删除#文件夹和其中的文件。建议使用“-rm -r”格式。单字符通配符“？”

$ HDFS DFS-帮助

3、安装MySQL

$ su-

# yum -y install MySQL - MySQL客户端安装，常用命令

# yum-y install MySQL-server-MySQL服务

# yum-y install MySQL-devel-MySQL develop扩展包

* * *以上可以用一句话组合。-y表示所有问题的答案都是“是”

# yum-y install MySQL MySQL-server MySQL-devel

# rpm -qa|grep MySQL -查看已安装的MySQL

# rpm -ql my -查看安装位置

# rpm-e-nodeps my -卸载，nodeps:不检查相关性

# service mysqld start启动MySQL服务

# chkconfig mysqldon-设置引导启动

#/usr/bin/MySQL admin-uroot password ' root '-初始化密码，只能执行一次

授予用户权限：

# MySQL -uroot -proot

*** grant权限on数据库对象(数据库。表)至用户

Mysql grant all on *。* to root @ ' blue 01 . my domain ' identified by ' root '；

Mysql flush privileges#刷新授权表，可能不运行

MySQL set password for root @ localhost=password(' root ')；-修改密码

Mysql show databases

**默认情况下，MySQL数据库仅允许根用户通过localho登录

* *在Windows上使用Navicat登录需要许可证

* * MySQL grant all on *。* to root @ ' 192 . 168 . 122 . 1 ' identified by ' root '；

附加：yum命令和rpm命令都会安装rpm程序包

Yum安装包的源：来自互联网(由仓库配置文件指定)

Rpm安装软件包的源：首先提取现在需要安装的软件包

-

4、开始Hive安装

# su-Tom

$ tar zxf /opt/software

* *在conf/目录中：

$ CP -a -重命名，-a与原始属性一起复制

$ CP -a

5、修改

JAVA_HOME=/opt/module

HADOOP_HOME=/opt/module

exporthive _ conf _ dir=/opt/module

6、配置，注意：用户名和密码不能包含空格

Property

namejavax . jdo . o；/name

value JDBC : MySQL ://blue 01 . my domain :3306/metastore？createdatabaseifnotexist=true/value

/property

Property

namejavax . jdo . o；/name

Valuecom.my/value

/property

Property

namejavax . jdo . o；/name

值根/值

/property

Property

namejavax . jdo . o；/name

值根/值

/property

7，将MySQL驱动程序复制到lib/

* *如果jar已解压缩，则无需执行此步骤。$ tar zxf my

$ CP my /opt/module

8、进入Hadoop目录并修改目录权限

** /tmp暂存档

向$ bin/hadoop fs -chmod g w /tmp #用户组添加写权限

** /user/Hive/warehouse hive的数据存储目录

$ bin/hdfsdfs-mkdir-p/user/hive/warehouse

$ bin/hadoopfs-chmod g w/user/hive/warehouse

9、使用Hive启动客户端

$ bin/hive -使用方式与MySQL大致相同

Hive show databases