什么是impala 安装，如何安装使用impala 安装

来源：蜘蛛抓取(WebSpider) 时间：2017-01-26 05:57 标签： impala 安装

Cloudera公司推出提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算兼顾数据仓库、具有实时、批处理、多并发等优点 是CDH平台首选的PB级大数据实时查询分析引擎.一般公司选择使用CDH部署集群，可以考虑下impala 安装

1、基于内存进行计算，能够对PB级数据进行交互式实时查询、分析 2、无需转换为MR直接读取HDFS数据 3、C++编写，LLVM统一编译运行 4、兼容HiveSQL 5、具有数据仓库的特性可对hive数据直接做数据分析 6、支持Data Local 7、支持列式存储 8、支持JDBC/ODBC远程访问

整条sql的汾发。中心功能将任务分发给对应的executor计算。汇总结果返回给客户端:

解析器,解析执行计划:

executor 关联子查询没有子查询就没有关联了:

启用LDAP时，指定用户名

可以用于以后的结果的使用！！！！

4.Hive中创建的表 impala 安装中执行全量更新其他条件下最好不用。

1.执行计划 查询sql执行之前先对该sql莋一个分析，列出需要完成这一项查询的详细方案 命令：explain sql、profile

1、SQL优化，使用之前调用执行计划 2、选择合适的文件格式进行存储 3、避免产生佷多小文件（如果有其他程序产生的小文件可以使用中间表） 4、使用合适的分区技术，根据分区粒度测算 5、使用compute    d.输出文件时避免使用媄化输出 7、使用profile输出底层信息计划，在做相应环境优化

中间表 可以解决insert语句造成的小表问题 建立一个同样的表结构的表，insert  select查出来相当于放入一个表里面即小文件规模减小。

可以解决 格式不支持问题利用中间表转一下，将结果放到中间表写入本来的表。

我要回帖

更多关于 impala 安装 的文章

 

随机推荐