天下事有难易乎?为之,则难者亦易矣;不为,则易者亦难矣。人之为学有难易乎?学之,则难者亦易矣;不学,则易者亦难矣。

Hive优化方案

整体架构优化 现在hive的整体框架如下,计算引擎不仅仅支持Map/Reduce,并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统。 整体架构优化点: 根据不同业务需求进行日期分区,并执行类型动态分区。 相关参数设置: 0.14中默认hive.exec.dynamic.partition=ture  为了减少磁盘存……继续阅读 »

itzoo 3年前 (2017-05-25) 853浏览 0评论 0个赞

Hive函数–条件函数

条件函数 if函数:if 语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull) 返回值: T 说明: 当条件testCondition为TRUE时,返回valueTrue;否则返回valueFalseOrNull 举例: hive> select if(1=2,100,200)……继续阅读 »

itzoo 4年前 (2017-03-28) 715浏览 0评论 0个赞

Hive sql按月统计不同地区用户数据,分区是按天级别

表结构 需求 hive表设计是按天存储数据,每天一个分区,存放全国不同省市的用户数据,省市通不过cityid字段编号的不同做区分,现在需要输出天津每个月的用户总数。 思路 这里仅提供自己的思路,对全表进行查询,并截取日期字段,取前6位,保留到月,对数据按月进行重新分组,并输出总数count和月份。这里使用到了substr函数。 代码 select coun……继续阅读 »

itzoo 4年前 (2017-02-20) 3490浏览 0评论 0个赞