天下事有难易乎?为之,则难者亦易矣;不为,则易者亦难矣。人之为学有难易乎?学之,则难者亦易矣;不学,则易者亦难矣。

标签:Hive

大数据

大数据相关知识学习和分享

最近工作时间比较轻松,闲着无事,把之前使用到的大数据的知识做了一次系统的整理和总结,从最基础的Linux虚拟机安装,到最后各个大数据相关组件的搭建,以及框架中需要注意的疑难点并统一记录了下来,一来加深自己的记忆,方便以后查看和复习,同时也能让其他同学学习使用,知识贵在分享,如有写的不完善或者错误的地方,欢迎留言指正,谢谢了。 另外,感兴趣的同学,可以加入大数……继续阅读 »

往事如烟 2年前 (2018-07-17) 454浏览 0评论 1个赞

hive

Hive优化方案

整体架构优化 现在hive的整体框架如下,计算引擎不仅仅支持Map/Reduce,并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统。 整体架构优化点: 根据不同业务需求进行日期分区,并执行类型动态分区。 相关参数设置: 0.14中默认hive.exec.dynamic.partition=ture  为了减少磁盘存……继续阅读 »

itzoo 3年前 (2017-05-25) 853浏览 0评论 0个赞

hive

Hive函数–条件函数

条件函数 if函数:if 语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull) 返回值: T 说明: 当条件testCondition为TRUE时,返回valueTrue;否则返回valueFalseOrNull 举例: hive> select if(1=2,100,200)……继续阅读 »

itzoo 4年前 (2017-03-28) 716浏览 0评论 0个赞

hive

Hive sql按月统计不同地区用户数据,分区是按天级别

表结构 需求 hive表设计是按天存储数据,每天一个分区,存放全国不同省市的用户数据,省市通不过cityid字段编号的不同做区分,现在需要输出天津每个月的用户总数。 思路 这里仅提供自己的思路,对全表进行查询,并截取日期字段,取前6位,保留到月,对数据按月进行重新分组,并输出总数count和月份。这里使用到了substr函数。 代码 select coun……继续阅读 »

itzoo 4年前 (2017-02-20) 3502浏览 0评论 0个赞