天下事有难易乎?为之,则难者亦易矣;不为,则易者亦难矣。

标签:MapReduce

大数据

大数据相关知识学习和分享

最近工作时间比较轻松,闲着无事,把之前使用到的大数据的知识做了一次系统的整理和总结,从最基础的Linux虚拟机安装,到最后各个大数据相关组件的搭建,以及框架中需要注意的疑难点并统一记录了下来,一来加深自己的记忆,方便以后查看和复习,同时也能让其他同学学习使用,知识贵在分享,如有写的不完善或者错误的地方,欢迎留言指正,谢谢了。 另外,感兴趣的同学,可以加入大数……继续阅读 »

往事如烟 6年前 (2018-07-17) 2129浏览 0评论 1个赞

Hive

Hive sql按月统计不同地区用户数据,分区是按天级别

表结构 需求 hive表设计是按天存储数据,每天一个分区,存放全国不同省市的用户数据,省市通不过cityid字段编号的不同做区分,现在需要输出天津每个月的用户总数。 思路 这里仅提供自己的思路,对全表进行查询,并截取日期字段,取前6位,保留到月,对数据按月进行重新分组,并输出总数count和月份。这里使用到了substr函数。 代码 select coun……继续阅读 »

itzoo 7年前 (2017-02-20) 7067浏览 0评论 0个赞