最近在JetBrains官网无意间发现了一款数据库管理工具，没错，就是DataGrip，相信很多小伙伴也都所了解，本人安装尝试了下，结果被他的外观和强大的功能深深的吸引了，果然JetBrains出品，必属精品，今天推荐给大家。
我相信，当你第一眼看到 DataGrip 的时候，同样也会有一种惊艳的感觉，就像刚从Eclipse切换到IDEA的时候，除了被他的外……继续阅读 »
往事如烟
3年前 (2021-01-22) 2694浏览 0评论
0个赞
最近工作时间比较轻松，闲着无事，把之前使用到的大数据的知识做了一次系统的整理和总结，从最基础的Linux虚拟机安装，到最后各个大数据相关组件的搭建，以及框架中需要注意的疑难点并统一记录了下来，一来加深自己的记忆，方便以后查看和复习，同时也能让其他同学学习使用，知识贵在分享，如有写的不完善或者错误的地方，欢迎留言指正，谢谢了。
另外，感兴趣的同学，可以加入大数……继续阅读 »
往事如烟
6年前 (2018-07-17) 2056浏览 0评论
1个赞
整体架构优化
现在hive的整体框架如下，计算引擎不仅仅支持Map/Reduce，并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统。
整体架构优化点：
根据不同业务需求进行日期分区，并执行类型动态分区。
相关参数设置：
0.14中默认hive.exec.dynamic.partition=ture
为了减少磁盘存……继续阅读 »
itzoo
7年前 (2017-05-25) 3249浏览 0评论
1个赞
条件函数
if函数：if
语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull)
返回值: T
说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull
举例：
hive> select if(1=2,100,200)……继续阅读 »
itzoo
7年前 (2017-03-28) 3042浏览 0评论
0个赞
表结构
需求
hive表设计是按天存储数据，每天一个分区，存放全国不同省市的用户数据，省市通不过cityid字段编号的不同做区分，现在需要输出天津每个月的用户总数。
思路
这里仅提供自己的思路，对全表进行查询，并截取日期字段，取前6位，保留到月，对数据按月进行重新分组，并输出总数count和月份。这里使用到了substr函数。
代码
select coun……继续阅读 »
itzoo
7年前 (2017-02-20) 6948浏览 0评论
0个赞
操作信息和口令
1.查询数据库
# show databases;
2.查询表列表
# show tables;
3.模糊查询表
# show tables like ‘*name*’;
4.查看表的结构
# desc formatted 数据库.表名;
# desc 数据库名.表名;
5.查看表分区信息
# show partiti……继续阅读 »
itzoo
7年前 (2017-02-15) 7196浏览 0评论
0个赞
