该框架搭建主要用于公司的业务场景，对于mysql数据库中统计指标数据量较大（单批次单表写入数据量在3000千万-5000万，单表最大数据量已经达到30亿），到了不得不迁移的地步，所以我们将部分指标数据迁移到HDFS，使用Hive分区管理，presto做引擎分区查询，同时用户注册信息和部分数据量较小的指标仍然保存在Mysql，继续使用JDBC查询，这里同时集成……继续阅读 »
8年前 (2019-01-10) 7832浏览 2评论
0个赞
在使用mybatis做查询时，报了“Could not find result map java.lang.Long”异常错误，简单记录下。
报错信息
org.apache.ibatis.builder.IncompleteElementException: Could not find result map java.lang.Long
at org.a……继续阅读 »
8年前 (2019-01-10) 3478浏览 0评论
0个赞
有时候我们在使用maven管理项目的时候，会出现无法导入jar的情况，或者说pom.xml中的信息，maven无法全部从远程仓库中拉取到本地，这样我们在编译项目的时候就无法通过，出现编译错误等问题。
解决的方法有很多，可以通过网上下载相应的jar包，然后在maven中配置路径，指向jar包位置，也可以直接将下载的jar导入到我们本地的maven库中，这里记录……继续阅读 »
8年前 (2018-09-03) 4552浏览 1评论
0个赞
最近又开始用idea开发了，每次使用的时候总是要适应几天，而且习惯了eclipse开发，一些快捷键本来想换成eclipse的，但是终究还是觉得idea的更简洁一些。就简单整理了一下，同时，把Eclipse中的快捷也写出来，作对比来记，忘记的时候可以看一下。
待续…
……继续阅读 »
8年前 (2018-08-07) 6740浏览 0评论
0个赞
Linux下新建的mysql数据，进入mysql的时候，看不到mysql库，一般都是因为当前用户权限不足造成的。下面记录下自己的解决办法。
系统：CentOS 5.6、Mysql Server version: 5.1.71
解决方法
登录mysql后，因权限不足，看不到mysql库。
[root@hadoop001 ~]# mysql -uroot
We……继续阅读 »
8年前 (2018-07-22) 3628浏览 0评论
0个赞
Linux下安装Mysql，使用yum来安装，方便简单，按步骤操作就可以了。
yum安装
查看是否已经安装mysql 如果已经安装了mysql 按步骤删除
[root@hadoop001 ~]# yum list installed | grep mysql
[root@hadoop001 ~]# rpm -qa……继续阅读 »
8年前 (2018-07-18) 3171浏览 0评论
0个赞
为了方便后面的使用，我们通常会对刚创建的虚拟机做最小化的处理，安装必要的软件和常用的工具，制作成快照，然后克隆虚拟机，为了后面搭建hadoop集群使用。
注：软件在文章最下面可以下载
常用软件安装
创建software目录，通过XFtp上传常用的软件，如JDK和Tomcat
安装jdk和tomcat
[root@hadoop001 ~]# mkdir /……继续阅读 »
8年前 (2018-07-17) 3225浏览 0评论
0个赞
最近工作时间比较轻松，闲着无事，把之前使用到的大数据的知识做了一次系统的整理和总结，从最基础的Linux虚拟机安装，到最后各个大数据相关组件的搭建，以及框架中需要注意的疑难点并统一记录了下来，一来加深自己的记忆，方便以后查看和复习，同时也能让其他同学学习使用，知识贵在分享，如有写的不完善或者错误的地方，欢迎留言指正，谢谢了。
另外，感兴趣的同学，可以加入大数……继续阅读 »
8年前 (2018-07-17) 3270浏览 0评论
1个赞
本地使用VMware安装虚拟机，用来搭建搭建hadoop集群，用于练习使用，顺便记录下来每次的操作步骤，如果有异议，欢迎留言，或者加入大数据技术讨论群 822432673，一起交流、学习、成长。
准备工作：
VMware12工具
CentOS-6.5-x86_64-minimal.iso 纯净版操作系统映射，用于快速安装操作系统
CentOS-6.5-x……继续阅读 »
8年前 (2018-07-16) 7250浏览 0评论
0个赞
使用口令service mysqld restart重启mysql时，报“Another MySQL daemon already running with the same unix socket.”，解决方法。
错误如下
解决方法
cd切换到mysql安装目录下，
修改mysql.sock文件名，
重启mysql
……继续阅读 »
8年前 (2018-06-17) 6176浏览 2评论
0个赞
flatmap算子操作，先对每个元素进行操作，最后在进行扁平化处理。
测试代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 11:17
# @Author : Relyun、
# @Site :
# @File : T_Spark_FlatMap_Base.py
……继续阅读 »
8年前 (2018-04-08) 2134浏览 1评论
0个赞
map算子对每个元素进行操作处理
测试代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 10:41
# @Author : itzoo、
# @Site :
# @File : T_Spark_Map_Base.py
# @Software: PyCharm
……继续阅读 »
8年前 (2018-04-08) 4704浏览 0评论
0个赞
