天下事有难易乎?为之,则难者亦易矣;不为,则易者亦难矣。人之为学有难易乎?学之,则难者亦易矣;不学,则易者亦难矣。

搭建SpringBoot+Mybatis+Presto+JDBC+Druid+Mysql 多数据源使用框架

往事如烟 1779次浏览 0个评论 扫描二维码

该框架搭建主要用于公司的业务场景,对于mysql数据库中统计指标数据量较大(单批次单表写入数据量在3000千万-5000万,单表最大数据量已经达到30亿),到了不得不迁移的地步,所以我们将部分指标数据迁移到HDFS,使用Hive分区管理,presto做引擎分区查询,同时用户注册信息和部分数据量较小的指标仍然保存在Mysql,继续使用JDBC查询,这里同时集成了Mybatis和PageHelper插件,方便对于sql语句管理和优化以及分页处理。使用了Druid对多个数据源进行管理。

本文主要介绍框架的搭建,不再介绍具体的业务场景和设计思想以及对于不同数据源的整合和处理。这些问题留给小伙伴们自己思考,如果需要思路,也可以给我留言,目前我们线上产品走的就是这样的架构,从而解决大表和多表的复杂查询的问题。

 


ITZOO版权所有丨如未注明 , 均为原创丨转载请注明来自IT乐园 ->搭建SpringBoot+Mybatis+Presto+JDBC+Druid+Mysql 多数据源使用框架
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址