该框架搭建主要用于公司的业务场景,对于mysql数据库中统计指标数据量较大(单批次单表写入数据量在3000千万-5000万,单表最大数据量已经达到30亿),到了不得不迁移的地步,所以我们将部分指标数据迁移到HDFS,使用Hive分区管理,presto做引擎分区查询,同时用户注册信息和部分数据量较小的指标仍然保存在Mysql,继续使用JDBC查询,这里同时集成了Mybatis和PageHelper插件,方便对于sql语句管理和优化以及分页处理。使用了Druid对多个数据源进行管理。
本文主要介绍框架的搭建,不再介绍具体的业务场景和设计思想以及对于不同数据源的整合和处理。这些问题留给小伙伴们自己思考,如果需要思路,也可以给我留言,目前我们线上产品走的就是这样的架构,从而解决大表和多表的复杂查询的问题。