KaiwuDBkaiwudb logo

市级大数据局数据库建设

MPP 分布式架构设计

日均处理数据量超 2000 万条,数据资源隔离



项目背景

橙色横杠.png


某市大数据局负责统筹大数据基础设施建设,承担着全市大数据基础设施建设的规划、协调、管理职责。对各地市的数据进行统一的汇聚监管,数据分析,用以指导其他领域大数据基础设施建设,统筹管理、安全保障体系建设,监督政务数据、公共数据和重点行业数据的安全保障工作。


 

客户面临的挑战

橙色横杠.png


1.  数据孤岛:

下属各区县委办局数据孤岛林立,无法高效实现数据的统一管理;同时,数据安全隐私得不到充分保障;


2.  现有数据库性能无法满足业务需求

Greenplum 无法支撑单表过亿的政务数据汇聚压力,在数据写入、查询、计算业务中效率很低;


3.     难以支撑 HTAP 场景:

随着数据量越来越大,TP 事务处理读写性能不足。对数据的处理与分析需求逐渐增加,导致现有数据库建设难以支撑 AP 业务分析场景。



解决方案

橙色横杠.png

 

KaiwuDB 通过提供云原生的分布式数据库方案,将数据库 Greenplum 进行改造升级,对各区县委办局数据进行统一汇聚、统一存储。采取行列混存,全面支持大数据局的 HTAP 事务与分析场景。采用 MPP 分布式架构设计,各委办局基于数据多副本机制,实时汇聚至大数据局。打破数据孤岛,实时共享数据,自上而下统一监管。


image.png


客户价值

橙色横杠.png


1.  分布式集群部署,数据管理统一更高效:

KaiwuDB 分布式集群部署在云平台上,划分虚拟资源部署各个节点,基于一套集群实现数据共享;而后基于一套 KaiwuDB 集群建立原始库、历史库和分析库,构建“数据汇聚通道+数据存储资源池”,统一对外数据共享路径,实现构建数据一体化管理,为各委办局提供高效业务服务;


2.  海量多源数据高速入库,性能稳定且安全

实现原有 Greenplum 数据库迁移到 KaiwuDB 集群,上线稳定运行超 20 个月,存储数据覆盖人社、交通、住建、教育等各大核心机构部门,集群累计包含 1600 多张数据表,日均处理数据量达到 2000 多万条,政务数据亿级表单处理性能无压力;同时支持多租户管理实现资源隔离,保证各地数据的安全性;


3.  HTAP 场景轻松加持:

HTAP 场景支持行列混存,满足事务与分析场景,可支持 20000 行/秒入库速率,既解决了 TP 场景数据汇入高并发场景支撑的不足,又解决了 AP 大批量数据分析,数据库承载能力有限而导致不可用的问题。



需求咨询

橙色横杠.png

 

相关方案需求咨询,点击在线留言,将有专人为您提供 1V1 咨询服务。

免费体验 KaiwuDB 全新功能

立即体验

关于我们
联系我们

KaiwuDB B站

KaiwuDB
B站

KaiwuDB 微信公众号

KaiwuDB
微信公众号

© 上海沄熹科技有限公司 Shanghai Yunxi Technology Co., Ltd.    沪ICP备2023002175号-1
400-624-5688-7
1V1 方案咨询
marketing@kaiwudb.org.cn