人大金仓完成新疆农村信用社数据仓库国产化随着国家“新基建”战略

随着国家“新基建”战略的推进，国产软硬件迎来跨越式发展，在金融、政务、电信等核心领域均具备不斐实践。作为我国信息化程度最高的行业之一,金融行业是我国信息化建设的重点领域。近年来，随着全球化逆流加剧，金融行业IT建设国产化进入加速期。
近日，在新疆农村信用社(以下简称“新疆农信”)数据仓库国产化替代项目中，人大金仓顺利完成由IBM Netezza数据库到金仓分布式分析型数据库系统KingbaseAnalyticsDB(以下简称“KADB”)的迁移，迁移后，客户的数据库使用及服务成本节省10倍，数据库加载速度与分析性能显著提升。
项目背景
新疆农信ODS业务核心数仓接入其 “核心”、“网银”、“财管”、“银联”、“信贷”、“前置”和农信银等重要业务系统;
每天高密度、结构化数据的批量加载、处理、分析：数仓存储数据量压缩后近20TB，每日运行批量加工过程500+，每日入库量30GB+，全天数据加工处理流程时间<3小时(清洗/装载、汇总、报表);
【人大金仓完成新疆农村信用社数据仓库国产化】流水型业务场景：整个过程需要通过集中控制平台以定时任务的形式将每日增量数据导入到数据库中，并通过多层模型清洗转换基础数据，每一层需依赖上层转化好的数据，最终完成所有业务操作后将最终结果上报到总行。
原数据库性能及服务无法满足需求：原有数据库为基于一体机架构体系下的数据分析和数据存储平台。采用Netezza构建ODS，随着数据量的增大，Netezza在性能及各方面表现日趋下降，已不能满足新疆农村信用社使用需求。2019年，IBM停止Netezza的服务支持，新疆农信ODS业务陷入无数据库原厂提供服务保障的困境。
客户痛点
安全风险：原数据库IBM Netezza采用的是基于一体机架构体系下的数据分析和数据存储平台，整体从硬件到软件都由IBM提供，对硬件要求非常高，整体架构不适用于目前场景;且系统相对封闭，产品代码层面不可控。
业务运行风险：压缩后约20TB的数据库历史存量，每日30GB+数据增量，导致数据库负载压力巨大，数据库性能提升刻不容缓。
原厂服务保障风险：银行系统对于响应的要求近乎苛刻，需要时刻保证数据库安全稳定运行，数据库厂商最好能够提供7*24小时本地化服务。
金仓方案
人大金仓采用分布式可扩展架构对客户原来的一体机架构进行替换，经过KADB国产化替代后，架构如下：

文章图片
原Netezza数据仓库体系架构如下：

文章图片
金仓价值
开放架构：采用shared-nothing架构的MPP技术路线，金仓分析型数据库系统KingbaseAnalyticsDB产品特性助力，在满足高性能、高扩展性、低成本的基础上，同时满足金融架构的高可用、低风险、强管控要求;
数据库迁移：通过金仓数据库迁移工具，完成600多个控制任务、200多张拉链及增量表、近20TB存量数据的自动化迁移，节省了大量的时间及人力成本。
性能优化提升：通过分布式架构的并行计算能力，将数据分布在所有节点上，减轻了单台服务器的存储压力，通过高度并行的计算框架，加速每个节点的计算效率，完成数据库集群整体性能提升。最优化的I/O处理能力：无共享MPP架构，能够满足所有节点同时进行并行处理，无I/O冲突;
极速数据加载能力，智能加载，无需通过冗余节点，性能极高;
高效数据存储能力：支持主流高效率压缩算法，压缩比可达1：20，协助用户获得最佳存储效率;