新一代数据仓库建设模式探索实践

—以国家开发银行为例

作者系国家开发银行信息科技局局长 洪正华

随着我国金融业对外开放的脚步不断加快，越来越多的外资银行涌入中国，导致我国银行业面临的竞争压力越来越大。为提升银行业竞争能力，国家在“十一五”期间明确提出，我国银行要向风险可控、规范运营的现代商业银行转型。今天，我们正处在转型的关键时期。银行业的转型要求改变传统的“拍脑袋”决策的方式，实施科学决策。

实现这一转变的关键在于将企业中现有的数据转化为知识，为高层管理和决策提供强有力的依据，采用商业智能技术是达到这一目标的有效途径。实施商业智能要求企业建立数据仓库，全面加强数据的完整性、准确性、一致性，实现企业级海量数据的集中与共享，并以此为基础建立各种应用，提高银行的经营决策效率和水平，增强核心竞争力。

数据仓库发展问题

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策和信息的共享。数据仓库的主要优势在于海量数据处理，为复杂模型计算、数据挖掘等深层次的数据应用提供技术平台和稳定、统一的数据支持，这些特点使得它成为商业智能系统的基础。正是由于看到了数据仓库对于银行业的重要作用，国内重要的银行，例如工商银行、建设银行、交通银行、浦发银行等早在2005年左右启动并建立了企业级数据仓库，积累了丰富的经验：

数据标准滞后或缺乏，容易产生冲突，造成口径不一致。数据仓库需要整合大量的数据源，而不同的源在数据的表示等方面存在较大的差异，数据标准的滞后或缺乏，一方面导致数据的入库比较困难，另一方面，系统中存在同一数据的多种形式，容易造成口径不一致。

数据管控缺失，入仓数据质量不高。这主要体现在数据入库的环节上，由于管理、流程支持的不足，控制力度的缺乏，导致入库的数据质量不高。低劣的数据质量会影响到决策的质量，进而降低数据仓库建设的效果。

数据应用不足，难以体现数据仓库价值。数据仓库的重点在于数据的应用，通过应用发挥数据的价值。但目前各行仓库建设时，重点的工作只是实现了数据的集中，缺乏在其上的应用或应用的种类与数目很少，仓库投资建设的价值得不到充分体现。

因此，基于对国内外银行业数据仓库建设理论与实践的分析，结合国家开发银行（以下简称：“开行”）的实际，我们提出了新一代数据仓库建设方法，进行了开行数据仓库一期项目建设，是新一代数据仓库建设模式的大胆探索和有益尝试。

新一代数据仓库建设模式

开行数据仓库于2010年12月启动建设，创造性地提出了“数据标准先行、数据管控落地、应用驱动与数据驱动相结合”数据仓库建设方法论，将数据标准化、数据管控以及数据应用工作都统一纳入数据仓库建设工作的范畴，为开行数据仓库的顺利实施奠定了基础，如图1所示。

数据标准先行

2008年开行启动数据标准化工作，通过借鉴金融业通用的FS-LDM（金融业务逻辑数据模型）,并结合开行集团架构下“投、贷、债、租、证”综合型金融业务的特点，将数据标准体系划分为基础类数据标准、分析类数据标准和专有类数据标准三大类，全面覆盖了开行的业务领域和管理需要。在制订过程中，又将基础类数据标准与分析类数据进行映射，保证了从基础数据到指标数据的贯通。

数据标准不仅在于制定，更重要的是在业务领域和技术领域的落地。数据标准化工作的常规思路是先制定、后落地，而开行将制定与落地同步开展，抓住系统建设的关键时机，推动数据标准的落地，既在落地过程中检验了标准制定成果，又通过落地将标准制定成果效益最大化。在开行数据标准制定的同时，提出了数据标准逻辑参考模型，直接构成了开行数据仓库的骨架和核心内容，保证了数据标准在数据仓库的落地执行。

目前开行数据标准化工作已经陆续完成基础类数据标准和分析类数据标准的制定与发布，其中基础类数据标准包括客户、产品、交易、协议、财务、资产、机构和员工七个主题，共计2046项，分析类数据标准包括分析类指标定义框架、分析类指标分类体系以及分析类指标维度体系，共计1109项。基础类数据标准和分析类数据标准覆盖了开行90%以上的业务以及90%以上的IT系统，并同步在核心、全流程信贷、中小企业、客户关系管理和数据仓库等重要IT系统以及和其相连的周边系统中进行落地，同时开展了客户、机构与员工、产品及行业代码的专项落地工作，有效地保证了系统间的数据一致性，为开行数据仓库建设奠定了坚实基础。

数据管控落地

数据标准解决了数据的入仓问题，使得更多生产系统的接入成为可能，它在丰富数据源的同时也带来了新的挑战，即如何保证入仓数据的质量。这个问题如果不加以妥善解决，将会直接影响数据仓库的使用效果，对数据仓库成为“企业数据垃圾桶”的抱怨时有发生就是这一问题的具体体现。

开行在开展数据管控工作过程中，采用了规划、组织、制度、技术工具和专项考核等因素相结合的综合型数据管控机制，并在这五项必备因素层面开展了相应的工作。规划层面完成了数据管理制度与流程体系的整体规划；组织层面建立了由行长信息化建设专项协调机制领导下的数据管控组织；制度层面制定了数据标准管理、数据录入维护管理、数据质量管理、元数据管理、数据模型管理、数据平台数据交换管理、报表需求管理等七项数据管控办法，为数据管理工作提供制度保障；技术层面完成了数据管理系统的建设，为总分行全员参与数据管控工作提供了技术工具；考核层面则通过设立总分行数据管控专项考核指标，保障数据管控制度的落地执行。这五个方面缺一不可，任何一方面的缺失或不足难以保证数据管控工作取得实际效果。

在数据仓库建设中，我们以元数据管理为基础，以管控流程为手段，使数据仓库成为全行可信、可控的数据源。

应用驱动与数据驱动相结合

应用不足、数据服务缺乏是当前国内数据仓库建设所面临的一个共性问题，由此所导致的直接后果就是空有“宝山”却不能用，投资的价值得不到体现，而这反过来会影响到决策层投资和建设的热情，导致投入减少，不足以支付众多数据服务的建设，由此形成一个恶性循环，最终导致整个数据仓库建设的失败。

所以，在梳理数据仓库的建设需求时，为了进一步体现数据仓库的应用价值，我们不仅考虑如何从底层保证数据的入仓，还从数据应用入手，将数据仓库支持的应用分为经营管理类应用域和资产负债类、风险管理类、监管合规类、绩效管理类、客户关系管理类的五大应用主题域，通过“1+5”应用，提升经营管理、决策分析和监管报送水平。将数据仓库基础平台与数据应用进行协同建设，以数据仓库项目群的方式开展建设，实现仓库建设与数据应用建设互动，充份体现数据仓库建设价值。

数据仓库建设与重点应用

确立数据仓库建设目标。按照“数据标准先行，数据管控落地，应用驱动与数据驱动相结合”的数据仓库建设方法论，开行确立了“落实数据标准，实现集中共享，提升五大应用，支持经营决策，统一全行报表，挖掘数据价值”建设目标，经过两年来的建设，数据仓库一期项目已于2012年10月顺利上线投产。

基础平台建设。数据仓库基础平台建设包括基础层和汇总层两项重点内容。基础层设计遵循了数据标准，即逻辑数据模型，建立了开行合理、稳定、可扩展的数据模型，涵盖当事人、协议、财务、事件、资产、机构、地址、产品八个主题，342个实体，实现757个标准信息项，135个标准代码的全面落地，累计入仓核心、信贷、资金等12个主要生产系统的数据，实现开行主要数据物理及逻辑上的大集中；汇总层以元数据管理为核心，全面实现数据仓库数据管控，实现贷款、债券发行等八个主要业务协议类数据加工计算，以及客户、机构、财务等主题的数据汇总。同时，通过数据服务区与数据接口，形成了便于业务人员理解的数据视图，为业务应用提供统一、高效的数据共享基础，形成可信、可控、可视化的数据源，实现了数据逻辑的大集中。

四大重点应用。基于数据仓库基础平台一期同步建设了全行统一报表系统、高管驾驶舱、风险数据集市及应用、监管报送系统四大重点应用，实现了全行统一报表视图、灵活报表定制、手工数据补录及指标管理等功能，真正实现了全口径信贷报表的集中展现；提供了集安全、易用、便捷为一体的管理决策支持平台，可以做到行内关键盈利性、风险性、流动性指标及外部宏观经济和同业比较相关指标展现；实现风险数据整合，进一步提升开行风险管理系统群的应用水平；建设仓内监管合规集市，提高了监管报送数据质量和效率。

结束语

开行数据仓库建设是新一代数据仓库建设的一次有益尝试，取得了较大成效，但仍有很多问题需要解决。下一步，我们将基于该模式，进一步加强数据仓库建设，从以下几方面着手开展后续工作。

加强运维管理和应用支持工作。持续完善并严格实施运维管理规范，明确科技部门作为数据仓库的管理部门，牵头负责规划、建设与运营管理，确保数据仓库正常使用和稳定运行，提高数据仓库数据质量和应用价值。

加快数据仓库应用建设。重点完成财务绩效与资产负债主题建设，优化完善监管合规、风险数据集市，通过数据整合促进应用整合，持续支持与提升财务绩效类、监管合规类、风险管理类、资产负债类系统群的应用水平，满足监管部门及内部精细化管理的业务要求。

开展数据挖掘高端应用工作。基于数据仓库的内外部数据，利用先进的数据挖掘工具，构建全行数据挖掘平台，实现开行集团架构下的跨主题挖掘和高端应用，支持前沿业务分析和高层领导决策，打造一支技术与业务兼备的数据挖掘团队，充分挖掘数据资产价值，提升开行核心竞争力。