服务电话:400-6616-779

首页 > 行业专注 > 数据资产平台

数据资产平台

  • 来源:
  • 发布时间:2020-06-15
  • 浏览次数:4006

       数据资产平台是面向高校的综合数据平台,其所管理的数据资产将会是高校信息化持续发展不可或缺的基础平台和核心资产。能为用户有效、可视的建立校级数据资产;数据资产建设路径、建设过程和投入产出清晰量化表达;数据资产平台将数据进行各类加工整理实现服务化形成数据中台层为上层应用真实赋能,并和上层应用贯通可证。

       面向高校信息中心解决高校管理信息系统之间的主数据的共享和交换,并积累主数据。主数据特征体现为结构化、跨部门需要、结果型的管理数据。平台依托全校顶层设计的信息标准及元数据管理,利用数据集成工具,将主数据从各部门各院系集成并管理起来,建立一个全校学校范围内的、标准单一的权威主数据中心,以解决标准统一、数据不一致、数据冲突、数据质量低下等问题。主数据中心的数据来源/目标系统(即各部门各院系的系统)无需改变,各个数据来源系统中对主数据做的更改将同步到主数据中心中,同时通过主数据中心分发到数据目标系统中。实现了数据收集的高效自动化,支持标准动态的优化调整,数据同步按需采取实时或周期等方式进行。平台通过构建业务对象模型库,能够为上层微服务、一网通办服务以及通用查询工具提供优质的数据源。通过构建数据集市,提供主题分析、综合校情以及管理驾驶舱所需的各类数据源。

       利用业务对象模型库及数据集市库,面向高校信息中心构建数据资产目录开放系统,可根据资产名称快速检索某个数据资产或API接口的使用记录,同时可以查看到当前开放的资产目录数量、可下载的数量、下载次数、API接口数量、调用次数等。

       利用数据资产管理平台构建的数据仓库,围绕业务视角,提升用户可看性,直面性能瓶颈,对业务系统集成的主数据进行事后检测,暴露数据存在的问题,包括数据集成问题、实施规范问题、源头业务系统本身数据质量问题,所见即所得反映问题所在及动态,邮件推送直接触达源头业务人员,推动源头部门进行数据质量提升。

       数据资产管理平台采用主数据管理技术,融合了信息标准、数据资产管理工具、数据治理实施方法等方面,形成适合高校行业的数据资产综合管理平台,为业务部门、广大师生提供更多更好的高质量数据服务。

       功能架构设计如下:

平台架构图.png



      高校数据资产平台主要分为“数据资产管理系统、数据资产目录系统、数据质量管理系统”三个部分以及数据补采工具、通用查询统计工具。


tu2.jpg 数据资产管理系统


       数据资产管理系统是以主数据相关应用功能为核心,提供元数据与信息标准管理、数据集成与备份工具、主数据管理、数据资产可视化展现以及数据开放接口管理。其中,信息标准管理将参照最新的国标、部标与行业标标准为高校数据资产的集成交互提供最新且可维护的依据。元数据管理将对基于数据表的各类字段信息进行统一数据维护与管理,方便数据管理人员集中控制元数据实时状态。数据集成与备份工具能够为数据管理人员提供数据集成开发包,让数据集成与融合过程更加便捷,数据血缘关系呈现与监控,将极大方便数据管理人员在发现数据相关问题时,及时回溯问题来源,精准定位问题数据,方便数据治理的过程。主数据管理是为采集后数据的存储提供集中管理的功能。数据资产的展现解决了当前数据管理人员无法在通过一个展现框架浏览当前所有数据资产信息的问题。数据资产管理系统为数据集成与共享事务提供了更加丰富的数据共享接口,在数据集成过程中,可以通过开放API接口的方式就可以实现数据集成与数据交互。同时,能为数据管理人员提供丰富的数据仓库管理,包括业务对象模型库和数据集市库,业务对象模型库将提供数据消费场景下所需的数据模型接口定义及实施,为上层各类微服务及一网通办服务提供对应业务对象模型,极大的解决了在数据实施过程中面临的效率较低的问题,实现整体数据集成解决方案的闭环,数据集市库的建设将为上层数据主题分析、综合校情、管理驾驶舱提供规模化数据源,以丰富各类数据分析之需求。


6372784268392328209665811.jpg


图片7.png





1、元数据管理

       元数据管理工具主要实现代码标准、主数据模式标准的元数据信息的管理,包括添加、删除、修改、数据对象的创建等功能;同时,通过元数据一致性检测功能,确保代码标准、主数据和数据存储库一致,避免直接操作数据库等不规范操作带来的问题,可以实现业务系统元数据资源的统一注册、数据分类管理,实现全校元数据资产统一管理,便于数据管理者查找所需要的元数据,理解所使用的数据的业务含义,加强对数据治理过程的控制能力。                

2、数据集成管理工具                

       提供多种数据集成工具,数据集成工具将分散在各个业务系统中的主数据抽取出来,进入到校级主数据库,形成整个学校内唯一的、标准的和权威的主数据集,从而实现数据的统一集成和标准化,解决业务系统间交互数据的问题,同时也为数据仓库应用提供了数据支撑。整个过程保留各业务系统的原有数据库,不影响各业务系统的完整性。          

3、数据资产展现                

       提供数据资产评估功能,使学校可以清晰看到现有校级资产状况,包括数据模型建模完成情况、数据同步集成概况、数据同步质量几个模块内容。 

       针对目前高校信息化建设的基础-数据及其对象做一个全方位的维度查看,对数据质量的总体概览,数据模型,主数据对象模型,自定义数据模型,业务对象模型,数据集市,代码标准模型进行历史维度和当前维度数据质量的查看        

       

5a02bf1419248c57c04aefe74df03780.png       

4、数据仓库管理    

数据集市模型管理 

数据分类管理:数据对象的分类目录的导入、增加、删除、修改、设置排序号;        

数据对象管理:数据对象的导入导出和增删改查;        

字段属性管理:字段的导入导出和增删改查;        

代码表引用关系管理:代码表引用关系的增删改查;        

数据集市建模:可根据元数据进行数据建模。采取先对元数据和数据库实体一致性比对,再对差异项进行处理的方式进行;        

变更历史查询:元数据的变更操作都会被记录并可被用户查询。        

数据加密/脱敏操作,数据方案编辑可对已选字段展示字段名称、字段中文名、字段类型性、加密脱敏方式、加密脱敏类型、删除按钮;加密脱敏方式为加密/脱敏二选一,如果选择加密,则类型分为低中高三级,如果选择脱敏,则类型为保留或脱敏开始位数至结束位数

数据共享接口管理     

数据共享接口工具采用面向服务体系架构(Service Oriented Architecture,SOA),把主数据封装成数据接口开放,供第三方开发者使用,第三方开发者可以基于这些接口为校内师生提供丰富多彩的数据应用。采用HTTP协议,数据API共享方式,可以减少对数据库的直接访问,满足实时、按需的共享需求场景。        

数据备份管理工具     

数据备份管理工具构建主数据仓库来保留了主数据的历史数据,能重现每天的数据情况,对时间维度上的数据分析工作提供了重要的手段。        

数据拉链表模式    

业界保留历史数据最常见的办法就是使用拉链表。历史拉链表当生产数据发生变更时,才相应地发生变更,既能有效保留历史数据的变动信息,又不浪费存储空间。因此,主数据仓库模式采用和主数据基本一致的结构,只需要在原有数据模式基础上增加记录起效日期(START_TIME)、记录失效时间(END_TIME)即可。        

数据备份模式  

数据备份管理负责每天凌晨把主数据、代码标准库中前一天发生变化的增量数据同步备份到数据仓库        

数据备份日志  

数据备份日志可以查询每天代码标准和主数据的备份情况 

备份数据查询 

备份数据查询可查询每张表的数据变动情况以及每张表每天的数据快照情况,可导出到EXCEL,满足各种临时的数据统计需求      

运行监控管理工具  

运行监控管理为信息中心运行监控人员提供系统的动态,异常情况,数据情况等。以图形化的方式,较通俗易懂的表现形式来展现系统的各种运行和异常情况,并且按照事件的重要程度,将最重要的信息展现在最醒目的位置。目前包含系统监控检测、数据集成监控、数据库监控、数据情况等。    

   

tu2.jpg 数据质量管理系统    


       数据质量管理系统是在数据资产生命周期中最为重要的一环,数据质量管理系统通过提供数据质量检测工具、数据资产质量展现以及问题数据线上处理与反馈等一系列数据质量管理工具,针对问题数据提供实时在线的信息反馈,方便数据管理人员对数据全生命周期中的数据质量实时监控与处置。    

                                         5.jpg     6.jpg    

       

1、数据质量检测工具    

数据质量检测工具围绕业务视角,提升用户可看性,直面性能瓶颈,对业务系统集成的主数据进行事后检测,暴露数据存在的问题,包括数据集成问题、实施规范问题、源头业务系统本身数据质量问题,所见即所得反映问题所在及动态,邮件推送直接触达源头业务人员,推动源头部门进行数据质量提升。   

   

2、数据质量评估

       数据资产质量展现    

       系统提供详细查看对同步数据进行质量的分析的图表。可以查到当前的正常/异常的数据数量,按照月份查看历史数据质量的优劣。对同步成功的数据做到按照系统进行分类,查看每个系统中预制表建设和添加表建设的评分,从完整性、唯一性、代码有效性、合规性这四个维度来反映单表治理已完成和未完成的情况,已完成的单表会反映出四个维度的数量,未完成的单表校验会反映出数据中存在的缺陷。可以查看历史数据同步到主数据的同步时间。 

       通过环状图展示最新监测的得分情况,满分100,环状内展示总得分数,图例展示正常数据量和异常数据量;列表和折线图展示近5次质量检测较前一次监测分数变化超过20分的检测日期及分数;文字展示本次检测日期时间及距离下一次检测开始的剩余时间    

       大图及文字展示涉及责任单位数、涉及业务系统数、检测数据对象数、检测业务字段数、定义业务检测项数、涉及数据样本数    

       柱状图加折线图展示主数据对象模型和自定义模型的各数据分类的建设及质量检测情况,文字展现柱状图加折线图的得分算法    

       单表治理情况以表格的形式分别展示检测无异常的数据对象和有异常的数据对象,无异常视为治理已完成,反之则未完成。已完成的展示数据分类、表类型、表名、已设置的完整性检测项数、唯一性检测项数、代码有效性检测项数、格式合规性检测项数;未完成的展示数据分类、表类型、表名、遗留问题包括表状态、完整性检测项错误数、唯一性检测项错误数、代码有效性检测项错误数、格式合规性检测项错误数。    

       历史数据情况以表格形式展现近一周的检测时间、总得分、有效表得分、完整性得分、唯一性得分、合规性得分。    


3、数据问题在线反馈    

      针对数据使用过程中,由数据使用方发现的问题,提供一个在线的反馈页面,可以将问题反馈给数据管理部门,由其安排人员排查处理。
    

4、数据问题线上跟踪处理流程    

       主要内容为后台检测制度的设定,生产检测报告及报告单号,并将检测报告发送给数据对象所属的权威数据责任单位,之后系统需要每次检测时,优先判断该责任单位目前已有的问题的状态,根据问题状态采取下一步行动。     

       权威责任单位用户角色登录系统后对问题报告进行受理,并在线下对报告中提到的问题进行相关的处理。    

   

tu2.jpg 数据资产目录开放系统     

   


           

      

       数据资产目录开放系统有别于常规主数据管理平台的重要管理子系统,数据资产目录开放系统将高校内可共享的各类数据信息以目录清单的方式进行呈现,并能够方便校内各部门在线针对数据资产进行在线申请、审核,以达到可共享数据资产使用全过程监控的需要,做到高校数据资产使用有迹可循。           

7.jpg            

1、资产目录展示

8.jpg        


           



       

       资产目录展示页面,可对目前学校开放的所有资产目录展现整体概念,可根据资产名称快速检索某个数据资产或API接口的使用记录,同时可以查看到当前开放的资产目录数量、可下载的excel数量、下载次数、API接口数量、调用次数。            

       输入资产名称跳转到资产使用记录界面,根据输入的关键字进行检索;搜索框下有资产使用概览、资产目录管理、申请审核、资产使用记录四个快捷按钮,点击分别跳转到对应的界面。             

       展示目前数据资产的总数据量、资产目录个数、API接口个数、数据文件接口数、下载次数。            

2、数据资产申请服务    

       可以查看到学校目前开放的所有数据资源目录以及公用的API接口,在树形结构系统中可快速筛选。在页面相关部位展示资源名称、资源类型(EXCEL默认显示,如果有公用API接口则二者都显示)、该资源在资源管理页面最后更新的时间、数据分类、权威责任单位、开放字段数、开放数据量,申请使用按钮。点击展开更多显示该资源开放的字段详细信息,包括字段名称、字段类型、长度、是否主键、是否允许为空、是否唯一;展开的API详情sheet页显示公用API接口信息,包括API名称、入参、出参、过滤条件、申请使用按钮。    


3、资产使用申请审核    

       在该页面提供关键字查询控件,查询条件下分为不同的sheet页,查询待审核、已通过、已打回三个不同状态的申请的列表。搜索后根据该关键字查询申请单,查询结果展示申请表名、提供字段、申请类型、申请人姓名、所在部门、联系电话、邮箱、申请时间、状态、操作。操作按钮包括通过、打回。申请类型分为API、数据文件和文件订阅三种类型,如果是文件订阅,需要同时展示订阅的频率。    

   

4、个人资产中心    

       可以查看到该账号之前申请并且通过了的所有API接口及数据文件下载相关的资源目录,有申请通过数据文件下载则显示EXCEL,二者都有则全部显示、该资源在资源管理页面最后更新的时间、数据分类、权威责任单位、开放字段数、开放数据量。    

   

tu2.jpg 数据补采工具    


       数据补采工具作为数据源采集的另一个通道,能在在第三方数据资产未能对接的情况下,可以通过补采补录以及填报工具的方式进一步丰富主数据内容,保证基础数据的完整性,为高校各部门提供更加完善的数据资产内容。   


tu2.jpg 通用查询统计


        通用查询统计功能是以各类型统计报表的方式对数据资产管理平台中涉及的各类数据资产进行呈现的应用,数据管理人员可灵活自定义基于各类查询的统计报表,方便周期性生成校级数据资产状态统计与汇总信息。    


   

Copyright 2019 武汉华通汇智科技有限公司 | All Rights Reserved | 免责声明 | 鄂ICP备18016200号