4、数据仓库管理
数据集市模型管理
数据分类管理:数据对象的分类目录的导入、增加、删除、修改、设置排序号;
数据对象管理:数据对象的导入导出和增删改查;
字段属性管理:字段的导入导出和增删改查;
代码表引用关系管理:代码表引用关系的增删改查;
数据集市建模:可根据元数据进行数据建模。采取先对元数据和数据库实体一致性比对,再对差异项进行处理的方式进行;
变更历史查询:元数据的变更操作都会被记录并可被用户查询。
数据加密/脱敏操作,数据方案编辑可对已选字段展示字段名称、字段中文名、字段类型性、加密脱敏方式、加密脱敏类型、删除按钮;加密脱敏方式为加密/脱敏二选一,如果选择加密,则类型分为低中高三级,如果选择脱敏,则类型为保留或脱敏开始位数至结束位数。
数据共享接口管理
数据共享接口工具采用面向服务体系架构(Service Oriented Architecture,SOA),把主数据封装成数据接口开放,供第三方开发者使用,第三方开发者可以基于这些接口为校内师生提供丰富多彩的数据应用。采用HTTP协议,数据API共享方式,可以减少对数据库的直接访问,满足实时、按需的共享需求场景。
数据备份管理工具
数据备份管理工具构建主数据仓库来保留了主数据的历史数据,能重现每天的数据情况,对时间维度上的数据分析工作提供了重要的手段。
数据拉链表模式
业界保留历史数据最常见的办法就是使用拉链表。历史拉链表当生产数据发生变更时,才相应地发生变更,既能有效保留历史数据的变动信息,又不浪费存储空间。因此,主数据仓库模式采用和主数据基本一致的结构,只需要在原有数据模式基础上增加记录起效日期(START_TIME)、记录失效时间(END_TIME)即可。
数据备份模式
数据备份管理负责每天凌晨把主数据、代码标准库中前一天发生变化的增量数据同步备份到数据仓库。
数据备份日志
数据备份日志可以查询每天代码标准和主数据的备份情况。
备份数据查询
备份数据查询可查询每张表的数据变动情况以及每张表每天的数据快照情况,可导出到EXCEL,满足各种临时的数据统计需求。
运行监控管理工具
运行监控管理为信息中心运行监控人员提供系统的动态,异常情况,数据情况等。以图形化的方式,较通俗易懂的表现形式来展现系统的各种运行和异常情况,并且按照事件的重要程度,将最重要的信息展现在最醒目的位置。目前包含系统监控检测、数据集成监控、数据库监控、数据情况等。
数据质量管理系统
数据质量管理系统是在数据资产生命周期中最为重要的一环,数据质量管理系统通过提供数据质量检测工具、数据资产质量展现以及问题数据线上处理与反馈等一系列数据质量管理工具,针对问题数据提供实时在线的信息反馈,方便数据管理人员对数据全生命周期中的数据质量实时监控与处置。
1、数据质量检测工具
数据质量检测工具围绕业务视角,提升用户可看性,直面性能瓶颈,对业务系统集成的主数据进行事后检测,暴露数据存在的问题,包括数据集成问题、实施规范问题、源头业务系统本身数据质量问题,所见即所得反映问题所在及动态,邮件推送直接触达源头业务人员,推动源头部门进行数据质量提升。
2、数据质量评估
数据资产质量展现
系统提供详细查看对同步数据进行质量的分析的图表。可以查到当前的正常/异常的数据数量,按照月份查看历史数据质量的优劣。对同步成功的数据做到按照系统进行分类,查看每个系统中预制表建设和添加表建设的评分,从完整性、唯一性、代码有效性、合规性这四个维度来反映单表治理已完成和未完成的情况,已完成的单表会反映出四个维度的数量,未完成的单表校验会反映出数据中存在的缺陷。可以查看历史数据同步到主数据的同步时间。
通过环状图展示最新监测的得分情况,满分100,环状内展示总得分数,图例展示正常数据量和异常数据量;列表和折线图展示近5次质量检测较前一次监测分数变化超过20分的检测日期及分数;文字展示本次检测日期时间及距离下一次检测开始的剩余时间。
大图及文字展示涉及责任单位数、涉及业务系统数、检测数据对象数、检测业务字段数、定义业务检测项数、涉及数据样本数。
柱状图加折线图展示主数据对象模型和自定义模型的各数据分类的建设及质量检测情况,文字展现柱状图加折线图的得分算法。
单表治理情况以表格的形式分别展示检测无异常的数据对象和有异常的数据对象,无异常视为治理已完成,反之则未完成。已完成的展示数据分类、表类型、表名、已设置的完整性检测项数、唯一性检测项数、代码有效性检测项数、格式合规性检测项数;未完成的展示数据分类、表类型、表名、遗留问题包括表状态、完整性检测项错误数、唯一性检测项错误数、代码有效性检测项错误数、格式合规性检测项错误数。
历史数据情况以表格形式展现近一周的检测时间、总得分、有效表得分、完整性得分、唯一性得分、合规性得分。
3、数据问题在线反馈
针对数据使用过程中,由数据使用方发现的问题,提供一个在线的反馈页面,可以将问题反馈给数据管理部门,由其安排人员排查处理。
4、数据问题线上跟踪处理流程
主要内容为后台检测制度的设定,生产检测报告及报告单号,并将检测报告发送给数据对象所属的权威数据责任单位,之后系统需要每次检测时,优先判断该责任单位目前已有的问题的状态,根据问题状态采取下一步行动。
权威责任单位用户角色登录系统后对问题报告进行受理,并在线下对报告中提到的问题进行相关的处理。
数据资产目录开放系统
数据资产目录开放系统有别于常规主数据管理平台的重要管理子系统,数据资产目录开放系统将高校内可共享的各类数据信息以目录清单的方式进行呈现,并能够方便校内各部门在线针对数据资产进行在线申请、审核,以达到可共享数据资产使用全过程监控的需要,做到高校数据资产使用有迹可循。
1、资产目录展示
资产目录展示页面,可对目前学校开放的所有资产目录展现整体概念,可根据资产名称快速检索某个数据资产或API接口的使用记录,同时可以查看到当前开放的资产目录数量、可下载的excel数量、下载次数、API接口数量、调用次数。
输入资产名称跳转到资产使用记录界面,根据输入的关键字进行检索;搜索框下有资产使用概览、资产目录管理、申请审核、资产使用记录四个快捷按钮,点击分别跳转到对应的界面。
展示目前数据资产的总数据量、资产目录个数、API接口个数、数据文件接口数、下载次数。
2、数据资产申请服务
可以查看到学校目前开放的所有数据资源目录以及公用的API接口,在树形结构系统中可快速筛选。在页面相关部位展示资源名称、资源类型(EXCEL默认显示,如果有公用API接口则二者都显示)、该资源在资源管理页面最后更新的时间、数据分类、权威责任单位、开放字段数、开放数据量,申请使用按钮。点击展开更多显示该资源开放的字段详细信息,包括字段名称、字段类型、长度、是否主键、是否允许为空、是否唯一;展开的API详情sheet页显示公用API接口信息,包括API名称、入参、出参、过滤条件、申请使用按钮。
3、资产使用申请审核
在该页面提供关键字查询控件,查询条件下分为不同的sheet页,查询待审核、已通过、已打回三个不同状态的申请的列表。搜索后根据该关键字查询申请单,查询结果展示申请表名、提供字段、申请类型、申请人姓名、所在部门、联系电话、邮箱、申请时间、状态、操作。操作按钮包括通过、打回。申请类型分为API、数据文件和文件订阅三种类型,如果是文件订阅,需要同时展示订阅的频率。
4、个人资产中心
可以查看到该账号之前申请并且通过了的所有API接口及数据文件下载相关的资源目录,有申请通过数据文件下载则显示EXCEL,二者都有则全部显示、该资源在资源管理页面最后更新的时间、数据分类、权威责任单位、开放字段数、开放数据量。
数据补采工具
数据补采工具作为数据源采集的另一个通道,能在在第三方数据资产未能对接的情况下,可以通过补采补录以及填报工具的方式进一步丰富主数据内容,保证基础数据的完整性,为高校各部门提供更加完善的数据资产内容。
通用查询统计
通用查询统计功能是以各类型统计报表的方式对数据资产管理平台中涉及的各类数据资产进行呈现的应用,数据管理人员可灵活自定义基于各类查询的统计报表,方便周期性生成校级数据资产状态统计与汇总信息。