基于大数据的应用概念设计
产品的设计开发充分考虑了当前大数据环境下基于大数据的应用需求和基于云计算的技术实现,能够满足各类用户对数据采集、接受、汇总、统计、查询和分析等相关业务需求。
基于元数据系统的架构设计
基于元数据系统的架构设计以元数据为业务纽带,利用“数据元数据、技术元数据和业务元数据”形成完整的元数据系统,有效地关联和驱动各种数据服务。
多种数据收集方法
平台支持多种数据采集方式,包括在线直报、离线上报、excel导入、外部数据文件导入、异构数据库导入、主动数据提取等。,支持移动终端设备实现数据采集,可以满足不同层次、不同类型用户的数据采集需求。
多种数据审计方法
平台提供各种类型的数据审核和验证方法,通过审核规则设计器设置满足不同业务需求的各种审核公式,实现采集阶段和验收阶段的数据在线审核和评估,保证数据质量和可用性。
强大的数据处理能力
通过“一级平台、分级监管、多方共享”,所有服务都可以在一个平台上完成。通过对数据的统一收集、集中管理和多层次并行分析,可以全面掌握数据,增强数据使用的能力和价值。各级业务人员协同工作,在平台上处理数据,可以根据数据权限,将数据导出为指定格式,或者向外界提供共享服务。
多种数据汇总方法
平台提供了多种数据汇总方式,包括基于采集表的灵活汇总方式和基于固定汇总表的评估汇总方式,可以满足不同层次的应用需求。
多种数据查询方法
平台提供了多种数据查询方式,包括主题查询、元数据查询、指标查询、报表查询、专题查询等。用户可以将常用的查询和分析以模板的形式保存下来,通过调用模板可以直接获得查询结果,减少了重复劳动。
产品架构
基于指标体系的数据采集处理平台主要完成数据采集和处理。来自各种渠道的数据通过各种采集方式采集到数据采集处理平台,并通过采集平台提供的处理功能进行初始化。整个采集和处理过程必须符合元数据系统提供的标准和索引系统的业务规范。
产品功能
基于指标体系的数据采集处理平台主要包括采集任务配置与监控、数据交换与处理、数据在线填报、数据导入与加载、数据库对接和采集辅助功能六个功能模块。下面逐一描述:
采集任务配置和监控
采集任务配置与监控是对已完成的采集任务的各个环节进行配置,对采集任务执行的各个环节进行监控和管理。该模块主要包括采集任务配置管理、采集监控调度管理和采集任务变更管理三个部分。
采集任务配置管理为规划设计中定义的采集任务提供后续运行时参数的配置功能。采集监控调度管理提供采集业务进展查询统计功能和系统异常报警功能。收购任务变更管理提供了对委办发起的收购任务变更业务的全过程管理。
数据交换处理
数据交换处理功能主要完成对通过异构数据库或预数据库导入系统的数据的审核和验收。该功能的实现主要通过系统提供的标准接口与异构数据库或预数据库接口,实现异构数据库的数据采集和处理。数据交换处理过程还提供了实时监控功能,可以监控异构数据节点之间的数据接收、发送和数据处理,还包括监控日志的记录、查看、分析、备份、删除和上传。
数据在线报告
数据在线填报是数据采集的主要方式。数据在线填报提供了一套基于采集的报表或电子表格的在线数据填报、审核、提交功能,并在这个完整的填报过程中提供了多种辅助功能,帮助用户更方便快捷地完成填报工作。对于以数据交换和数据库对接为主要采集形式的采集业务,数据在线填报也可以作为备份采集方式存在。在数据填写功能中,系统会自动将报表表样或指标组的定义转换为纯Web形式,无需任何插件,完全基于浏览器,支持用户填写。
用户可以在填写过程中随时查看报表或指标组中指标的指标说明,有助于用户理解指标的含义,更准确地填写数据。填写人员可以在自己的权限内对表单数据进行填写、暂存、审批、提交、查询、导入/导出、打印等操作。数据在线填报功能主要包括:填报数据、审批数据、赋予填报权限、查看历史数据。数据填报审批功能主要完成对填报数据的在线填报和在线审核。分配填充权限主要可以解决一个任务中多个表被多人填充的问题。查看历史数据可以查看、打印和导出原始历史数据。
数据库对接
数据库对接是数据采集处理平台提供的一种特殊的数据采集方式,主要适用于从同类型选择、网络条件较好的外部业务数据库到数据采集处理平台的快速数据复制。这种方法效率很高,但是不能做复杂的格式转换和过滤。在数据库对接功能中,主要包括:数据库对接配置、数据库对接执行、数据查询和审核、业务流程查询和统计功能。数据库对接配置的主要配置工作是定义源数据库(和数据表)与目标数据库(和数据表)的复制关系以及数据库对接的执行规则。可以定义为按时自动执行或手动执行。
采集辅助功能
在数据采集和处理过程中,系统提供了一些辅助功能,包括通知和多渠道主动提醒服务,以更好地完成采集业务。通知通知是平台为业务人员传递业务信息提供的集成功能。通知通知通知的接收方覆盖系统内所有用户(包括注册用户和非注册用户),通知通知通知的发送方可以是某个用户,也可以由系统根据业务需要自动发送;多渠道主动提醒服务是系统为更好、更及时地完成业务处理而提供的辅助功能。该功能是一种后台服务,用于以各种方式(电话语音、短信、电子邮件、站内通知等)向指定范围内的用户发送指定格式的业务提醒信息。).
产品价值
灵活全面的数据采集方法
支持在线报表、移动终端、数据接口等数据采集方式,完善用户业务系统数据采集渠道,满足各类数据采集需求,为用户提供更多类型的业务数据。
形成统一的标准数据资源
通过基于指标体系的数据采集和处理,进入平台的数据可以形成统一的标准数据资源,提高数据管理效率和数据使用价值,更好地为相关业务提供服务。
提高数据可靠性和数据质量
由于采用了多种数据采集方法和多手段数据审计方法,保证了采集数据的可靠性和数据质量,能够更好地满足各级用户的客观评价和数据使用。
为数据的综合利用打下良好的基础
通过数据采集处理平台,可以形成统一的数据资源,为以后数据的综合利用和深度挖掘打下良好的基础,供各级用户使用,全面提高数据的可用性。