产品概述
 

       基于数据指标体系的数据读取及处理平台是全球领先的数据业务处理平台,是金蟾软件在当今大数据产业背景下,通过研究数据自身的特点,结合先进的数据管理理念、数据处理技术与业务处理方法,使用元数据理论与数据指标体系等数据资源核心技术,并经过大量的业务需求调研与梳理,自主设计、开发而形成的一套数据采集、数据转换、数据评估、数据查询、数据分析、决策分析等功能为一体的高效、智能的数据采集及处理平台。



平台特点

       基于大数据的应用理念设计  产品的设计开发充分考虑了当前大数据环境下,基于大数据的应用需求以及基于知识发现的技术实现,可以满足各类用户对数据的采集、转换、集成、统计、查询分析等相关业务需求

       基于元数据体系的架构设计  基于元数据体系的架构设计以元数据为业务纽带,利用“数据元数据、技术元数据、业务元数据”形成完整的元数据体系,有效关联和驱动各项数据业务。 


产品功能
 

        基于数据指标体系的数据采集及处理平台主要包括采集任务配置与监控、数据交换处理、数据网上填报、数据导入加载、数据库对接、采集辅助功能六个功能模块。以下进行逐一描述:

采集任务配置与监控       

       数据采集任务配置与监控是对所制作的采集任务的各环节进行相关配置,并且对采集任务执行的各个环节进行监控管理,本模块主要包括采集任务配置管理、采集监控调度管理、采集任务变更管理三个部分。      

       采集任务配置管理提供了针对规划设计中定义的采集任务的后续运行时参数的配置功能;采集监控调度管理提供了对采集业务进展情况的查询统计功能和系统异常告警功能;采集任务变更管理提供了由委办局发起的采集任务变更业务的全流程管理。

数据交换处理      

       数据交换处理功能主要完成对通过异构数据库或前置库导入系统的数据进行审核、验收等处理,功能的实现主要通过系统提供的标准接口与异构数据库或前置数据库进行对接,从而实现对异构数据库数据的采集与处理,数据交换处理的过程也提供了实时的监控功能,可以监控与异构数据节点之间的数据接收、发送以及数据处理的情况,也包含了对监控日志的记录、查看、分析、备份与删除、上传等功能。

数据网上填报       

       数据网上填报是数据采集的主要途径,数据在线网上填报提供了一套基于采集报表或电子表单的在线数据填写、审核和提交功能,并在这一完整填报过程中提供多种辅助功能用于帮助用户更方便、更快捷的完成填报工作,对于采用数据交换、数据库对接等方式作为主要采集形式的采集业务,数据在线填报同样可以作为备用采集方式存在。在数据填报功能中,系统会自动将报表表样或指标群的定义转化为纯Web、不含任何插件、完全基于浏览器的Web表单并支持用户的填写。用户在填报过程中可以随时查看报表中或指标群中指标的指标解释,帮助用户理解指标含义,更准确的填报数据。填报人员可在自身权限范围内对表单数据进行填写、暂存、审核、提交、查询、导入/导出、打印等操作。        在数据在线填报功能中,主要包括:数据填报与审核、分配填报权限和查看历史数据功能,数据填报与审核功能主要完成数据的在线填报与对填报数据的在线审核,分配填报权限主要可以解决一个任务中多张表分别由多人填写的问题,查看历史数据可以对原有历史数据进行查看,并且可以打印和导出原有历史数据。

数据导入加载       

       数据导入加载是平台进行数据采集的另一种重要手段,对于保存在外部数据文件中的大批量数据,均可以采用导入加载的方式批量进入数据采集与处理平台,数据导入加载同样基于采集任务的定义和配置,通过集成可配置的ETL工具并在此基础上开发相关业务管理功能来支持多种数据格式(如Excel、DBF、TXT、CVS等)的大批量数据的高效导入和全过程管控。在导入的整个过程中会对过程信息进行记录,并提供相应的查询统计和过程审计功能。对于导入后的数据,可在数据网上填报功能的配合下进行数据查看和审核处理。数据导入加载管理功能主要包括:数据导入加载配置管理、执行数据导入加载、数据查询、数据审核、业务过程查询统计等功能。

数据库对接       

       数据库对接是数据采集与处理平台提供的一种特殊的数据采集方式,主要适用于与数据采集与处理平台选型相同、网络条件较好的外部业务数据库向数据采集与处理平台的快速数据复制。这种方式的效率很高但不能做复杂的格式转换和筛选过滤。       

       在数据库对接功能中,主要包括:数据库对接配置、数据库对接执行、数据查询和审核、业务过程查询统计功能。数据库对接配置主要的配置工作是定义源数据库和目标数据库之间的复制关系和数据库对接的执行规则。可以定义为按时自动执行或手动执行;可以进行数据复制方式的选择,包括:增量复制、仅更新、完全复制等;数据库对接执行功能是按照定义好的配置信息,使用数据库复制工具定时或手动的执行数据复制操作,在实际执行过程中用户可以随时监控执行过程,并对执行规则进行调整;数据查询与审核功能主要是对通过数据库对接方式进入系统的数据进行查询和审核,业务过程查询统计功能是基于过程记录和日志信息,提供对数据库对接的执行过程的查询统计能力,用户可以通过选择时间、任务来进行过滤,并通过浏览过程记录和相关日志来了解业务执行的细节信息和相关的分类统计信息。

采集辅助功能       

       在数据采集与处理过程中,系统提供一些辅助性的功能用于更好的完成采集业务,包括:通知通告和多渠道主动提醒服务。通知通告是平台提供的用于业务人员进行业务信息传递的集成功能,通知通告的接收方范围涵盖了系统中所有的使用者,通知通告的发出方可以是某个用户也可以是系统根据业务需要自动发出的;多渠道主动提醒服务是系统为更好、更及时的完成业务办理所提供的辅助功能,此功能为后台服务,用于向指定范围的用户以多种方式(电话语音、手机短信、电子邮件、站内通知等)发送指定格式内容的业务提醒信息。



应用场景
 
帮助与文档