数据接入

数据接入是大数据资源中心数据接入的入口,大数据资源中心自身不产生数据,其数据来自于业务系统、日志、文件、图片等,这些数据分散在不同的网络环境和存储平台中,难以利用,很难产生业务价值。数据接入则把各种异构网络、异构数据源、不同类型的数据采集到大数据资源中心进行集中存储,为后续数据治理奠定基础。数据接入的方式有结构化数据接入、非结构化数据接入、API数据接入、流式数据接入等。

位图备份 42x.png

核心亮点

1. 数据库配置 数据库连接配置:支持MySQL、SQLServer、PostgreSQL、Oracle、DM(达梦数据库)数据源连接信息的配置管理,包括:增删改查、测试连通性。 可查看每一数据源关联的业务流程。

2. CSV文件数据源 CSV文件可作为数据集成的数据源进行数据同步。

3. 文件数据源 文件数据源即非结构化数据,包括:pdf、图片、word等,均可作为非结构化数据集成的数据源进行数据同步。

4. 文件服务器配置 支持FTP文件服务器的连接配置,对文件服务器的管理维护包括:增删改查、测试连通性。可查看该数据源关联的业务流程明细。

5. API配置 支持对API数据源的配置管理(协议、URL、报文格式),对API管理维护包括:增删改查、测试连通性。可查看该数据源关联的作业明细。

6. 实时数据信道管理 实时数据信道作为管理流式数据的载体,对数据中台内部数据源进行管理维护,包括对Topic的增删改查。

产品展示

位图@2x.png位图@2x (1).png