统一的数据中心,是政府单位部门和大型企业实施大数据战略的一个重要组成。统一的数据中心建设,离不开对物理分布的数据源进行集成。而随着当前各种数据库、消息队列、文件系统技术的百花齐放,采用传统ETL批处理任务工具对多源数据的可访问性和集成的时效性将无法得到满足。
熙羚实时数据融合平台(简称FSCG)是采用分布式集群架构和数据流管道技术设计开发的数据集成融合产品,应用于云和大数据环境下海量数据的实时集成和交换。
产品优势
项目 | 内容 |
---|---|
源数据变化快速捕捉 |
支持数据库日志的解析模式 支持数据库触发器模式 支持数据库增量字段的查询模式 支持数据源主动Push模式 支持发布订阅、FTP、API模式 丰富的Connector,全面支持各类数据源 |
流式实时数据处理 | 采用流处理技术,支持包括过滤、字段替换、代码映射、嵌套结构拆分、维度填充等实时处理 |
数据汇集暂存 | 平台采用分布式集群架构,支持对从源端汇集而来的数据进行暂存,在写入目标端之前进行标准化处理,缓解大数据集成ELT的“T”对于汇聚库的压力 |
典型应用场景
政务单位部门“一张网”内数据汇聚,部级单位实现对省级单位进行数据上传下达。