DataEngine平台产品

在DT时代的今天,各行各业时时刻刻都在产生海量的结构多样的数据。传统数据库技术已经无法满足高效处理这些数据、挖掘数据潜在价值的要求,亟需一整套专业化的大数据解决方案来点石成金,一创大数据平台在此背景下应运而生。

采用流式计算引擎、离线计算引擎和分布式数据库引擎混搭的计算框架为用户提供一套完整的大数据平台解决方案,包括数据采集转换、计算存储、分析挖掘、共享交换、BI展示以及运维管理等全系列功能,帮助用户构建海量数据处理系统,发现数据的内在价值,获取新的市场机会。

先进的混合计算架构

● 采用离线计算引擎、流式计算引擎和分布式数据库引擎融合技术架构,对半结构化、非结构化数据提供低成本存储,并提供低时延、高并发的查询和分析功能;对结构化数据采用分布式数据库引擎,支持列式存储、分布式计算、智能索引等功能,实现高性能结构化数据分析处理。集成MapReduce、Spark、Storm、Tez、Sparkstreaming、Flink等多种计算引擎。大数据系统可同一份数据集上运行多种计算引擎,能满足高吞吐、大数据量和低时延实时处理等多方面的数据计算要求。

高性价比的分布式集群

● 基于x86服务器本地的计算与存储资源,计算集群可以动态调整,从数台到数千台之间弹性扩展,按需构建应用,减少总体成本;同时,在设计时充分考虑了硬件设备的不可靠因素,在软件层面提供计算和存储的高可靠保证,HDFS组件,支持多HDFS文件数据块同分布功能,具备较强的容错性与高可靠性。

云化ETL

● 将不同业务系统中分散、零乱、标准不统一的各种源数据中的数据进行汇聚。支持从DBMS、互联网、物联网、企业生产系统等各种数据源中提取数据。各类数据经过抽取、清洗和转化后,实现多对多地加载到包含但不限于大数据集群和各类关系型数据库中。该过程由一个统一的操作接口封装,经过无代码的可视化配置后,可实现自动化地、分布式地执行整个ETL作业流程。

数据分层和分级存储

● 把数据按照不同阶段分为ODS(Operational Data Store)数据、轻度汇总数据、信息子层数据和应用数据,分别存储在大数据平台和数据仓库,满足不同阶段的计算需求;支持选择配置SAS、SATA、SSD盘或者高性能PCI-E SSD存储卡作为主存介质,不同存储介质构成不同存储池,SATA或者SAS提供离线存储,SSD作为高性能在线存储资源池。按照在线数据、历史数据等来管理数据生命周期,组成分级存储,满足在线数据的高性能存储的需求;将核心模型数据通过改造融入到数据仓库的核心模型中,减少数据冗余,提升数据质量;将数据仓库中的历史数据迁移到低成本分布式数据库,减轻数据仓库的计算与存储压力并支撑深度数据分析。

数据分析挖掘

● 支持R语言,集成机器学习算法库Mahout和Spark MLlib,包含聚类分析、分类算法、频度关联分析和推荐系统在内的常用机器学习算法。满足批处理统计分析、在线数据检索、R语言数据挖掘、实时流处理、全文搜索等全方位需求。可帮助企业建立高速可扩展的数据仓库和数据集市,结合多种报表工具提供交互式数据分析、即时报表和BI可视化展示能力。

数据服务接口

● 提供交互式SQL和可编程API,提取数据存储计算平台的数据处理结果,屏蔽底层细节,为上层应用提供数据服务。主要包括SQL接口、MapReduce/Spark/Storm计算接口等多种可编程API、全文实时搜索接口、业务定向接口、关联查询接口,满足数据查询、可视化BI展示、数据交换、数据分析、目录服务、综合查询等业务应用的需要,支持从HDFS或HBase向SFTP、FTP导出数据。提供接口文档、二次开发指导手册与二次开发示例程序,满足开发人员的使用需求。

可视化运维管理

● 提供Web图形化界面实现运集群的管理和监控,集群的节点、主机和服务的运行状态都能在界面上显示,操作友好,功能丰富。在Linux环境下,提供一键式大数据平台依赖包安装、硬盘分区挂载和自动格式化,以及基于Kerberos、LDAP、NTP的服务自动化配置等。提供集群快速安装部署、机架展示、用户权限管理、主机与服务管理、监控及告警通知等多方面支持,在可管理性方面优势显著。