大数据

大数据


大数据技术 BIG DATA  


      未来20年社会变革的核心动力将是从信息中获取情报。信息将成为21世纪的原油,将以前所未有的形式驱动经济前行;数据正在变成几乎和资本劳力一样的重要的经济原料。

      大数据技术(big data)或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

      大数据的特点有四个层面:

      第一,数据体量巨大。从TB级别,跃升到PB级别。

      第二,数据类型繁多。包括网络日志、视频、图片、地理位置信息等等。

      第三,处理速度快。1秒定律,可从各种类型的数据中快速获得高价值的信息,这一点也是和传统的数据挖掘技术有着本质的不同。

      第四,只要合理利用数据并对其进行正确、准确的分析,将会带来很高的价值回报。业界将其归纳为4个“V” ——Volume (大量)、Variety(多样)、Velocity(高速)、Value(价值)。

      大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”, 通过“加工”实现数据的“增值”。

      中环信息不仅仅提供大数据基础平台,而且基于对业务的深刻理解将领域大数据需求封装为功能服务套件,建立大数据服务组件平台,屏蔽大数据开发应用的复杂性,助力企业快速构建大数据应用,实现数据增值服务。


大数据基础平台 BIG DATA PLATFORM


image.png

结合对领域业务需求的深刻理解,对当前主流开源技术进行对分析与适配整合,基于Hadoop集群构建中环信息自主的大数据基础平台,提供一键式安装部署与一体化集群管控,极大的提升大数据管控效率。

中环信息大数据基础平台采用先进大数据技术,覆盖大数据存储、数据治理、查询统计、挖掘分析、调度管控、安全管理等各个环节,实现大数据的全生命周期管理,满足领域用户大数据存储、大数据SQL查询与检索、实时计算和数据分析挖掘等大数据高效应用的需求。

image.png

1)数据集成栈:提供一体化数据集成工具将传统IT架构中的数据清洗、加载到大数据框架,提供可靠的数据资源管理。

2数据治理栈基于Hadoop分布式文件系统、列存储等技术支持横向无限扩展;提供统一的存储、计算等资源管理。

3分布式内存管理将集群节点内存作为分布式关键数据存储,极大提升数据计算与分析性能。

4高性能弹性计算统一抽象数据集RDD结合DAG高效的数据数据处理计划调度,构造了基于内存的M/R计算引擎。

5SQL支持栈提供基于Hive/HBase的高性能SQL支持,满足高性能查询、统计与分析需求,且直接支持关系型数据库。

6挖掘分析栈提供高性能并行化数据分析和数据挖掘算法满足领域大数据分析挖掘需求。

7流计算与图计算流计算以流水线方式处理海量数据,满足实时计算分析需求;图计算满足海量数据关系分析需求。

8知识检索栈分布式实时搜索与知识管理引擎,可对大数据进行深度搜索,提供搜索建议、分组统计、自动聚类。

9作业调度栈实现多环节大数据作业流程的组装、协同与调度。

10管理监控栈提供全局门户实现对大数据集群运行状况的一体化管理控制。


大数据套装软件 BIG DATA SERVICE SUITE


1548658665902.png

中环信息以“大数据即服务”为理念,依托多年积累的行业信息化建设经验及对企业级应用需求的理解,将领域业务中常见的数据治理、数据查询、统计分析、数据挖掘、实时计算、关系分析等大数据业务需求进行业务抽象和耦合设计,最终封装为即插即用的大数据服务套件,屏蔽大数据开发的复杂性,提供基于大数据技术的业务拓展服务平台,为客户的大数据平台提供功能柔性扩展的能力。助力企业快速构建大数据应用。

基于数据服务需求目标,设计查询统计、即:席分析、数据挖掘、计算服务四类大数据服务套件库,对系统提供的闭包式服务套件进行分类管理。服务套件在套件库中注册成功之后,即可被独立或者集成用,提供大数据服务。

image.png                        1548658686923.png

1数据集成套件:提供可视化工具,实现数据从关系型数据库、文件、日志、消息等数据源高效提取到大数据集群中。

2数据治理套件提供图形化可配置工具,实现大数据处理、清洗、转换以及标准化校验等的治理工作。

3查询统计套件提供查询统计套件,方便的实现大数据的关联查询以及指标统计等。

4即席分析套件提供数值分析组件库,为用户提供需求驱动的自助数值分析建模与分析预测。

5数据挖掘套件提供可扩展的数据挖掘套件库;实现自定义数据集海量数据的数据建模、模型管理以及数据预测。

6流计算图计算基于海量实时数据实现高性能数据异常监测、窗口活动累计分析等功能。

7信息检索套件实现大数据的信息检索、分类等。

8作业协同套件实现大数据作业的图形化编排、流程化组装及定时调度等。


大数据增值分析服务 VALUE-ADDED SERVICE


      以客户的业务需求为驱动,在企业级大数据存储与服务、企业级运行监控、实时风险监测、高性能计算、行为分析、趋势预测、业务流程优化等方面提供传统IT方案无法比拟的高性能、高价值解决方案,实现数据增值。

image.png

1时间序列分析:

不考虑其他因素影响,依据数据的时间序列规律进行分析、建模、预测。

2灰色模型预测:

描述不确定性的理论方法,依据数据之间的发展趋势分析、建模、预测。

3多元回归模型:

研究一个因变量与多个自变量之间相互关系,从而建立模型进行预测。

4人工神经网络:

模拟生物神经网络,依据输入输出计算神经元之间关系,建立预测模型。

image.png



联系方式

电话:0535-6662726

邮箱:huanjinginfo_china@163.com

联系我们:

扫一扫,关注我们

500x500