如何搭建大数据分析平台
如何搭建大数据分析平台
要实现对海量大数据的处理,搭建起大数据分析系统平台是非常关键的一步。对于企业而言,大数据的重要性日益凸显,想要从数据资产当中真正得到可应用于实际的价值线索,大数据分析平台不可或缺。今天大数据分析的培训分享,我们来聊聊如何搭建大数据分析平台?
通常来说,大数据分析平台,需要覆盖从数据获取到储存,再到计算的整个流程环节,在架构设计上,就需要把这些需求都考虑进去。
大数据分析平台架构
从概念上讲,大数据分析平台架构可以分为接入层(Landing)、整合层(Integration)、表现层(Persentation)、语义层(Semantic)、终端用户应用(End-user applications)、元数据(Metadata)。
接入层(Landing):以和源系统相同的结构暂存原始数据,有时被称为“贴源层”或ODS;
整合层(Integration):持久存储整合后的企业数据,针对企业信息实体和业务事件建模,代表组织的“真相来源”,有时被称为“数据仓库”;
表现层(Presentation):为满足较终用户的需求提供可消费的数据,针对商业智能和查询性能建模,有时被称为“数据集市”;
语义层(Semantic):提供数据的呈现形式和访问控制,例如某种报表工具;
终端用户应用(End-user applications):使用语义层的工具,将表现层数据较终呈现给用户,包括仪表板、报表、图表等多种形式;
元数据(Metadata):记录各层数据项的定义(Definitions)、血缘(Genealogy)、处理过程(Processing)。
来自不同数据源的“生”数据(接入层),和经过中间处理之后得到的整合层、表现层的数据模型,都会存储在数据湖里备用。
数据湖的实现通常建立在Hadoop生态上,可能直接存储在HDFS上,也可能存储在HBase或Hive上。当然,行业当中也有用关系型数据库来做数据湖存储的。
济南优就业IT培训机构,优就业为广大学员提供更加人性化的选课服务,全日制封闭班、周末班、名企直聘班、进阶深造班、实战实训班、全栈高端班、在线直播班,多种班次类型,满足不同人群的学习需求。更联合高校开设学历班,学成后将获得承认的大专、本科学历,满足广大学员对更多技能、更高学历的追求。
想了解更多内容,可咨询优就业在线客服,现在咨询有机会获得试听课名额,咨询热线电话:400-626-3986
尊重原创文章,转载请注明出处与链接:http://www.mxiao.cn/1515/new/177190/违者必究!
以上就是济南优就业IT培训机构 小编为您整理如何搭建大数据分析平台的全部内容。