零时古怪 - 中国第一新闻资讯综合门户

零时古怪资讯网
提供最新的热点新闻资讯
首页 > 财经

你知道什么是数据湖吗?宜人金科为你进行讲解

对于经常跟数据打交道的同学,初步听到数据湖这个概念的时候,肯定有点懵,但是相信大家对于数据仓库这个概念并不陌生。实际上数据湖是由数据仓库演化而来,接下来宜人金科将带你全面了解数据湖。

 

一、数据湖概念的提出

数据湖这一概念,最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是:如果我们把数据比作大自然的水,那么各个江川河流的水未经加工,源源不断地汇聚到数据湖中。业界便对数据湖一直有着广泛而不同的理解和定义。“数据湖是一个集中化存储海量的、多个来源,多种类型数据,并可以对数据进行快速加工,分析的平台,本质上是一套先进的企业数据架构。”

"数据湖"的核心价值在于为企业提供了数据平台化运营机制。随着DT时代的到来,企业急需变革,需要利用信息化、数字化、新技术的利器形成平台化系统,赋能公司的人员和业务,快速应对挑战。而这一切的数据基础,正是数据湖所能提供的。

 

二、数据湖特点

数据湖本身,具备以下几个特点:

1)原始数据

海量原始数据集中存储,无需加工。数据湖通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化数据(CSV,日志, XML, JSON),非结构化数据(电子邮件,文档, PDF)和二进制数据(图像,音频,视频)。也就是数据湖将不同种类的数据汇聚到一起。

2)按需计算

使用者按需处理,不需要移动数据即可计算。数据库通常提供了多种数据计算引擎供用户来选择。常见的包括批量、实时查询、流式处理、机器学习等。

3)延迟绑定

数据湖提供灵活的,面向任务的数据编订,不需要提前定义数据模型。

 

三、数据湖优缺点

任何事物都有两面性,数据湖有优点也同样存在些缺点。

优点包括:

数据湖中的数据最接近原生的。这对于数据探索类需求,带来很大便利,可以直接得到原始数据。

数据湖统一企业内部各个业务系统数据,解决信息孤岛问题。为横跨多个系统的数据应用,提供一种可能。

数据湖提供了全局的、统一的企业级数据概览视图,这对于数据质量、数据安全直到整体的数据治理,甚至提高到数据资产层面都大有裨益。

数据湖改变了原有工作模式,鼓励人人了解、分析数据;而不是依赖于专门的数据团队的”供给”方式,可以提升数据运营效率、改善客户互动、鼓励数据创新。

缺点主要体现在:

对数据的归集处理程度明显缺失,对于试图直接使用数据的用户来说显得有些过于“原材料”化,且数据太过冗余。应对这一问题,可通过”数据接入+数据加工+数据建模”的方式来解决。

对数据湖基础层的性能有较高要求,必须依托高性能的服务器进行数据处理过程。这主要是来自于海量数据、异构多样化数据、延迟绑定模式等带来的问题。

数据处理技能要求高。这也主要是因为数据过于原始带来的问题。

以上就是宜人金科为你讲解数据湖的全部内容,实际上数据湖对于一些企业来说有着不可替代的作用,也大大提升了运营效率,想要了解更多,欢迎咨询宜人金科,我们将为您答疑解惑。

 

未经允许不得转载:零时古怪 - 中国第一新闻资讯综合门户 » 你知道什么是数据湖吗?宜人金科为你进行讲解

分享到:更多 ()
来源:TOM 编辑:WY-BD

评论

留言/评论 共有条点评
昵称:
验证码:
匿名发表