大数据每个人都必须知道的 4 层

围绕大数据仍然存在很多困惑。我认为这可能有助于阐明大数据系统的 4 个关键层——即数据本身在从原始统计数据或非结构化数据片段(例如社交媒体帖子)到可操作洞察力的过程中必须经历的不同阶段. 图像 围绕大数据仍然存在很多困惑。我认为这可能有助于阐明大数据系统的 4 个关键层——即数据本身在从原始统计数据或非结构化数据片段(例如社交媒体帖子)到可操作洞察力的过程中必须经历的不同阶段. 更多阅读 大数据分析 大数据:分析领域 12 个月的精彩回顾 沃尔玛如何应对大数据技能危机 HR 如何以智能方式使用大数据(提示:大多数不是) 大数据和分析如何改变足球 大数据是骗局吗? 大数据战略的重点是开发一个沿着这条路径移动数据的系统。

在这篇文章中如果

您正在掌握大数据如何帮助您的业务,我将尝试定义您需要具备的基本层。 尽管人们为这些层提出了不同的名称,但由于我们正在绘制一个几乎没有什么是一成不变的美丽 数据库 新世界,我认为这是最简单和最准确的细分: 数据源层 这是数据到达您的组织的地方。它包括从您的销售记录、客户数据库、反馈、社交媒体渠道、营销列表、电子邮件档案以及从监控或衡量您的运营方面收集的任何数据的所有内容。制定数据策略的第一步是评估您拥有的数据,并根据您需要的数据来衡量它,以回答您需要帮助的关键问题。您可能已经拥有所需的一切,或者您可能需要建立新的来源。 数据存储层 一旦从您的来源收集到大数据,这就是您的大数据所在的位置。

数据库

随着公司生成和

存储的数据量开始爆炸式增长,已经开发出复杂但易于访问的系统和工具,例如我在本文中介绍的 分布式文件系统 或谷歌文件系统,以帮助完成这项任务。对于较小的数据集,可能只需要一台带有大硬盘的计算机,但是当您开始处理存储(和分析)真正的大数据时,就需要一个更复杂的分布式系统。除了一个计算机 EC列表 系统可以理解的存储数据的系统(文件系统)之外,您还需要一个以人们可以理解的方式组织和分类数据的系统——数据库。 有自己的 但其他的,包括亚马逊的 都基于 NoSQL 架构,也很受欢迎。这是您可能会发现政府对您的活动感兴趣的地方——根据您存储的数据类型,很可能需要遵守安全和隐私法规。 数据处理/分析层 当您想使用存储的数据来找出有用的东西时,您将需要对其进行处理和分析。一种常见的方法是使用 工具(我在关于 的文章中也对此进行了更深入的解释。