随着大数据的快速发展，大数据技术尤其是大数据分析已经发展成为大多数企业战略的重要组成部分。

一家公司在 2018 年对合作伙伴进行的一项大数据高管调查显示，发现大数据项目及其带来的好处几乎已变得司空见惯。 在受访者中，98.6%的人表示他们的公司正在努力创建数据驱动的文化使用数据分析决定战略的公司，97.2%的高管表示他们的公司正在实施大数据或人工智能(AI)举措，高于2017年的85.5%。 绝大多数受访者 (73%) 表示，他们从大数据计划中获得了可衡量的价值。

由供应商 AtScale 独立进行的 2018 年大数据成熟度调查发现，66% 的组织将大数据视为战略性或改变游戏规则的组织，而只有 17% 的组织将该技术视为实验性技术。 此外，95%的受访者表示，他们计划在未来三个月内利用大数据做更多工作。

如今，企业处理大数据的方式正在迅速变化。 就在几年前，大数据还只是一个热门词汇，大多数组织都在尝试 Hadoop 和相关技术。 如今，大数据技术尤其是大数据分析已经发展成为大多数企业战略的重要组成部分，企业面临着跟上大数据快速发展的巨大压力。

一系列不同的趋势正在影响大数据计划，但机器学习、云计算、数据治理和速度需求这四个首要主题正在成为 2018 年塑造大数据的关键因素。

机器学习

机器学习和人工智能这两个术语有时会被混为一谈，因为机器学习是人工智能的重要组成部分使用数据分析决定战略的公司，人工智能是在没有计算机明确编程的情况下进行学习的，并且它与大数据分析有着内在的联系。

事实上，今年 NewVantage 年度大数据调查的封面已经重新设计，以表明它包含大数据和人工智能。 该调查的作者写道：“大数据和人工智能项目几乎没有区别，特别是考虑到机器学习是处理大量快速移动数据的最流行的技术之一。” 当调查询问管理者选择哪种大数据技术会产生最大的颠覆性影响时，71.8%的受访者选择了人工智能。 与 2017 年相比，这一数字显着增加，当时只有 44.3% 的受访者表达了同样的观点。 特别值得注意的是，人工智能远远领先于云计算（12.7%）和区块链（7.0%）。

某调查机构负责人曾表示，“由于计算能力、体积、速度和各种数据的进步，以及深度神经网络（DNN）的发展，人工智能有望成为未来10年最具颠覆性的技术类别）。 ”

Gartner近期预测表明，“2018年人工智能（AI）带来的全球商业价值预计将达到1.2万亿美元，较2017年增长70%。” 展望未来，Gartner分析师补充道：“预计2022年人工智能的商业价值将达到3.9万亿美元。”

考虑到潜在的商业价值，公司计划大力投资机器学习和相关技术也就不足为奇了。 IDC 预计，“2018 年全球认知和人工智能 (AI) 系统支出将达到 191 亿美元，比 2017 年支出增长 54.2%。”

此外，许多云计算提供商提供人工智能和机器学习工具，使云计算更具吸引力。

云计算

分析人士认为，大数据正在走向云计算。 研究公司Forrester的Brian Hopkins表示：“通过云订阅的全球大数据解决方案支出将比本地订阅订单增长7.5倍。此外，根据2016年和2017年的数据调查，公共云是主要参与者在大数据分析中，人是最重要的技术。“公共云服务提供的成本优势和创新对大多数企业来说都是不可抗拒的，”一些调查似乎支持了这些结论：

在AtScale的调查报告中，59%的受访者表示他们已经在云端部署了大数据，77%的受访者预计他们的部分或全部大数据部署将在云端。

Teradata的云计算现状分析报告发现，基于云计算的大数据分析需求更高。 38% 的受访者表示，云是运行分析的最佳场所，69% 的受访者表示，他们希望到 2023 年在云中运行所有分析。

为什么他们如此急切地迁移到云端？ 云分析的预期好处包括更快的部署（51%）、更高的安全性（46%）、更好的性能（44%）、更快的数据洞察（44%）、用户更容易访问（43%）和更便宜的维护（41%） ）。

组织将继续将其数据存储迁移到公共云提供商，当数据已经驻留在云中时，在云中执行大数据分析将更快、更容易且成本更低。

数据治理

但是，尽管云计算和机器学习的潜在好处正在推动公司投资这些大数据技术，但公司仍然面临与大数据相关的重大障碍。

其中最重要的是如何保证所有数据的准确性、可用性、安全性和合规性。

当 AtScale 的调查要求受访者确定他们面临的与大数据相关的最大挑战时，治理位居第二，仅次于技能组合，这是每年调查中提到的首要挑战。 早在 2016 年，治理还只是挑战列表中垫底的，因此上升到第二位是一个特别重大的变化。 组织现在更关心数据治理，而不是性能、安全性或数据管理。

重新引起关注的部分原因可能是 Facebook Inc. 和英国剑桥分析公司最近发生的数据泄露丑闻。 这一漏洞非常清楚地表明，由于失去正常的数据轨迹和未能正确保护用户隐私，可能会发生潜在的公共关系噩梦。

欧盟颁布的《通用数据保护条例》（GDPR）是今年5月生效的另一股主要变革力量。 它要求所有持有欧盟公民数据的组织满足某些要求，例如违规通知、访问权、被遗忘权、数据可移植性、隐私设计以及数据保护官员的任命。

监管变化给组织带来了越来越大的压力，要求他们确保知道自己拥有哪些数据、数据存放在哪里，并确保数据得到适当的保护。 这是一项艰巨的任务，需要许多公司加快步伐并重新思考他们的大数据战略。

对速度的需要

与此同时，他们觉得有必要放慢处理数据治理问题的速度，许多企业也需要更快的大数据分析。

在 NewVantage 调查中，47.8% 的经理表示，他们主要将大数据用于近实时的日常仪表板和运营报告，或用于实时交互、面向客户的流媒体或关键任务应用程序。 这是一个重要的发展，因为数据分析的传统用途是每天、每周或每月执行批量报告。

同样，Syncsort 的调查发现，60.4% 的受访者对实时分析感兴趣。

为了满足实时或近实时性能的需求，企业越来越多地转向内存技术。 由于处理内存 (RAM) 中的数据比访问硬盘驱动器或固态驱动器上存储的数据要快得多，因此内存技术可以显着提高速度。

事实上，SAP声称其专有的HANA技术已帮助一些公司将业务流程加快了10,000倍。 虽然大多数公司都没有经历过这种性能提升，但 SAP 并不是唯一一家对内存技术做出巨大贡献的公司。 Apache Spark 是一个开源大数据分析引擎，运行在内存中，据称运行工作负载的速度比标准 Hadoop 引擎快 100 倍。

企业似乎已经注意到这些性能改进。 供应商 Qubole 报告称，2017 年至 2018 年间，Apache Spark 使用率在计算时间方面增加了 298%。当我们查看 Apache Spark 上运行的命令数量时，这种增长更加令人印象深刻，Spark 上运行的命令总数不断增加2017 年至 2018 年间增长了 439%。

在某些方面，这种对速度的需求也推动了其他三个大数据宏观趋势的发展。 造成这种情况的部分原因是组织正在将大数据转移到云端，因为他们希望获得性能提升。 他们至少部分投资于机器学习和人工智能，因为他们想要更快、更好的见解。 他们正在经历与数据治理和合规性相关的挑战，至少部分是因为他们如此迅速地采用了大数据技术，而没有首先解决所有数据质量、隐私、安全和合规性问题。

在不久的将来，随着企业寻找利用大数据颠覆其行业的新方法。 并获得竞争优势，所有四种趋势预计将持续并加速。 当然，我们也可以了解一下现在的企业在实践中是如何利用大数据的。 在这些公司中，扬达科技（）提供的大数据解决方案值得一看。

【出处注】本文由扬达科技大数据专家刘海米提供。 内容为作者个人观点。 本站仅提供参考，不构成任何投资和应用建议。 如有侵权，请联系我们删除。