在我将博客发布在Spark和Hadoop上后,我遇到了这个文章。IBM大声宣布他们将重量放在火花后面。他们致力于3500多名开发人员和程序员,以帮助推动Spark向前发展。这加上了3大Hadoop分销商(Hortonworks,Cloudera和Mapr)的大力支持,Spark似乎有很多动力。
到底是怎么回事?是大数据已经死了吗?人们可以看到Google文章宣称这样的文章。正如昨天所讨论的那样,有人说Spark将取代Hadoop。几年前,加特纳(Gartner)宣布,大数据已经进入了艰难的幻灭。现在,IBM非常公开地宣布对Spark的大力支持。
所以,大数据已经死了,对吗?好吧,让我们进一步调查。就像任何新的变革技术一样,从一开始,大数据也受到炒作和承诺的驱动。它跳上了潮流,因为他们意识到Hadoop,Nosql和其他开源项目带来了新的Gee-Whiz技术能力。但是,仅技术能力就不会创造业务价值。即使是单独的火花也不会创造业务价值。为了创造价值,必须开发以业务为中心的解决方案。
直到最近,大数据的重点更多地放在技术方面,尤其是在管理和存储我们从移动,物联网和社交中看到的大量数据涌入。大数据炒作一直集中在如何摄入Hadoop并利用分析工具上,并且神奇地您将获得高价值见解。
然而,实际上的价值对于大多数公司来说都是难以捉摸的。取决于您订阅的分析师公司,只有20%的公司实验Hadoop已将项目部署到生产中。为什么这个数字如此低?简而言之,它推动了大部分的Hadoop投资。但是,在2014年,似乎发生了巨大的转变。Datameer出版在他们的博客上,对大数据的执行兴趣从主要的业务高管转变为主要的业务高管。换句话说,过度驱动的大数据是死了。但是,新数据生态系统展示的商机是真实的。
随着业务主管最终获得了他们需要在新数据生态系统中利用分析的信息,组织将需要将以业务为中心的解决方案推向市场。这是IBM Spark公告的地方。IBM犯了3500人火花!这至少是3亿美元的年度投资。即使对于IBM,也是一项非常巨大的事业。IBM在做什么?我认为两件事。一种是为黄金时间准备好火花。Spark面临的挑战是其企业成熟。有很多希望,火花需要成熟。 Once Spark is mature, IBM will be free to build high-value business oriented applications that leverage analytics and machine learning using Spark. Big Data is not Dead – it is just becoming business focused.