数据融合:处理分布式计算的规模

我们生活在一个数据爆炸的时代。创造的信息比以往任何时候都多。网络设备比以往任何时候都多。这种趋势可能会持续到未来。虽然这让公司很容易收集数据，但也带来了纯规模的挑战。企业如何处理来自数百万甚至数十亿个来源的数据？

为了深入了解分布式数据采集的前沿，硅钢媒体团队联合发起人JeffFrick(@JeffFrick)参观了美国加州旧金山首席数据科学家活动。在那里，他遇到了萨姆赖特柊司，他是IBM杰出的工程师和数据仓库的首席架构师。

讨论从最近宣布的一项名为“数据融合”的概念技术开始。赖特柊司解释说，数据融合是他们在IBM酝酿的一个全新想法。它来自一种感觉，即大量数据将来自手机、汽车和智能眼镜等分布式服务。

“这真的是很多数据，”Lightstone说。

数据融合背后的理念是将数据留在原地。赖特柊司将其描述为允许数据源相互发现并相互合作来处理计算网格中的数据科学问题。

赖特柊司提到了这个概念的一个巨大优势，它可以带来数十万甚至数百万个处理器来处理它所生活的数据。他称之为一个非常强大和必要的概念。这样的网络必须是自动的，才能扩展到成千上万的设备。

这样的系统对人类来说太复杂了。莱特柊司说，他的目标是让这个自动的、灵活的、自适应的设备与之连接。他表示，随着数据的融合，他们希望使用物联网、企业和云用例的数据科学。

*披露：科瑞姆全球情报等公司赞助了一些首席数据科学家，一些CUBE关于美国硅钢的媒体。CoriniumGlobal Intelligence和其他赞助商都没有编辑控制权。