硅谷大数据：什么是 “改变世界” 的大数据公司

什么是 “改变世界” 的大数据公司

近两周硅谷两场规模比较大的 demo 大会上，就有十多家自称做大数据的 startups，有做消费者行为的，有做体育分析的，有做 NGO 融资的，有做环保的，有做 UX 的，有做信贷评级的，当然还少不了做移动端广告的。乍看都是高大上的产品，但仔细琢磨一下会发现一些没那么高大上的细节。

比如，有一家介绍时候说”Brings big data to teams, media and fans”，用的是Moneyball作引子。展示结束后询问他们是如何分析视频以得到各种数据的，demo 的哥们表示他们请了一些人看视频的。没错，是人工。自然地，下一个问题就是：未来如何扩张以应对来自不同体育项目大量的全长录像?他的回答也很简单，雇佣更多人。听完我懵了一下，问，那打算如何利用收集的数据呢?答曰：开放 API，自己不做分析。

那么，说好的大数据呢?难道有数据就叫大数据公司了?如果庆丰包子留存有这半个多世纪以来的购买者和交易记录它就得叫大数据公司了?

是，但也不是。

先归纳了一下硅谷 “大数据公司” 的类型，有补充或修正的请拍砖：

数据的拥有者、数据源：特点是业务优势能收集到大量数据，就像煤老板垄断一个地区的矿一样。其实大多数有能力产生或收集数据的公司都属于这类型，比如 Vantage Sports 和收集了 PB 级数据的包子铺。

大数据咨询：特点是非常技术，提供从基础设施规划建设维护到软件开发和数据分析等的服务，但不拥有数据，比如Cloudera这家不到 500 人的 startup 是最著名的 Hadoop 架构咨询公司。

做大数据工具的：比如 AMPLab 出来的Databricks和 Yahoo 人主导的Hortonworks。

整合应用型：特点是收集拥有或购买一些数据，然后结合 AI 来解决更多实际的痛点。

所以回答之前的问题：是，因为包子铺只要收集的消费者数据量够大就能成为数据拥有者，有那么大的数据就有得到洞见的可能;不是，因为可能从真正意义上来说，大数据公司应该只属于第四种类型：AI。

对，我相信未来是 AI 的，而 AI 的食物是数据。就像很多产业链一样，最困难且最有价值的创新往往发生在接近最终用户的那端，比如 iPhone。大数据行业最有价值的部分在于如何利用机器去处理数据得到洞见，影响组织和个人的行为，从而改变世界。收集和整理数据在未来会变得标准化和自动化，而利用 AI 进行分析的能力会变得更为关键。

再看硅谷主打 AI 的公司，现在大致可以分成以下三类了：1. 分析用户行为，改进产品和营销的，比如 LinkedIn 的推荐系统和用 iBeacon 实现店内营销;2. 统筹大量分散个体，利用大数据实现精确有效的预测和规划的，比如 Uber 和前段时间出现的 Amazon Fresh 及 Grub Market;3. 分析识别各种类型的数据，开发更智能的设备和程序，比如 Google 大脑及无人车和以 Nest 为代表的智能设备等。

这些产品都有一个很明显的共性，就是在努力尝试把机器变得更智能以减轻人类的工作量。这个目的与科技发展的动力相符合，因此认为之前所说的第四种类型的公司是最有希望改变世界的。