关于数据

Posted by zixuan-zhang on July 19, 2015

前言

小学期选了一门“移动互联网和大数据”的讲座,这篇文章是这门课的作业,也就是心得报告。

没有干货

我先讲个故事。我大三那年,也就是2013年4月份,我去参加某大学的夏令营。印象中那时候大数据的概念兴起不久,在学术界已经炒的比较火了,但是还没像现在这样十个人中有八个人说我是做大数据的。当时和一个教授座谈,当然他也号称自己是研究大数据的,而且据说做的还不错。移动公司会和他有合作,移动公司的数据源源不断的给他的服务器发送数据,然后这位教授就利用这些数据做些工作。移动公司的数据,说起来也足够大了,也可以称得上是大数据了。然后接下来是我们的对话的一部分:

*我:老师,对这些超大规模的数据,如果用传统的方法处理,时间成本肯定会非常大,那么现在有没有什么好的方法去加速处理呢?

老师:现在还在研究,数据的价值是非常大的,有了数据以后就什么都好说了。

我:我赞同数据的重要性,但是数据在这,如果我们没有好的方法去利用,数据也就没有用了。像这么大的数据,用现在的方法去处理,肯定需要很长时间,现在利用这些数据的方式都还是沿用之前的数据挖掘的方法吧。

老师:其实互联网数据就是大数据,大数据的概念也是兴起不久,对于大数据的利用、处理的方法都不多,基本上是沿用之前的方法。从数据存储、读取、处理、利用等各个方面都要有质的提高,这样才可以更好的利用大数据,大数据的价值才能被充分利用。*

现在已经过去两年了,在和科技的、非科技的各个论坛上,上去讲话的人如果不讲一下现在是大数据时代根本就没有存在感。有一次我去麦当劳等人,旁边的两个人在谈话,其中一个人说我们公司现在有5个人,我们公司是做大数据的。跟两年前相比,唯一的变化就是大数据已经变得非常不值钱,朋友间谈话如果不提一下大数据就好像没有跟上潮流似的。

我的问题是,大数据给我们带来很大的变化了吗?没有!只是这个概念越来越火。从个人主观角度上来讲,我非常反感这个现象。因为:

  1. 大数据的概念听起来确实非常诱人。有了数据就相当于有了一切,从数据中提取信息,提炼知识,辅助决策。
  2. 我们利用数据的方法并没有因为大数据的风头而有质的改变。我们现在用的仍然是之前的数据挖掘的方法。
  3. 现在大数据的应用有没有令人兴奋的例子呢?很少。有没有什么利用大数据的好的商业模式呢?很少。
  4. 大数据这么火,但是从本质上来讲什么都没有变! 以上就是我想说的第一点:我讨厌概念的炒作,有种你做出来牛逼的东西!

但是,大数据真的全都是概念的炒作吗?当然也不至于。我认为大数据至少给了我们一种解决问题的思路,一种利用数据来让世界变得越来越好的理念

我目前在百度地图驾车导航团队实习,职位是开发工程师。导航的主要功能就一点,提供给用户一条最快最便捷的道路。原始的方法很直白,用户给出起点和终点,我们在路网上算出一条距离最短或用时最短的道路然后提供给用户。那么,怎样利用数据的思路去解决这个问题呢?假如我们有海量的用户出行数据,知道用户的起点、终点以及用户选择的道路。如果用户想从一个地点到另外一个地点上去,从我们的数据中可以知道有一条路有1000人走过,并且评价还不错,那么这条路就有理由提供给用户。这就是从数据的角度去解决问题。

从这个角度来看,数据真的很有价值呢!然后利用大数据的挑战仍然很大。如果要写起来可以写一本书了,我最想说的一点是怎样利用大数据。

大数据产生于科技界,也是目前和移动互联网一样比较火的领域。然而正如我前面所说,大数据目前还没有好的商业模式,也就是没有好的方法去利用大数据。与其说是大数据,不如说是数据。目前在科技界,阿里巴巴是利用大数据做的比较好的企业。现在支付宝更新到9.0,跟上个大版本相比,支付宝去掉了启动的手势密码,用户一下子没有了安全感。作为支付宝,肯定也考虑了这一点。那为什么仍然去掉这一步呢?按照他们的角度来讲,他们跟踪用户习惯,可以有效记录用户习惯,保护用户财产安全。他们就用到了大数据。还有包括现在的天池竞赛,就是通过过去的用户购买习惯预测用户购买商品。这其实就是用到了数据。但是称得上是利用大数据吗?也不见得,他们也是用目前的数据挖掘和机器学习的方法去预测。不过乐观来讲,也是向前迈了一步。这和亚马逊之前提出的在用户购买之前就将用户需要的产品转移到用户附近的中转点,这样就可以大大减少快递时间。这用到了数据,当然也需要有好的方法。从专业的角度上来讲,只有数据量足够才能建立足够准确的模型模拟准确的参数。所以方法依靠于数据,但是方法仍然是载体。这需要大量的训练和足够准确的模型。并不是炒作能够做的。所以,我想说的是,炒归炒,仍然需要学术界和工业界的人踏踏实实去实践才行。人类的行为可预测,这个命题听起来就非常神秘,但并不一定不可能。梦想总是要有的,万一实现了呢。

这位就是我想说的,用新的数据观去看待这个世界,用新的方法去利用数据。作为计算机专业的人,更需要在一线去探索、去实践、去开拓。也许真的有金矿。

我也希望自己能够写出真知灼见,能够讲出一番推动大数据发展的观点。但是写来写去也发现自己的东西也很无力,也是虚无缥缈的,略失望。


Creative Commons License
This work is licensed under a CC A-S 4.0 International License.