我们该怎么用大数据?
大数据应用虽然前景诱人,但绝非想做就能做得了的。首先我们需要采集庞大的数据量(采集技术),然后考虑放在哪(存储技术)、怎么放才好拿(分布和架构技术)、放好后怎么让计算机去处理(自然语言转换技术和数据处理技术)、处理完怎么归类(统计分析),然后发现这些数据是否足够用于预测,是否需要更多数据或者转换数据(数据挖掘技术),接着还要看是否能变成可预测或可掌控的模型(模型预测技术),最后还要让人看得懂和会用(结果呈现技术,如图表和云计算等)。以上八个环节哪怕任一环节是难以凭一人之力去完成的。在庞大的数据面前个人的智慧如此渺小,如同让蚂蚁去了解何为“恒河沙数”一般。这需要巨大的智慧聚合,需要先进的技术、人才和高度的统筹安排,做到这一切实在不容易,简单来说,我们人类仅仅是站在如前所述的“第四阶段”的入口而已。
欣喜的是,我们在这个初始阶段也看到了许多成功应用的例子。在我们所熟悉的能源系统,智能电网现在欧洲已经做到了终端,也就是所谓的智能电表。在德国,为了鼓励利用太阳能,会在家庭安装太阳能,除了卖电给你,当你的太阳能有多余电的时候还可以买回来。通过电网每隔五分钟或十分钟收集一次数据,收集来的这些数据可以用来预测客户的用电习惯等,从而推断出在未来2~3个月时间里,整个电网大概需要多少电。有了这个预测后,就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样,如果提前买就会比较便宜,买现货就比较贵。通过这个预测后,可以降低采购成本。维斯塔斯风力系统,依靠的是BigInsights软件和IBM超级计算机,然后对气象数据进行分析,找出安装风力涡轮机和整个风电场最佳的地点。利用大数据,以往需要数周的分析工作,现在仅需要不足1小时便可完成。
在医疗行业,在加拿大多伦多的一家医院,针对早产婴儿,每秒钟有超过3000次的数据读取。通过这些数据分析,医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施,避免早产婴儿夭折。此外,它让更多的创业者更方便地开发产品,比如通过社交网络来收集数据的健康类App。也许未来数年后,它们搜集的数据能让医生给你的诊断变得更为精确,比方说不是通用的成人每日三次一次一片,而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。
在通讯行业,NTTdocomo把手机位置信息和互联网上的信息结合起来,为顾客提供附近的餐饮店信息,接近末班车时间时,提供末班车信息服务。当然这一点,国内许多数据量足够大的App也能做到。
此外大数据应用目前在零售业、网络服务业这几个行业也有比较频繁的应用,但相对其应有的繁荣,目前确实还是在起步阶段,但这个趋势是不可逆转的。大数据给整个人类打开了想象力和理解力的新大门,而且将永不停止。(文心)