Google当初曾经给媒体产业与广告产业以毁灭性打击。继而又推出云计算,冲击传统IT产业。云计算对于Google来说不过是实现战略野心的“第二步”。下一目标将是电力产业、汽车产业、通信产业,且Google已经开始了摸索。
尽管“Google威胁”越来越多,但是Google并不可怕。
Google的“根据地”——互联网领域——内有Facebook与twitter等社交网络服务网站、eBay等电子商务服务网站不断挑战Google的地位。他们学习Google的发展模式,不断与Google竞争。
学习Google,战胜Google
Google的威慑力来自哪里呢?那就是他们拥有其他企业无法比拟的强大的计算能力。日本国立信息学研究所的佐藤一郎教授将Google比喻成一个“强大的学习型机器”。
采集并分析大量的数据,从中挖掘有价值的信息,为客户提供高端服务——这就是Google所做的。想对抗Google,就首先必须要拥有类似的“强大的学习型机器”。
长期以来,Google的计算能力是其独有的。但是,随着“Hadoop”的出现,Google之外的企业现在也同样能够拥有Google所使用的计算系统。
Hadoop是仿照Google的分布式文件系统GFS(GoogleFileSystem)与分布式批处理软件MapReduce而开发的开源软件。它将数据分布式存储于大量PC机中,使其作为一个中间件,对这些数据并行处理并整合处理结果。一般需要几百乃至上千台PC机集群,才可以处理PB(petabytes)级的数据。
Facebook、twitter、eBay都是Hadoop的大规模用户。他们仿照Google的模式,使用Hadoop与Google展开竞争。
Facebook使用了大型的Hadoop集群,将2250台PC机组成最大可存储36PB未压缩数据的数据仓库(DWH),用于分析用户的操作行为。Twitter为处理1万亿条tweet(原指“鸣叫”,在Twitter网上,该词意指一条短信息,或者一个帖子)而结合Hadoop开发了被称为“ElephantBird”的工具。eBay预计从2010年11月开始启用由8500个处理器与16PB硬盘组成的Hadoop集群。
Hadoop部署案例正在不断增多。美国2010年10月举办的“HadoopWorldNYC2010”中,除了eBay之外,通用、芝加哥商品交易所、美国陆军、日本Recruit公司等也介绍了基于Hadoop的应用案例。