大数据产生的原因

大数据产生的原因

从字面上看，大数据就是数量巨大的数据，或者称为海量数据。实际上，大数据是一个较为抽象的概念，数量巨大只是其中的一个表面的特性。大数据是网络信息时代的客观存在，其产生的意义并不在于掌握庞大的数据量，而在于对这些数据进行专业存储和处理，并从中挖掘和提取所需要的知识和信息。

技术突破来源于实际的产品需求，如果将大数据比作一种产业，那么降低存储成本，提升运行速度和计算速度，以及对数据进行多维度的分析加工，实现并提升数据的价值，这是大数据这种产业实现盈利的关键，也是大数据产生的真正原因。

1. 存储成本的大幅下降

以往存储数据的成本非常高，许多大型的互联网公司各自为政，为了保证数据的存储安全性和传输通畅性，需要进行定期维护和数据清理，机房部署和人力成本昂贵。新型的数据存储服务出现后，衍生了很多新的商业模式，集中建设数据中心，大大降低了单位计算和存储的成本。现在建造网站已经不需要购买服务器，也不需要聘用管理人员，通过大数据云计算的商业模式即可获得资源，而存储成本的下降，也改变了人们对数据的看法，更愿意将久远的历史数据保存下来。有了这些数据的沉淀，人们才会想着如何加以利用，通过时间对比，发现其价值与关联。

2. 运行、计算速度的提升

20世纪90年代，传输一个20MB的文件需要花费约一天的时间，如今仅需数秒即可完成传输。分布式系统框架Hadoop、Spark、Storm，并行运行机制HDFS、MapReduce，为海量数据提供了计算的便利性，大大提升了对原始数据进行清洗、挖掘、分析的运行效率，使得数据的价值得到进一步提升。

3. 脑力劳动的解放

今天我们看到的AlphaGo的获胜，以及Siri、微软小冰等智能对话，其背后都有大数据的支撑。也就是说，大数据让计算机变得更加智慧，大数据为计算机灌输了人类的思想，大数据带来了智慧的价值，从而有效解放了人类的脑力劳动。