|
大数据通常指一种具有大规模数据容量、数据形式多样化、数据维度复杂、数据信息真实可靠、具有一定价值的数据集合。近年来,随着数据采集、存储、计算水平的迅速发展,大数据技术渐近成熟,相应理论体系也逐步完善,世界已正式踏入大数据时代[3]。然而,传统数据处理手段受到数据维度以及数据形式限制,无法实现对大数据的深入挖掘与分析。人工智能通常指使计算机获得一种能力,使计算机有效地执行原本需要人类智能才能完成的复杂任务。机器学习作为人工智能的一个非常重要的分支,能够捕捉到高度复杂的非线性输入输出关系,从而建立输入输出之间的精确联系。因而,机器学习已成为大数据分析的有效途径[4]。此外,大数据与人工智能之间并不是相互独立的,而是相互融合、促进与发展的(如图1(a)所示)。大数据使人工智能可以得到有效地训练,同时,人工智能通过得到的“智慧”,更进一步地促进大数据的发展。如今,机器学习与大数据的结合已经在语音识别、肿瘤检测、人脸识别等领域有着广泛的应用[5]。本文在解决相关预测问题时,所使用的机器学习算法为人工神经网络算法,该算法的目的是人为地构建类生命体神经网络的结构,从而使得计算机通过训练而获得智能。如图1(b)所示,人工神经网络通常由输入层、隐藏层以及输出层构成。输入层的主要功能是通过接收特定的数据或信号信息来感知外部世界。这些信息可以是实数、二进制值或者整数的形式。当信息通过隐藏层时,由神经元进行特征提取和处理,隐藏层承担了整个内部处理的大部分计算。输出层通过对前几层结果的综合,对输入信息做出最终决策。人工神经网络已经证实能够有效地解决分类或者回归问题[6]。
|