特别说明：要在我的随笔后写评论的小伙伴们请注意了，我的博客开启了 MathJax 数学公式支持，MathJax 使用$标记数学公式的开始和结束。如果某条评论中出现了两个$，MathJax 会将两个$之间的内容按照数学公式进行排版，从而导致评论区格式混乱。如果大家的评论中用到了$，但是又不是为了使用数学公式，就请使用\$转义一下，谢谢。

想从头阅读该系列吗？下面是传送门：

科学计算碰到数据量很大的时候，往往非常消耗时间。使用多核进行并行计算是加快计算速度的主要方法，而显卡天生具有成百上千个计算核心，所以使用 GPU 进行计算也就越来越流行。得益于 Nvidia 提供的 CUDA，我们编写利用 GPU 进行计算的程序越来越方便。那么，在 Linux 系统下，使用 CUDA 究竟效果如何呢？这一篇将为你揭晓答案。

我测试的是两个 2000×2000 矩阵相乘所耗费的时间，测试环境是我的 Dell XPS 15，这是一款 2015 年的产品了，CPU 是 Intel 的 6700H，4 核 8 线程，显卡是 Nvidia 的 GTX 960M，和现在 2019 年的主流比起来，已经落后几代了。前段时间“核弹”厂的老黄又发布了新的甜点级的显卡，RTX 2060，流处理器又多了几倍，还支持光线追踪，害得我心里又长了草。

继续说回矩阵相乘，我先测试了一下自己用 C 语言写一个简单的利用三重循环计算矩阵相乘的程序，然后使用 gcc 编译，运行，进行计时。其次，我自己写一段 CUDA 代码，利用显卡计算两个矩阵相乘，使用 nvcc 编译运行，进行计时。最后，使用 Nvidia 提供的 cuBLAS 库中的函数直接计算两个矩阵相乘，并进行计时。其中我自己用 C 语言写的三重循环是完全没有优化的，所以计算时间肯定比较慢，如果进行充分优化，利用 CPU 的 SSE、AVX 等向量化指令，并优化内存访问以充分利用 CPU 的缓存，可以将性能提升大约 10 倍。在雷锋网上有一篇 OpenBLAS 项目创始人和主要维护者张先轶介绍的OpenBLAS项目与矩阵乘法优化，可以一看。我用 Python 的 NumPy 测试了一下，确实可提速 8 到 10 倍，因为 NumPy 的底层调用了 OpenBLAS 库。而且这还只是利用了 CPU 的一个核，如果要利用 CPU 进行并行计算，可以考虑 OpenMP 或 MPI。

完整的 C 语言代码我放在cublas_test.cu文件中，你们没看错，扩展名为.cu，因为 CUDA 的编译器 nvcc 要求这样，nvcc 对代码进行初步处理后，还是调用的 gcc 进行编译连接生成可执行文件。完整代码如下：