四路RTX 2080Ti/四张2080ti+2950X分体水冷工作站装机分享

2021.1.18更新：

答应我，这种不在乎外观的机器，别用有色水冷液好吗。

清理水路+换水管+加冷液，真的麻烦。

透明液不香吗。

2019.11.7更新：

很多人问2080ti使用NVLINK能否叠加显存，或者使用Quradro NVLINK能否叠加显存。

我理解的：TITAN RTX和Quradro显卡支持内存池化，就是叠加显存（pool memory），在win和os x下2080ti只是增加了带宽（通信速度），但是在Linux下可以通过编程实现。

另外，NV官方回复的：只有部分应用程序支持共享内存池，绝大部分情况下，NVLINK仅仅是获得了更快的对等通信速度。但是跨显卡访问内存需要软件支持，在编写程序时需要注意NVLINK并且充分使用他。

这是我找到的一些比较有用的答案：

1、该连接中，说明了只有Linux支持内存池化（pool memory），给出了CUDA官网文档，并且有显存叠加的验证方式。同时讨论了VRAY和IRAY是否支持Pool memory的问题。

2、一些讨论

3、RTX支持对等内存访问

---------------------------------

以下是原文：

AMD，YES！

装这台电脑，查了很多资料，百度和谷歌基本翻了个遍，也找到一些大佬咨询。发现目前网上装四路水冷2080ti+两组Nvlink的资料少之又少，走了很多弯路。现在平台快搭好了，所以把自己遇到的问题分享一下，做个记录，希望对后来的装机用户有一些帮助。

另外朋友提醒版权问题，放在文章最开头说一下，这篇只是分享，一切配件均自己购买，不涉及所谓的“圈内”利益。对电子产品的褒贬是从个人角度出发。所以若有需要，可以自行转载，自行复制粘贴，或者自取图片，打码。无所谓反正我用着爽就行了（狗头）。但若引用文章中他人的内容，需要他人授权的，自行联系原作者授权。

首先感谢大知乎，小破站，以及各路大佬给我的帮助和启发。以下感谢不分排名先后：

感谢知乎 @刘留 @loujing ，最早买配件的时候开始看了大神 @刘留 的文章，避免了很多坑， @loujing 在文章后的评论也给我很多启发。链接放上来：

感谢小破站的装机佬胖哥，苏妈的大侄儿，超能网。虽然没和你们聊过，但是你们的视频给我很多启发，放上链接：

装机佬胖哥：

苏妈的大侄儿：

超能网：

感谢微信网友（不点名啦）单独建群讨论，给我很多帮助。

感谢大神水冷哥，电脑吧评测室 哈哈ZW4，没想到这位大佬竟然在当地，每次去搞j都可以白嫖一瓶加多宝，哈哈。

本文不讨论装机用途，不死抠性价比，别拿TITAN RTX，RTX8000，RTX6000来扯，硬件配置单也是我参考很多文章最终才确定，不算最好，但是个人认为是在价格和配置上的一个平衡。

先上配置单：

CPU：AMD 2950X

主板：技嘉X399 AORUS XTREME

显卡：技嘉RTX 2080ti 分体式水雕 x4；Nvlink桥 2-slot x2

内存：金士顿Fury DDR4 3200 16gb x8

硬盘：三星970 evoplus 500gb；海康威视C2000pro 1tb

电源：振华白金2000

机箱：曜越Thermaltake Core x9

分体式水冷：Bykski水冷，软管方案，找的当地水冷哥

冷排风扇：大镰刀GT1850 x18

显示器：KOIOS 23.8寸 4k显示器（吹爆！）

鼠标键盘等外设：没买

无非就是X299方案和X399方案。最开始考虑i9-9980xe+华硕WS X299 SAGE/技嘉X299-WU8，搜了一下价格，算了惹不起惹不起。接着看了 @刘留 的视频。才第一次了解到线程撕裂者+X399平台，仔细研究后，决定上性价比超高的2950x+技嘉X399 AORUS XTREME。牙膏厂厉害的东西太贵了，而且貌似AMD对于多线程任务性能更强。

AMD，YES！

还有一个主要考虑的因素是PCIE通道数量，跑CUDA的话可能四路满载，四卡如果都要上PCI-E x16，得用牙膏厂平台。所以技嘉X399最大的弊端就是四个插槽只有两个PCIE x16，两个PCIE x8，不过好在AMD的CPU的PCIE通道数是够的。希望Nvlink连上后可以提升一些速度，目前没有看到相关的资料，所以只有搭好后跑一下才知道。

在7月份下单的时候X570平台主板已经上市了，可惜3950x要Q3才发售，等不了了。新主板新U上市也比较贵，我这样安慰自己。预算充足还是建议上3950x+X570，可能担心的是新平台需要时间来验证可靠性。

这块主板装机时也遇到比较难受的问题：可以看到最下方的PCIE插槽离USB3.0接线口很近。如果插上四卡，USB3.0的线就不能用了。于是马家买了几个USB3.0转接器，又等了几天……

显卡是花了最大功夫的，这台机器以后主要就是要用GPU来做计算。所以几块可靠的显卡是最需要的。

为什么不上Tesla，RTX8000/6000？

Tesla最开始考虑了v100，p100，仔细研究后发现学习成本较高，硬件购买成本也较高，一块v100得相当于整套机器了。目前手上还有块老型号Tesla准备拿来试一下。另外Google Colab免费提供一块云端Tesla k80，可自行搜索。

RTX8000/6000也是太贵了，而且国内没有渠道买，想想还是算了。

所以最后敲定真香款2080ti，价格相对Tesla来说较便宜，CUDA核心、流处理器数量也满足需求。性能上，FP32/16等基准测试，以及和Titan V，1080ti的比较，见链接：

最开始没有考虑涡轮卡，本天真地以为，涡轮卡肯定很吵（实际体验了朋友的双1080ti涡轮卡，一点也不吵），打算直接看分体水冷卡，当时并不知道可以用公版卡+水冷套件的方式……血亏。

分体水冷非公好像只有技嘉的分体水雕，所以艺高人胆大，入了美版+国行的拒保嘉RTX2080ti分体水雕，找不到4张全新的美行卡……朋友都问我不怕花屏没质保吗。嗯，代理承诺可以帮我寄到美利坚保修，水雕4年保修。另外平台主要作为GPU服务器使用，可能很多时候不会外接显示，所以花不花的也看不出来。

国内相关资料很少，于是去谷歌搜索了很多帖子和评论，大概总结了以下几个结论：

1、Nvlink是SLI的进化版，一切都归功于老黄刀法精准。

2、Nvlink将显卡串联之后，显存叠加，比如2080ti显存是11g，叠加两张是22g。1,2号卡使用1个Nvlink，3,4号卡使用另1个Nvlink。实际使用可以认为相当于2张22gb显存的显卡。具体效果等测试后再来发表。但是，只有Quadro的Nvlink才是完整版的，支持显存和CUDA叠加，Titan RTX的Nvlink不支持CUDA叠加，GeForce版的不支持显存和CUDA叠加。所以我买的这个Quadro的Nvlink理论上是可以显存叠加的，2080ti能否支持这个功能还未考究。

3、使用Nvlink的双卡，带宽叠加，如果单卡插在PCIE x16，速度是32GB/s，使用Nvlink后，双卡互通速度为双向100GB/s。

4、Nvlink连接双卡相当于单卡80%~90%的性能，具体评测油管有视频（忘记名字了）。

5、2080ti使用Nvlink仅支持双卡互联，不支持三卡或者四卡互联（如果使用Tesla V100，RTX8000等，单卡拥有两个Nvlink接口的，可以多卡互联）。

5、Nvlink有2-slot，3-slot，4-slot；如果使用x299平台（例如华硕主板），可以直接在国内买到3-slot。这点我坑了我自己，用了X399平台，放上显卡后四卡之间没有缝隙，只能使用2-slot。国内并没有售卖2-slot，只能通过国外转运。英伟达美国官网偶尔有货，可以下单并转运回国。

Nvlink 2-slot只有for Quadro RTX 8000，for Quadro RTX 6000和for Quadro RTX 5000。for Quadro RTX 5000型号只能达到50GB/s的带宽。所以只能购买for Quadro RTX 6000（可以达到100GB/s），该型号可行验证来源于链接：Nvlink比较。不愿意看链接的看这里：

6、单个Nvlink价格是79.99美刀，购买时汇率是7，算下来一个是¥566，另外付了¥110转运费用。英伟达官网链接：Nvlink for RTX6000。

7、Nvlink将两张卡互联后，显示器DP输入任意选择显卡DP接口连接，都是一样的。示意图：

几经周折购买到了Nvlink 2-slot。上图：

装好机后迫不及待使用外网的Nvlink测试程序测试一下是否使用成功。Nvlink使用测试程序下载网址：How to Enable and Test NVIDIA NVLink on Quadro and GeForce RTX Cards in Windows 10

完美实现双向100GB/S带宽。

只考虑金士顿的，看了掠食者和Fury，选择了物美价廉的Fury系列。频率必须高一点，选择了3200MHz。某东和某猫盲买，竟然买到了连号条，时序都是C16，舒服。

另外测试时，内存默频2933，超频到3200后，8根条子烫得惊人，而且CPU左边的条子明显比右边更烫一些。查了一下好像四通道内存确实会烫手。但是左边比右边更烫，请问有大神可以解答一下吗。

打算用970 evoplus做C盘，这个基本是装机常见的配制。另外NVME走的是PCIE通道，像这种装四路显卡的，一定注意显卡是否有占满CPU的PCIE通道，不然妥妥读不出来。

海康威视的c2000pro是无意中同事推送给我的。海康威视这个牌子很早就了解，颗粒用的也是白片。所以非(dan)常(jing)放(shou)心(pa)入了1tb打算试试……

结果翻车了！

BIOS偶尔能看到海康盘，大部分时间读不出来。PE下可以看到盘，但是无法分区。Win下磁盘管理可以看到盘，无法分区无法格式化无法新建盘符，并且！我买的1TB，读出来是2TB？贼刺激。970evoplus就没什么问题。

已经寄回售后保修。

第一次买海康没想到自己中奖了，售后可能也是懵的，说，竟然有这种情况。翻遍全网也没找到和我相似的人，所以发出来给大家看看：

机械硬盘一开始没考虑，现在机箱装好了，有空间可以装了，近期准备入机械硬盘。

在网上搜索到大部分人在组四路Titan选择海盗船1800w的电源。但是怕hold不住，所以在振华2000和evga 2000里面选择，最后选择了振华。基本没什么可选的，盲买就行。

机箱无非就是要够大。所以是在已经快停产的Tt core x9和最热门的海盗船1000D里面选。海盗船1000D真的很漂亮很好看，空间也比Tt core x9大一些。但是本着低调的原则，选择了x9,（说白了就是没钱）。现在Tt出了一个Tt Level20 XT，兼容了x9的容量和侧透玻璃，真的是又好看又好用，可惜自己没赶上车。

分体式水冷是靠谱的水冷哥定制的，用的by的配件，接头部分也用了一些bp的混搭以保证安全。具体这块我都没过问他，最后直接装好给我的。用的双水泵方案，担心压力不够。

软管和硬管之间的选择纠结了很久，说实话硬管真的非常好看，但是作为一台生产力工具，安全和性能才是第一位。最终选择了水道更合理，使用更安全的软管，丑是丑了点，但是x9的大黑机箱一盖，什么灯光什么水管，通通看不见。

因为要求不做光污染，所以选择了很低调的GT1850，某猫入的。为什么不选猫扇？因为大镰刀相对便宜一些。买了18个，上方两个480出风，正面1个360进风，侧面1个480进风，1个240进风，背面1个120出风，风道见示意图：

办公桌限制只能摆放24寸以内的显示器，所以只考虑双屏23.8寸。而且对游戏什么没需求，不考虑144Hz或者曲面屏（曲面屏看文档敲代码真的头疼。）

同事推荐的国货之光，他自己也在用。实名吹爆！KOIOS牌4k显示器，采用原装LG屏，1000多买23.8寸4k还要什么自行车，直接入了2台。自行搜索某东。

KOIOS，打钱！

外设什么的，都不重要。

装机是全程交给当地的水冷哥负责。只拍了几张图：

最后拍了几张亮机后的图，水果机拍的。

总结：

看到知乎，贴吧很多人说：如果装一台四路2080ti，四路Titan RTX，要怎么选配置。实际自己操刀下来，过程中有很多意外，特别是在显卡和Nvlink的问题上查了很多资料。希望这台机器能够在未来发挥生产力，更好地服务人。