群晖+软路由+win10，Gen8 ESXi方案使用体验+直通踩坑记

上一篇《Gen8魔改ITX，实现ESXi虚拟NAS+Openwrt+Win10，打造家庭网络中心》主要讲了整体的组建过程，将我搭建时参考的资料进行归档整理添加在文中，方便值友们查询。本篇重点谈一下后续改造以及使用体验。

Gen8 NAS中的颜值担当

不知不觉整套基于ESXi的All in one方案已经使用了一年，优点不胜枚举，把家庭网络的智能化程度直接提升了一个档次，包括但不限于一切实体机能够实现的功能，一机三用还能省电费，美滋滋，让我们先来回顾下拓扑图。

但说实话起初搭建完成后并非十分理想，一是肉眼可见的网络延迟，解析速度明显低于之前硬路由，二是无法跑满家里500M的带宽，并且实体PC到虚拟机之间传输一段时间后会从100m/s锐减到40m/s，远低于理论水准。

因此后续花费了很多时间改造。硬件上把i350-t4寨卡换成了富士通OEM，不得不吐槽下富士通OEM的质量，做工及稳定性被寨卡吊打，换上后软路由经常断流死机。最终只能咬牙换成英特尔原装，一次性解决了传输速度的bug。关于原装和寨卡的区分，主要看芯片上的DELTA，原装的英特尔芯片上DELTA会有明显凹陷，而寨卡的DELTA是印刷上去的，

此为寨卡

把臃肿的koolshare的OpenWrt固件换成了某大神编译的lean精简版。

还创建了一台基于centOS7的ADGuard虚拟机，负责DNS服务器解析域名，兼顾和ADbaby互补去广告，解析速度得到很大提升。

AD Guard 仪表盘

之后遍开启了堪称阶段性完美的使用体验，直到某天挂了一块nas盘……

黑裙虚拟机RDM直通下很坑爹的一点就是掉盘后ESXi仍然能读盘，因此能正常启动群晖，但群晖bios自检硬件不一致是无法进系统的，只能把盘一块一块拔下来排查，最终成功锁定了某块使用了仅一年的6t希捷狼盘。话说狼盘通电一年就毫无征兆下挂了实在在我意料之外，你让旁边那块用了5年还坚挺的酷鱼情何以堪……

挂掉的酷狼

最后无奈将坏盘接入电脑，win下无法直接读取Linux编码的文件，只能通过工具将数据导出，最终5t数据成功拯救了3.5t，剩下1.5t小姐姐惨烈丢失，好在损坏文件的文件名列表依旧可以导出，回头重新挂pt即可。

UFS 能在windows下读取NAS数据

由于之前硬盘是RDM直通所以无法smart测试，盘一言不合就挂，导致小姐姐们流离失所。因此在京东换新的硬盘拿到后，我痛定思痛，决定改为SATA控制器直通，于是开启了直通踩坑之旅。下面先总结一下坑点。

在直通前请确保CPU、主板、ESXi版本都支持VT-d，缺一不可，并在主板BIOS开启该功能。

BIOS开启VT-d

在直通前请确保板载SATA端口有连接硬盘。如果没有连接，ESXi可能会彻底忽略掉这个设备（也就是在web client下的主机-管理-硬件-pci设备看不到）。因为要直通，所以ESXi系统盘不能装在板载SATA控制器上。所性我系统装在nvme协议的m2固态里，没有没有踩进这个坑里。

ESXi 6.7.0在任何情况下没有办法直通板载SATA设备的可能性，显示为灰色。原因不明，有可能是VMware官方限制导致。尽管ESXi6.7不支持SATA直通，但ESXi 6.7.0 Update 1、Update 2、Update 3是支持的。从官网下载了6.7升级update2的升级包，按照网上教程用ssh升级以后系统版本竟然变成了update1，原因不明。算了，反正又不是不能用……

ESXi 6.7.0 Update 1

随后用ssh输入lspci -v | grep "Class 0106" -B 1获取SATA控制器的ID，再vi /etc/vmware/passthru.map在文件末尾增加

#Intel Corporation Lynx Point AHCI Controller

8086 xxxx d3d0 false (xxxx替换为第一步查询到的代码)

重启ESXi之后，在界面死活找不到原本SATA控制器，但多了个AHCI controller，根据我有限的硬件知识，连猜带蒙这玩意应该就是SATA控制器，果断切换直通，随后在群晖虚拟机下添加PCIE设备，内存设置为永久内存，开机，成功！

AHCI controller

启动后务必选择第三个引导，否则会出现不认盘的现象。可万万没想到我选了第三个引导依然不认第一个SATA口，虚拟机载入进PE却能成功读到四块盘。

初步判断应该是SATA1在群晖的逻辑里被当作引的虚拟导盘隐藏了，随后根据张大妈上的《蜗牛星际之黑群晖硬盘休眠和理顺盘序》这篇文章做出修改，隐藏引导盘的同时顺便调整了盘序，完美！

盘序调整后

smart可以正常使用，而且SATA硬盘不再需要以RDM的形式直通给群晖，换硬盘方便很多。虚拟机也可以做正常做快照了，再也不怕引导挂掉。

既然SATA控制器直通了，就顺手把网卡和显卡也做了个直通。网卡直通给OpenWrt软路由还算顺利，直接切换直通后重启就完事了。敲重点，务必记得留下ESXi的管理网口，不然后果可能会很严重。

至少预留一个网卡

随后添加PCIE设备进虚拟机，进OpenWrt管理页面，直通后物理网口和虚拟网口的顺序大概率会打乱，通过网线插拔确定每个物理网口实际对应的虚拟网口，根据实际情况配置好wan和lan即可。

网口配置

除去我直通的3个网口，还剩下一个网卡上预留的ESXi管理口和板载网口。将它们并入同一个虚拟交换机，再配置链路聚合到端口组，可以让虚拟机之间的传输轻松突破千兆。

链路聚合拓扑图

l链路聚合后的传输速度

核显直通

直通显卡折腾了我很久，不是操作困难，而是谁能想到核显是8th Gen Core Processor Gaussian Mixture Model这玩意？之前一直以为是核显在ESXi认不出，浪费了我几天时间。

坑爹的核显命名

我实在没有用群晖服务器端解码的需求，基本都是本地硬件解码，就干脆把显卡直通给了虚拟win10。ESXi的虚拟化显卡直通并不支持实体视频端口直接对外输出虚拟机的屏幕，但可以在远程连接播放视频时进行硬解。

RDP远程硬解30G原盘

直通成功，安装驱动，意外发现手机端用RDP远程连接支持D3D加速，hd630硬解30g的原盘没压力。当然正常人并不会用RDP看原盘，光掉帧就得不偿失了，但用来预览下到一半的小电影决定是否还要继续下载下去还是很有必要的。论综合体验，手机端观影还是dsfile+mxplayer或nplayer的黄金组合香！

GPU占有率40%左右

至此，基于ESXi的All in one方案再次达到阶段性完美，结果也符合预期，对得起这次小折腾，可以安心使用一段时间了！