VSCode 连不上远程服务器问题及解决办法集合

backtoswagga_: 关于8，如果解决不了请看14！我最后以管理员权限运行才连接成功

WhiteLie777: 感谢您的回复 我理解的 DDP 和多线程很像，即在设定的多个 GPU 中同时加载并训练同一模型 model，只不过每个 GPU 所分到的数据不同。您提到的 ddp_model 是其中某一 GPU 中的原模型的复制品。具体流程您可以参考这一篇文章：https://zhuanlan.zhihu.com/p/206467852 对于训练中的验证问题，我很抱歉没法帮助您。由于我的模型太大，4 个 GPU 训练一轮需要快 4 小时，因此为了节省验证，我采用记录 Loss 变化以及多迭代保存测试的方式来找寻最佳参数。个人建议验证用单 GPU 即可，毕竟一轮训练后需要整合多 GPU 数据更新模型。您也可以多上网查查相关内容。 希望我的回答能够帮助到您

xx_xjm: 博主，我想请问一下，model在DDP以后有哪些变化呢？ 就是说，ddp_model = ddp(model,...)这样的情况下，ddp_model和model有什么不同呢？ 而且，分布式训练的时候如果训练过程中要做validate，该用model还是ddp_model呢？

WhiteLie777: 能帮到你就好

Wants0731: 谢谢博主！！！！