前几天公司斥巨资买了台8卡服务器，3080ti，算是非常新的电脑了吧，送来的时候装了Ubuntu，估计是服务器版，开机就是命令行，虽然我觉得还好，但是老板还是让装个桌面，方便大家玩儿。
直接说现象，就是跑了个训练后，在nvidia-smi的界面上会看到，突然掉了一个卡，然后再训练，还会继续掉，非常费解，找来服务器人员，也很费解，也找不到有用的日志。
后来他意外发现掉卡的时候，系统也会爆一个错，追溯了一下，和nouveau有关，我们都很奇怪，这个不是屏蔽了么。然后我回想了下，这东西，以前在装cuda或是nvidia驱动的时候，查攻略都是需要手动屏蔽再玩儿的，但是后来的版本，都没有这方面的说法了，而且安装也不会有问题，我就没再这么做了，莫非与此相关，于是加入blacklist，问题解决，至少是这么些天没再发现了。
简单吐槽下，服务器厂家对我们要装cuda表示很不解，然后要装桌面更不解，后来重装系统测试的时候，直接装的ubuntu桌面版。我说，别的公司可能要这个服务器，就是跑几个程序，然后一直静默运行就好了，我们深度学习，就是要不停折腾的，使用场景不一样。
最后，我这边机器还是挺多的，但大多是双卡或者单卡机器，其实也有掉卡的情况，一般就是敲nvidia-smi的时候会报一个错，什么mismatch啥的，反正重启就好了，就一直没有深究，估计也是这个原因导致的，所以，建议那个nouveau还是屏蔽掉吧，毕竟服务器重启一次还是好麻烦的。
