配合4090，搭建Ubuntu的CUDA环境，使用Unsloth做微调
条评论
先说结论
1、微调会用到 pytorch，所以驱动和 CUDA 都不要使用太新的版本。
2、不管使用 Ubuntu 还是 Debian，也不要用最新，目前 Ubuntu 是 22.04，Debian 是 11。
安装驱动
Nvidia 相关的驱动安装最新版，不然 530 的驱动，安装会报错，直接安装最新版即可 CUDA Toolkit 12.6 Downloads，这个安装完成，会装上 560 的驱动。
1 | wget https://developer.download.nvidia.com/compute/cuda/12.6.0/local_installers/cuda_12.6.0_560.28.03_linux.run |
但是装驱动的时候，不要安装 ToolKit，CUDA Toolkit 需要安装 12.1.1，这是 Unsloth 文档要求的。然后下载下面的文件，安装时不要装 Driver，只安装 Toolkit。
1 | wget https://developer.download.nvidia.com/compute/cuda/12.1.1/local_installers/cuda_12.1.1_530.30.02_linux.run |
装完驱动后，设置一下 Toolkit 的路径
删除原来的链接
1 | sudo rm -rf /usr/local/cuda |
建立新链接，指向指定的 CUDA 版本
1 | sudo ln -s /usr/local/cuda-12.1.1 /usr/local/cuda |
切换完毕后可再次通过 nvcc -V 检查 CUDA 版本。
REF:
