Aiden Leong

Conda 和 Pip 的区别

所有python软件包用pip安装，不要用conda安装

conda只用于提供虚拟环境，强烈不推荐用于安装软件包，即不要使用conda install

中国内地加速

HuggingFace加速

HF_ENDPOINT=https://hf-mirror.com python test.py

AutoDL租用平台由于系统盘空间限制，必须将huggingface的下载缓存转移到数据盘

租用的显卡资源选择：默认选择24GB显存版本的RTX 4090，2元/小时。如果论文对显存要求巨大或出现RuntimeError: CUDA out of memory，可先使用A100/A800确认实际显存占用，再改用更合适的显卡。

HF_ENDPOINT=https://hf-mirror.com HF_HOME=/root/autodl-tmp/hf_cache python test.py

pip加速：写入配置文件

pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

或：后缀增加清华源

pip install numpy -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

Cheat Sheet

监视GPU使用率和显存占用

watch -n1 nvidia-smi

先确保你的bash前面有(base)前缀，如果没有执行下面内容。只需执行一次，以后跳过。

conda init bash
source ~/.bashrc

如何确认Python版本：首先搜索论文GitHub项目代码、issues，确认是否有提及。其次(但不推荐，太辛苦)可根据vllm、spacy等软件包确定大致的python版本范围。默认可用python==3.10，如果不行再作调整。

Python 3.9+版本中，spacy提供了二进制包，无需编译，节省大量时间。

conda create -n dnn python=3.10

conda activate dnn

pip install torch torchvision torchaudio

pip uninstall torch torchvision torchaudio

除了手动一个个安装软件包，可以使用作者提供的requirements.txt批量安装，但这个文件经常有问题。

解决方案：删除requirements.txt中软件包的版本号限制。你可能最终会发现特定软件包如vllm必须是作者固定的版本。只要最终复现的性能跑分与论文宣称一致，无需在意版本号。

pip install -r requirements.txt

PyCharm配置教程

AutoDL提供了很好的配置教程

https://www.autodl.com/docs/pycharm/

你和我十指緊扣默寫前奏可是那然後呢