github克隆源后,需要下载模型和权重,这个是简单的,重要的是环境。
本人喜欢用新的,最新py3.11,旧的也行,就是淘汰得早,第一步还是pip requirements.txt,如果没有写加速服务器的话,可以在后面加–index-url或-i(缩写) :
清华:https://pypi.tuna.tsinghua.edu.cn/simple
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学:http://pypi.hustunique.com/
山东理工大学:http://pypi.sdutlinux.org/
豆瓣:http://pypi.douban.com/simple/
阿里元:https://mirrors.aliyun.com/pypi/simple
pip install -r requirements.txt (-i http...)
但是如果用国内cdn加速的话,torch会给你下CPU版本,需要手动下载:
一般最新的N卡驱动都是cuda12以上的,看cuda的话下载nvitop(因为好看,不下可以用nvidia-smi
命令):
pip install nvitop (-i http...)
win没法直接用nvitop,查看cuda要用:
python -m nvitop
cuda版本一般在右上角。
然后根据cuda版本下载对应的gpu torch,加粗的地方根据自己想用的cuda填写,一般cuda12是兼容cu11的,先要卸载第一步下载的torch:
pip uninstall torch torchvision torchaudio
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
然后transformers下载的版本太高,windows下也会报错,找不到模型,所以要下载低版本的:
pip install transformers==4.26.1 (-i http...)
然后这里附加一个查看torch调用cuda成功的方法:先进入python >>窗口
验证torch的版本、以及torch与cuda版本是否对应、cuda是否可用、以及torch对应的cuda的版本
import torch
print(torch.version)
print(torch.cuda.is_available())
也可查看可行的cuda数目:
print(torch.cuda.device_count())
查看torch对应的cuda版本:
torch.version.cuda
最终,我只想说:AI终究是烧钱的东西,普通人少碰。