本文最后更新于 253 天前，其中的信息可能已经有所发展或是发生改变。
前些日子，公司多出一台AI应用服务器，配置有：
系统Ubuntu 20.04
CPU：Intel® Xeon(R) Silver 4210 CPU @ 2.20GHz × 40（2块10核20逻辑处理器的CPU）
内存：64G
GPU：Quadro RTX 4000 × 4 （8G显存/块）
硬盘：30T
经过筛选，本想用MiniGPT-4，因为里面Demo有带图像识别，但是部署介绍太少，折腾起来太麻烦，选择了简便一些的ChatGLM2-6B，看评论说ChatGLM2-6B这个最新版效率提高很多。
以下是我折腾了一下午部署成功的案例：
实话说，效果真不错，准备开发该功能的前台系统。想了想还是用Laravel做后端，Ant Design Vue做前端。
