1. 项目概述:WisdomSSH与Ollama的本地AI环境验证
在本地服务器上部署和验证AI模型是许多开发者都会遇到的实际需求。最近我在一台Ubuntu服务器上使用WisdomSSH工具配合pm2管理的Ollama服务,成功验证了deepseek-r1:1.5b模型的运行能力。这个过程虽然看似简单,但涉及了Linux服务管理、AI模型部署和终端工具使用等多个技术环节,值得详细记录下来与大家分享。
WisdomSSH是一款功能强大的集成式终端工具,它不仅能完成基本的SSH连接功能,还提供了许多便捷的操作辅助。而Ollama则是一个流行的本地AI模型运行框架,可以方便地在本地部署和运行各种开源大语言模型。deepseek-r1:1.5b是由深度求索公司开发的一个1.5B参数规模的中文语言模型,适合在本地环境中进行各种NLP任务的测试和开发。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与基础检查
2.1 服务器环境确认
在开始验证前,首先需要确认服务器的基础环境。我连接的是一台运行Ubuntu 20.04 LTS的服务器,配备了NVIDIA GPU以加速AI模型的推理计算。通过WisdomSSH连接后,我首先检查了几个关键组件:
- CUDA版本:使用
nvcc --version确认CUDA 11.7已正确安装 - Docker状态:因为Ollama通常以容器方式运行,检查
docker ps确认Docker服务正常 - GPU驱动:执行
nvidia-smi查看GPU状态和驱动版本
这些基础检查确保了后续操作不会因为环境问题而中断。对于AI模型运行来说,正确的GPU环境和驱动配置尤为重要。
2.2 pm2与Ollama服务状态检查
Ollama在这台服务器上是通过pm2进行管理的。pm2是一个Node.js进程管理器,可以保持应用持续运行并提供监控功能。检查服务状态的命令非常简单:
bash复制pm2 list
这个命令的输出显示了所有由pm2管理的进程。在我的案例中,输出显示ID为0的应用名为ollama,状态为online,并且已经持续运行超过两天。这表明Ollama服务本身运行稳定,没有出现意外崩溃或中断。
提示:如果发现Ollama服务状态不是online,可以尝试使用`p
