Ollama与DeekSeek

下载并安装ollama

1、项目地址

https://github.com/ollama/ollama

2、直接使用脚本安装（推荐）

curl -fsSL https://ollama.ai/install.sh | sh

3、下载后解压并运行

tar zxvf ollama-linux-arm64.tgz 
cd bin/
./ollama serve

4、拉取deepseek模型

 ollama pull deepseek-r1:1.5b

5、在ollama.com的网站上支持的模型

https://ollama.com/search/
输入【deepseek】

监控推理速度

ollama run <model_name> --verbose
参数：verbose输出

查看某个进程资源的占用情况
apt-get install sysstat
pidstat -p 进程号  时间间隔   次数

1、显示当前时间毫秒数：
date +%s

2、查看rk芯片的npu的占用率
cat /sys/kernel/debug/rknpu/load
实时显示该监控过程
watch -d "cat /sys/kernel/debug/rknpu/load"

6、访问ollama的api

root@linaro-alip:/home/linaro# curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:1.5b",
  "prompt": "Hello"
}'

修改ollama存放模型的位置

mkdir ollama_models
chown -R ollama:ollama /sata/ollama_models/

# vim /etc/systemd/system/ollama.service