【欧时RS x Arduino】4、Arduino UNO Q本地运行Qwen3.5推理
本文据介绍使用llama.cpp运行量化小型自然语言模型，Arduino官方提供在Arduino UNO Q上部署llama.cpp运行Qwen3.5-0.8B的指南。https://docs.arduino.cc/tutorials/uno-q/llama-cpp/
# 1、可以在UNQ上部署的自然语言模型
Arduino UNO Q 2GB，属于边缘设备，算力有限，适合运行参数规模在1 亿到 70 亿之间的 transformer 语言模型，能够在仅有几 GB 内存的纯 CPU 硬件上运行。“小”是相对的——现代 GPT 的参数规模早已超过 1 万亿——但这些模型已经足够大，可以处理实际的分类、摘要、结构化输出和简短对话任务。
Qwen3.5-0.8B模型的特性适合在Arduino UNO Q上部署。
- 专为边缘设备设计。Qwen3.5 Small 系列（0.8B、2B、4B、9B）采用混合架构，将门控 Delta 网络与稀疏注意力相结合，并针对受限硬件上的低延迟推理进行了调优。
- 混合思考/非思考模式。在非思考模式下，模型直接给出答案，不进行内部思维链推理，从而保持低延迟，并避免思考型模型在慢速硬件上常见的“推理循环”问题。
- 支持 201 种语言。适用于多语言教学场景（英语/葡萄牙语/西班牙语等），也适用于全球南方国家的部署。
- 比 Llama 3.2 和 Gemma 3 更新。在大多数基准测试中，在这一参数规模上，其每参数质量优于早期模型。
Qwen3.5不同参数规模的性能评分如下：
!(//m.qjumbo.com/forum/data/attachment/forum/202610/27/215657ocui0nmli3ylpnfi.png)
# 2、llama.cpp部署
连接开发板，登录终端，在`/home/arduino`目录下下载llama.cpp压缩包。
查找llama.cpp最新的发布版本的tag，下载相应的压缩包
```
curl -s https://api.github.com/repos/ggml-org/llama.cpp/releases?per_page=1
| grep -E '"tag_name"|browser_download_url.*ubuntu-arm64'
```
执行以下指令，拉取llama.cpp压缩包，并将其解压到文件夹中
```
cd /home/arduino
mkdir -p ~/llama.cpp && cd ~/llama.cpp
wget -O llama-bin.tar.gz "https://githubproxy.cc/https://github.com/ggml-org/llama.cpp/releases/download/${TAG}/llama-${TAG}-bin-ubuntu-arm64.tar.gz"
tar -xzf llama-bin.tar.gz
rm llama-bin.tar.gz
```
当前llama.cpp最新的标签为b11899，执行以下指令安装正常
```
cd ~/llama.cpp/llama-b10644
LD_LIBRARY_PATH=. ./llama-cli --version
```
终端的输出信息显示llama.cpp安装成功
!(//m.qjumbo.com/forum/data/attachment/forum/202610/27/215822rsfpdpx7rp2ied1s.png)
# 3、Qwen3.5-0.8B部署
llama.cpp工具支持运行GGUF格式的模型。Qwen3.5-0 Q4_K_M 4bit量化模型适用于Arduino UNO Q。
运行以下指令将模型下载到本地
```
mkdir -p ~/llama.cpp/models && cd ~/llama.cpp/models
wget -O Qwen3.5-0.8B-Q4_K_M.gguf "https://hf-mirror.com/unsloth/Qwen3.5-0.8B-G
GUF/resolve/main/Qwen3.5-0.8B-Q4_K_M.gguf"
```
执行以下指令运行单次推理
```
cd ~/llama.cpp/llama-b10644
LD_LIBRARY_PATH=. ./llama-cli
-m ~/llama.cpp/models/Qwen3.5-0.8B-Q4_K_M.gguf
-p "Tell me a short fact about the Arduino"
-n 120 --single-turn -rea off
```
模型输出的结果如下
!(//m.qjumbo.com/forum/data/attachment/forum/202610/27/215836v02q6ekv2ek72n2l.png)
# 4、总结
Arduino UNO Q 能够运行4bit量化的小型自然语言模型，用于熟悉自然语言模型的部署和推理，是不错的选择。
页:
[1]