NVIDIA Jetson 边缘 AI 入门：在嵌入式设备上运行 LLM 和大模型 NEWS DETAIL

在小型低功耗设备上运行先进 AI 和计算机视觉工作负载是日益增长的挑战。NVIDIA Jetson 平台通过紧凑型 GPU 加速模块和套件专为边缘 AI 和机器人设计。NVIDIA 发布了系列教程，帮助开发者将最新的开源 AI 模型部署到 Jetson 设备上。

在 Jetson 上本地运行模型具有两大优势：完全隐私和零网络延迟。选择不同的 Jetson 设备决定可运行的模型规模——Jetson Orin Nano Super（8GB）可运行 Llama 3.2 3B 等高效模型；AGX Orin（64GB）支持 gpt-oss-20b 或量化 Llama 3.1 70B；AGX Thor（128GB）可运行 100B+ 参数模型。

开发者可使用 vLLM 作为推理引擎和 Open WebUI 作为界面，在 AGX Orin 上通过 Docker 快速部署 gpt-oss-20b。整个工作流完全本地运行，无需云端依赖。