生成式 AI 格局正在迅速发展，新的 大语言模型 (LLMs)、视觉语言模型 (VLMs) 和视觉语言动作 (VLAs) 模型每天都在涌现。为了在这个变革时代站在前沿，开发者需要一个足够强大的平台，通过使用 CUDA 的优化推理和开放 ML 框架，将最新模型从云端无缝部署到边缘。

为了支持机器人和多模态智能体中生成式 AI 工作负载的新兴应用，NVIDIA 正在通过软件更新来更新 NVIDIA Jetson Orin Nano 开发者套件 ，以 249 美元的惊人新价格将性能提升高达 1.7 倍。为表彰 Jetson Orin Nano 开发者套件在性能和可访问性方面的出色提升，我们将 Jetson Orin Nano 开发者套件更名为 NVIDIA Jetson Orin Nano Super Developer Kit。

只需更新软件，即可将 Jetson Orin Nano 开发者套件升级到 Jetson Orin Nano 超级开发者套件。

在本文中，了解开发者套件的新功能，以及如何无缝利用提升的性能。

全新 Jetson Orin Nano 超级开发者套件 

Jetson Orin Nano 超级开发者套件 现在提供以下改进：

· 生成式 AI 模型性能提升 1.7 倍。

· 67 Sparse TOPs 的数量显著增加，较之前的 40 Sparse TOPs 有了明显提升

· 102 GB/s 的显存带宽，与之前的 65 GB/s 显存带宽相比，实现了重大飞跃。

· CPU 主频为 1.7 GHz，高于 1.5 GHz。

· 新降价 249 美元，低于 499 美元。

在相同的硬件架构下，这种性能提升是通过增加 GPU、内存和 CPU 时钟的新电源模式实现的。之前的所有 Jetson Orin Nano 开发者套件都可以通过升级到最新版本的 JetPack 来使用新的功率模式。

借助这种性能提升，Jetson Orin Nano 超级开发者套件可提供高达 70% 的生成式 AI 性能，使您能够运行新兴的基于 Transformer 的新型模型。从较小的模型到具有多达 8B 参数的模型 (例如 Llama-3.1-8B 模型)，这款紧凑而强大的系统可以轻松处理各种 LLM、VLM 和 Vision Transformers (ViTs)。

Jetson 支持与其他平台相同的 ML 框架和优化的推理基础设施，例如 Hugging Face Transformers、Llama.cpp、vLLM、MLC、NVIDIA TensorRT-LLM 等。这使其成为在云、边缘和 PC 之间快速调整和部署可扩展解决方案的理想选择。

JETSON Orin Nano Super Developer Kit 配置

可运行各种 LLM、VLM 和 ViT 

如果您想将生成式 AI 功能引入嵌入式应用程序或在经济实惠的计算机上体验先进的生成式 AI 模型，NVIDIA Jetson Orin Nano 超级开发者套件可提供颠覆性性能。

LLMs、VLMs 和视觉 Transformers (ViTs) 是推动跨领域创新的变革性 AI 架构。Foundation LLMs 擅长通用语言处理和生成类似人类的文本，在与流式语音识别和合成流程 (例如 NVIDIA Riva ) 结合使用时，可实现自然的人类/机器界面。

小语言模型 (SLMs) 通过 剪枝和蒸馏 等技术取得了快速发展，可以与更大的模型竞争，并针对边缘用例进行了优化，一般来说，参数大小在 7 亿以下。

如今，开放式 LLM 和 SLM 已通过结构化 I/O (将 LLM 解析和推理连接到真实系统) 接受代理工具使用和函数调用训练，这已成为常态。

许多 ML 框架 (包括 NVIDIA NeMo ) 也改进了对 LLM 微调和内存高效型 LoRAs 的支持，实现了在应用特定领域中对 SLM 进行对齐和专门化的易于理解的方法。ViTs 通过将像素片标记为嵌入，利用 Transformers 的强大功能实现视觉效果。它们在以下基本任务中实现了出色的性能：

· 特征提取

· 分类

· 检测

· 分割

· 姿态估计

它们还扩展到更高维的模式，例如 3D 点云和采用 NVIDIA Cosmos Tokenizers 的视频。ViTs 提示创意新型混合模型，该模型将定制视觉功能、开放词汇语言支持以及针对各种主题和对象类别的动态运行时查询融合在一起，无需额外微调。VLMs，例如 VILA ，融合 ViTs 和 LLMs 跨视觉和文本模式，使模型能够理解和生成详细的场景描述、检测感兴趣的物体并使用 OCR 提取文本。它们可以应用多模态推理来回应用户对图像或视频序列的查询。

在经历了与 SLMs 类似的精简工作后，VLMs 在应用于摄像头流的远程监控时（例如在 Jetson Platform Services 中的 参考 VLM Workflow 中）具有灵活的基于事件的警报和汇总功能，因此对于边缘应用的用途越来越大。

这些技术共同支撑着生成式 AI 和多模态系统以及现实世界应用的进步。新的 NVIDIA Jetson Orin Nano Super 可显著提升各种 LLM、SLM、ViT 和 VLM 的性能，并显著降低入门门槛，以便获得使用最新的 Transformer 模型作为物理 AI 门户的实践经验。我们在下方对一些热门的 LLM、VLM 和 ViT 进行了基准测试，并展示了 Jetson Orin Nano Super 开发者套件相较于前代产品所提供的加速。

图 1、Jetson Orin Nano 超级开发者套件的 LLM 性能提升

图 2、NVIDIA Jetson Orin Nano 超级开发者套件的 VLM 性能提升

Jetson Orin Nano Super Developer Kit 入门

要享受提升的性能，请从 JetPack SDK 页面 下载 SD 卡镜像，并按照 Getting Started Guide 操作 。

NVIDIA 基于 JetPack 6.1 发布了 SD 卡镜像，并支持提升性能。您还可以使用 SDK Manager 安装 JetPack 6.1，并提升 Jetson Orin Nano Developer Kit 的性能。请确保您已更新 SDK Manager 并选择 JetPack 6.1 (rev. 1) 安装时。

启动并运行 JetPack 后，请使用以下命令更改电源模式，以解锁超强性能。模式 2 是 MAXN 模式，可带来超强性能。

您还可以使用 Ubuntu 桌面顶部栏右侧的 Power Mode Selector 更改电源模式。

图 4、电源模式选择工具

在 Jetson Orin Nano 超级开发者套件上体验生成式 AI

NVIDIA 在 Jetson AI 实验室中提供一系列教程和预构建容器，用于探索 Jetson Orin Nano 开发者套件中的生成式 AI。如果您对机器人感兴趣，请务必查看 LeRobot 教程。对于希望创建生成式 AI 聊天机器人的用户，我们提供了一个专门的教程来构建生成式 AI 聊天机器人。

Hugging Face 乐机器人 

NVIDIA 与 Hugging Face 合作 ，在 LeRobot 开放式 AI 平台上加速机器人研究。您可以在 Jetson Orin Nano 超级开发者套件上运行 HuggingFace LeRobot，该套件运行生成式 AI 模型，用于根据视觉输入和先前的轨迹预测特定任务的动作。

图 5、Hugging Face LeRobot 运行在 Jetson Orin Nano 开发者套件上

OLlama 的生成式 AI 驱动聊天机器人 

在 Jetson Orin Nano 超级开发者套件上运行生成式 AI 聊天机器人。此聊天机器人采用 Open WebUI 的 Ollama ，以 Open WebUI 的形式呈现，一个广泛使用的开源聊天机器人服务器接口，可连接到本地运行的 LLM。它使用检索增强生成 (RAG) 进一步增强用户体验和功能。

图 6、在 Jetson Orin Nano 超级开发者套件上运行的生成式 AI 聊天机器人

借助 Jetson AI 实验室推进生成式 AI 发展 

Jetson AI Lab 是发现和试验针对边缘设备优化的最新生成式 AI 技术的中心。

通过营造公开协作和社区驱动的环境，NVIDIA 与开发者和合作伙伴携手推进开源边缘 AI 和机器人学习。我们全面支持 Jetson 设备上的热门机器学习框架和优化的推理微服务，因此您可以在 Jetson 计算机上快速构建和部署最新的研究创新和模型，以跟上创新的步伐。

图 7 显示了 NanoOWL 开放词汇实时物体检测 ViT 示例。

图 8 显示了包含交互式 txt2img 和 img2img 相似性搜索的 NanoDB 多模态向量数据库。

Jetson AI Lab 提供近 50 个易于学习的教程和预构建的容器，可帮助任何经验水平的开发者快速开始使用设备上的 LLM、SLM 和多模态 VLM，以及 VLA、扩散策略和语音模型的变体。它们均在本地部署，并与云端使用的优化推理基础架构相同。

Jetson AI Lab 的协作式社区驱动教程和资源 可显著降低在边缘部署高级生成式 AI 的门槛。

所有 Jetson Orin Nano 系列和 Jetson Orin NX 系列模组均可实现超强性能提升

NVIDIA 还更新了 Jetson Orin Nano 系列和 Jetson Orin NX 系列的性能。从小型 AI 摄像头到大型自主机器，每台边缘设备都需要具备运行生成式 AI 模型所需的计算能力。

借助相同的模组硬件，您可以充分利用不同模组性能提升高达 1.7 倍的优势。

• Orin Nano 系列： 改进 GPU、CPU 和内存的频率和性能。

• Orin NX series： 跨 GPU 和 DLA 的改进。

有关提升 Jetson Orin Nano 和 Orin NX 生产模组性能的支持和文档将于 1 月上半月发布，并支持 JetPack 6.1.1。

鉴于客户对 Orin 的需求日益增长，NVIDIA 最近还宣布 将 Jetson Orin 的产品生命周期延长至 2032 年。凭借这种超强性能提升，Orin Nano 系列和 Orin NX 系列成为当前和未来模型的理想平台。