2026.04.30
NEWS UPDATE
GPU 加速油气勘探，打造新一代地震数据分析平台
国内一家领先的油气勘探企业承接了大量的国内外石油天然气勘探项目，每年面临庞大的地震数据分析处理任务。
-
2026.04.30
-
2026.06.18
NEWS UPDATE分离式 LLM 推理部署：在 Kubernetes 上拆分 Prefill 与解码阶段
随着 LLM 推理工作负载日益复杂，单一的推理服务进程开始触及瓶颈Prefill 和解码阶段具有截然不同的计算特征，但传统部署方式强制它们在相同硬件上运行，导致 GPU 利用率低下且扩缩容缺乏灵活性。
-
2026.06.17
NEWS UPDATENVIDIA NIXL 开源发布：统一的 AI 推理分布式数据移动库
部署大语言模型需要大规模分布式推理，将模型计算和请求处理分散到多个 GPU 和节点上在此过程中，KV 缓存传输、激活值调度和存储访问等数据移动操作成为关键瓶颈。
-
2026.06.16
NEWS UPDATENVIDIA Dynamo 全栈优化：为智能体推理实现 97% KV 缓存命中率
编程智能体正在大规模编写生产代码Stripe 的智能体每周生成 1300+ 个 PR，Ramp 30% 的合入 PR 由智能体完成。
-
2026.06.15
NEWS UPDATENVIDIA Run:ai + NIM：智能调度实现 GPU 利用率翻倍
部署 LLM 的企业面临推理工作负载多样化的挑战一个小型嵌入模型可能只需几 GB 显存，而 70B+ 参数的大模型则需要多块 GPU这种差异往往导致 GPU 平均利用率低下、计算成本高昂且延迟不可预测
-
2026.06.12
NEWS UPDATENVIDIA TensorRT LLM AutoDeploy 发布：自动编译 PyTorch 模型为优化推理引擎
NVIDIA TensorRT LLM 让开发者能够为大型语言模型构建高性能推理引擎，但传统上部署新架构需要大量手动工作。
WeChat
Profile