英伟达:DeepSeek R1 现可在 NVIDIA NIM 平台上使用
|
站长之家(ChinaZ.com) 1月31日消息:据英伟达网站发布的博客文章,DeepSeek R1 671b 已作为英伟达的 NIM 微服务预览版本在 build.nvidia.com 上发布。 据博客文章介绍,DeepSeek-R1 是一款拥有最先进推理能力的开放模型。与传统模型直接给出答案不同,像 DeepSeek-R1 这样的推理模型会对查询进行多轮推理处理,通过链式思考、共识方法和搜索策略生成最佳答案。 这一系列推理过程——即利用推理得出最佳答案——被称为「推理时扩展」(test-time scaling)。DeepSeek-R1 是这一扩展法则的完美示例,展示了为何加速计算对于代理 AI 推理的需求至关重要。 当模型允许逐步「思考」问题时,它们会生成更多的输出 token 和更长的生成周期,因此模型质量持续提升。显著的推理时计算对实现实时推理和高质量响应至关重要,推理模型如 DeepSeek-R1 需要更大的推理部署来支持这一过程。 R1 在需要逻辑推理、思维推导、数学计算、编程和语言理解等任务中,提供了领先的准确性,同时具备高效的推理能力。 为了帮助开发者安全地测试这些功能并构建专用智能体,拥有 6710 亿参数的 DeepSeek-R1 模型现已作为 NVIDIA NIM 微服务预览版在 build.nvidia.com 上发布。DeepSeek-R1 NIM 微服务能够在单个 NVIDIA HGX H200 系统上每秒处理最多 3,872 个 token。 开发者可以测试并实验即将推出的应用程序接口(API),该接口预计将很快作为可下载的 NIM 微服务发布,成为 NVIDIA AI 企业软件平台的一部分。 DeepSeek-R1 NIM 微服务简化了部署,支持行业标准的 API。企业可通过在其首选加速计算基础设施上运行 NIM 微服务,最大程度保障安全性和数据隐私。使用 NVIDIA AI Foundry 和 NVIDIA NeMo 软件,企业还可以为特定的 AI 智能体创建定制化的 DeepSeek-R1 NIM 微服务。 |
在线投稿
-
相关阅读
-
媒体:“水花消失术”背后是加倍拼命 科学与技艺的完美融合
-
15岁蒋林静再现“水花消失术” 新星闪耀蒙特利尔
-
网友质疑霸王茶姬水银系男友投毒 调查结果公布
-
岳云鹏谭维维合唱《上海滩》笑场 市井旋律的共鸣
-
男童被入室抢走 父亲曾疑奶奶是同伙 18年终团聚
-
冲刺100万亿 服务业迎来关键跃升
-
东北早市被俄罗斯游客“包场” 跨境烟火气暖人心
-
南京鸭子一半在桌上 一半在湖上 玄武湖游船全员出动
-
精彩图片
-
严重污染!印度首都河面漂浮大量有毒泡沫
-
金饰价格突破800元/克大关
-
绝美!北京朝霞遇到平流雾
-
美国给以色列派先遣队,援助的“萨德”也将启用?
-
以总理住宅遭无人机袭击 以方反应强烈
-
美政府紧急调查以色列报复伊朗计划外泄事件
-
以军袭击加沙地带北部拜特拉希亚地区已致73人死亡
-
加沙民众:每时每刻都有屠杀发生 我们已是活死人
-
新帖速递
-
媒体:“水花消失术”背后是加倍拼命 科学与技艺的完美融合
-
15岁蒋林静再现“水花消失术” 新星闪耀蒙特利尔
-
网友质疑霸王茶姬水银系男友投毒 调查结果公布
-
岳云鹏谭维维合唱《上海滩》笑场 市井旋律的共鸣
-
男童被入室抢走 父亲曾疑奶奶是同伙 18年终团聚
-
冲刺100万亿 服务业迎来关键跃升
-
东北早市被俄罗斯游客“包场” 跨境烟火气暖人心
-
南京鸭子一半在桌上 一半在湖上 玄武湖游船全员出动

精彩评论文明上网理性发言,请遵守评论服务协议
共0条评论