英伟达发布新 RL 范式:受 DeepSeek-R1 启示,提高AI决议计划深度

liukang20243周前cgw吃瓜345

IT之家 5 月 14 日音讯,科技媒体 marktechpost 昨日(5 月 13 日)发布博文,报导称英伟达联合推出 Nemotron-Research-Tool-N1 系列模型,受 DeepSeek-R1 启示,选用新式强化学习(RL)范式,强化模型推理才能。

明亮的英伟达发布新 RL 范式:受 DeepSeek-R1 启发,提升AI决策深度的插图

大型言语模型(LLMs)经过外部东西提高功用已成为抢手趋势,这些东西协助 LLMs 在搜索引擎、计算器、视觉东西和 Python 解说器等范畴表现出色。但现有研讨依靠组成数据集,无法捕捉清晰的推理进程,导致模型仅仿照外表形式,而非真实了解决议计划进程。

为了提高 LLMs 的东西运用才能,现有办法探究了多种战略。首要包含两方面:榜首,数据集收拾和模型优化。研讨者创立大规模监督数据集,并运用监督微调(SFT)和直接偏好优化(DPO)强化学习等技能,将 LLMs 与外部东西整合,扩展其功用。

第二,改善推理进程。从传统的练习时扩展转向测验时杂乱战略。前期办法依靠进程级监督和学习奖赏模型,辅导推理轨道。

这些办法虽有用,却仍受限于组成数据的缺少。研讨者指出,经过这些战略,LLMs 能处理单轮或多轮东西调用,但缺少自主推理的深度。

现代的英伟达发布新 RL 范式:受 DeepSeek-R1 启发,提升AI决策深度的视图

英伟达联合宾夕法尼亚州立大学、华盛顿大学,组成专业团队,合作开发 Nemotron-Research-Tool-N1 系列,针对现有办法的局限性,学习 DeepSeek-R1 的成功,开发轻量级监督机制,专心于东西调用的结构有用性和功用正确性。

Nemotron-Research-Tool-N1 系列并非依靠显式标示的推理轨道,而是选用二元奖赏机制,让模型自主开展推理战略。

研讨者一致处理了 xLAM 和 ToolACE 等数据集(供给单轮和多轮东西调用轨道)的子集,并规划了轻量级提示模板,辅导东西生成进程。

该模板运用 <think>...</think > 标签清晰指示中心推理,并用 < tool_call>...</tool_call > 标签封装东西调用,这样避免了过度拟合特定提示形式。

壮观的英伟达发布新 RL 范式:受 DeepSeek-R1 启发,提升AI决策深度的视图

骨干模型为 Qwen2.5-7B / 14B,并测验了 LLaMA 系列变体,以评价泛化才能。在 BFCL 基准测验中,Nemotron-Research-Tool-N1-7B / 14B 模型表现出色,逾越了 GPT-4o 等关闭源模型,以及 xLAM-2-70B 和 ToolACE-8B 等专用微调模型。

与相同数据源的 SFT 基准比较,该模型优势显着,证明了 RL 办法的有用性。在 API-Bank 基准上,Tool-N1-7B / 14B 的准确率别离比 GPT-4o 高出 4.12% 和 5.03%。这些成果验证了新办法的潜力,协助 LLMs 更自主地生成推理战略。研讨者总结以为,这标志着从传统 SFT 向 RL 范式的改变。

IT之家附上参阅地址

  • Nemotron-Research-Tool-N1: Tool-Using Language Models with Reinforced Reasoning

  • Nemotron-Research-Tool-N1: Exploring Tool-Using Language Models with Reinforced Reasoning

告发/反应

相关文章

33个项目获194个世界冠军,2024年我国体育交出亮眼成绩单

【环球时报报导 记者 李萌】编者的话:从热血沸腾的奥运赛场,到全民参加的健身热潮;从传统强项的持续称雄,到小众项目的冷艳兴起……2024年,我国体育全方位展示出繁荣力气。国家体育总局竞技体育司12月...

王晓锋 音乐在认识里自在流动

原标题:王晓锋 音乐在认识里自在流动王晓锋的音乐人生,便是一部我国盛行音乐的“进化史”。走穴、扒带子、玩摇滚、出国学电脑音乐制造、下海做广告歌曲,又在影视音乐创造中发挥了才调。《从头再来》使他声名鹊起...

本来你是这样的孙俪!新剧人设回转,演出逆袭记

齐鲁晚报•齐鲁壹点记者 刘雨涵孙俪新剧《蛮好的人生》于4月17日晚在央视八套黄金档正式开播。几天前,孙俪仍是《乌云之上》里边飒爽妥当的女刑警,转眼间,她在新著作里就人设回转,成了嬉闹咋唬的金牌稳妥出售...

G331国道“警企驿站”构建边境施工安全共同体

工人日报-中工网记者 彭冰 柳姗姗 通讯员 赵文瑞3月份以来,吉林省临江市G331国道改扩建工程的14个施作业业点连续全都树立起了“警企驿站” 。到现在,这个由临江边境处理大队建立的警务服务渠道,已为...

重视|状况仍然低迷!王楚钦爆冷输给了他

“王楚钦无缘8强”的音讯冲上热搜榜首,引发重视。北京时间11月6日晚,在WTT国际乒联法兰克福冠军赛上,中国选手王楚钦爆冷负于瑞典选手卡尔伯格,无缘男单八强。在一个月前的亚锦赛上男单失利之后,王楚钦休...

点球大战C罗主罚时心率最低,15岁时的心脏手术让他有了“大心脏”

在北京时间7月2日进行的一场欧洲杯1/8决赛中,葡萄牙队经过点球大战3比0筛选斯洛文尼亚队。C罗在加时赛中罚丢点球,在之后的点球大战中成功将球罚进。据报道,欧洲杯部分上场竞赛的球员身穿集运动监测传感器...

友情链接: