RadixArk发布DaisyRose-27B:仅用强化学习训练的27B编码模型

媒体报道 MarkTechPost 原文语言:英文

RadixArk推出首个开源权重模型DaisyRose-27B,基于Qwen3.8-27B仅通过强化学习微调,终端基准Pass@1从5.6提升至12.0。模型规模27.8B参数,可在单GPU上运行,训练耗时18天、使用144块H200 GPU,总计约63,000 GPU小时。

全文

本周 RadixArk 发布了 DaisyRose-27B,这是其首个开源权重模型。DaisyRose-27B 是 RadixArk 的一种具备代理能力的编码模型,基于 Qwen3.8-27B 进行后训练,使用强化学习(RL)。模型卡页面说明它仅使用了 RL,没有进行 SFT 或蒸馏。它以 Apache 2.0 许可证发布,可直接替代基础模型。主要结果:Terminal Bench 4.1 的 pass@1 从 5.6 提升至 12.0。

TL;DR

规模:27.8B 密集参数(0.46B 视觉编码器,0.42B MTP 头),上下文长度 262,144 token。

运行环境:1 块 GPU。BF16 大约占 52 GB,FP8 大约 29 GB,NVFP4 大约 23 GB(仅限 Blackwell)。列出的目标硬件:H200、B200、GB300、RTX PRO 6000、RTX 5090、DGX Spark。GGUF 版本也可用。

性能:在所有 7 项报告的基准上均优于其 Qwen3.8-27B 基础模型。

最佳:IFBench 82.4,位列 RadixArk 对比的 9 款模型之首。

最差:HLE(仅文本)34.3,仅比基础模型高出 0.4,且低于 Inkling 2 Small 的 44.1。

结论:最佳:Terminal Bench 4.1 在 18 天的 RL 训练后翻倍提升。最差:在硬代理任务上仍落后于更大的 MoE 模型。

什么是 DaisyRose-27B?

DaisyRose-27B 保持了 Qwen3.8-27B 的架构不变。模型卡列出 64 层解码器,采用 3:1 的模式。三层门控 DeltaNet 线性注意力层交替出现 1 层全注意力层。隐藏层大小为 5,120。一个 27 层的视觉编码器负责图像处理。一个多 token 预测层支持投机解码。输入为文本和图像,输出为文本,是一种思考模型。

DaisyRose-27B 是如何训练的?

RadixArk 使用 Eigent AI 构建了约 1,200 项精选任务,从数千个候选中挑选。每项任务针对基础模型的特定失效点。每次沙盒尝试最长 1.5 小时,最多 100+ 工具调用和 256k+ 输出 token。代理会话可达 1M token,详见博客。

训练在 Miles——RadixArk 的开源 RL 框架——上以完全异步模式进行。使用了 144 块 H200 GPU,历时 18 天。其中 128 块负责代理推理,16 块负责训练。总计算量为 63,000 GPU 小时。

RadixArk 报告其内部后端的 MFU 为 37%。开源的基于 Megatron 的训练器达到 16%。端到端吞吐量为 16.8k token/s,对比 8.3k,提升 2.0 倍。RadixArk 称此将 GPU 时间缩减了 57%。

沙盒运行在 AgentENV 上。RadixArk 报告从 9 月中旬到 11 月中旬共运行约 944,000 个沙盒。峰值并发达到 1,566。创建成功率在 9 周内为 99%。RadixArk 表示成本约比主流云沙盒供应商低 80%。

DaisyRose-27B 在基准测试上的表现如何?

所有分数均由 RadixArk 自报。DaisyRose 的分数取 BF16 与 FP8 运行中的较高值。

BenchmarkDaisyRose-27BQwen3.8-27BChange

Terminal Bench 4.1 (pass@1)12.05.6+6.4

Terminal Bench 2.1 75.5 73.0+2.5

DeepSWE v1.1 46.2 42.2+4.0

SWE Bench Pro v2 94.7 91.3+3.4

HLE (text only)34.33 33.9+0.4

IFBench 82.4 79.5+2.9

GPQA Diamond 90.7 89.2+1.5

来源:RadixArk 博客和模型卡。

最大幅度的提升是 Terminal Bench 4.1,翻倍以上。编码能力提升平稳:DeepSWE v1.1 提升 +4.0,SWE Bench Pro v2 提升 +3.4。知识类提升较小,HLE 提升 +0.4,GPQA Diamond 提升 +1.5。

与更大模型相比,结果呈现两极。MiMo V2.6 Flash(总计 309B)在 Terminal Bench 4.1 上领先,得分 16.1。Inkling 2 Small(总计 594B)在 DeepSWE 上领先,得分 72.1,且在 HLE 上领先,得分 44.1。DaisyRose-27B 仅在 IFBench 上位列 RadixArk 的 9 模型表格首位。

如何部署 DaisyRose-27B?

权重已在 Hugging Face 上提供,包含 BF16、FP8、NVFP4 和 GGUF 四种格式。NVFP4 需要 Blackwell GPU。RadixArk 推荐使用 SGLang 搭配 DSpark 投机解码。该配置使用 Qwen3.8-27B-DSpark 草稿模型。vLLM 也可通过 `vllm serve "RadixArk/DaisyRose-27B"` 使用。建议的思考模式采样参数为 temperature 1.0,top_p 0.95,top_k 20。

DaisyRose-27B 与同尺寸模型的对比如何?

MetricsDaisyRose-27BQwen3.8-27BMuse Glimmer-30BQwen3.6-35B-A3B

DeveloperRadixArkQwen (Alibaba)Meta Superintelligence LabQwen (Alibaba)

Total params27.8B27B~29.6B35B

Active params27.8B (dense)27B (dense)~29.6B (dense)3B (MoE)

Context262,144262,144 (可扩展至 1M)131,072+262,144 (可扩展至 1,010,000)

LicenseApache 2.0Apache 2.0Apache 2.0Apache 2.0

InputText, imageText, image, videoText, imageText, image

Hardware1 GPU; 52 GB BF16, 23 GB NVFP4未披露64 GB 全精度; <20 GB 4-bit未披露

Terminal Bench 2.1*75.5 73.0 51.7 44.9

SWE Bench Pro v2*94.7 91.3 80.4 73.3

DeepSWE v1.1*46.2 42.2 4.0 0.0

HLE (text only)*34.3 33.9 22.0 22.2

IFBench*82.4 79.5 77.0 64.4

GPQA Diamond*90.789.283.586.0

SWE-bench Pro (official card)Not disclosed61.751.249.5

*引自 RadixArk 的比较表,该表引用了各开发者的报告或排行榜。SWE Bench Pro v2 的数据可追溯至 arXiv 2611.16289。最后一行来自各模型自己的模型卡。

核心要点

仅强化学习,无 SFT:1,200 个任务,18 天,144 张 H200。

Terminal Bench 4.1 从 5.6 跃升至 12.0。

适配 1 张 GPU:BF16 下 52 GB,NVFP4 下 23 GB。

Miles 达到了 37% MFU,端到端速度提升 2.0 倍。

Apache 2.0 协议,但所有得分均为主动申报。

查看模型卡、技术博客以及 Miles 代码库。

正文为 AI 译文。

参考来源

← 返回每日AI报告