Meta 发布 TLX 优化版 Jagged Flash Attention:Blackwell 架构下 GEM 模型性能新突破

ADK PyTorch官方 / ADK编译 2026-08-03 5 分钟 147 次浏览
速览导读 / Summary

Meta 团队利用 Triton Low-level Extensions (TLX) 重新设计了 Jagged Flash Attention (JFA) 内核,旨在解决 Meta Generative Ads Model (GEM) 在 NVIDIA Blackwell (B200) 芯片上的性能瓶颈。该方案通过显式硬件控制(如异步任务、显式显存管理)替代传统手写 CUDA,将代码量减少 3 倍,同时在前向传播和反向传播上分别提升约 13% 和 50% 的性能,实现了高性能与高开发效率的平衡。

代码行数 3.2K lines 相比 FA4 的 ~10K 行代码,减少约 3 倍
前向传播性能提升 ~13% 在锯齿状序列形状上的优化效果
反向传播性能提升 ~50% 在锯齿状序列形状上的优化效果
目标硬件 NVIDIA Blackwell (B200) 基于 Triton Low-level Extensions (TLX)

Key Insights / 核心看点

  • 1 引入 TLX 框架:在 Triton 高级编程模型之上,提供显式的硬件控制(如 SMEM/TMEM 分配、异步任务、屏障操作),使模型工程师无需手写 CUDA 即可构建高性能内核。
  • 2 性能显著提升:在 Blackwell B200 上,针对 GEM 关键场景的锯齿状形状优化,前向传播性能提升约 13%,反向传播性能提升约 50%,超越 May 2026 版本的 FlashAttention-4 (FA4)。
  • 3 开发效率革命:将原本约 10,000 行的 CuteDSL 代码重构为仅 3,200 行的简洁 Triton 代码,代码量减少约 3 倍,且保持了良好的可读性和可维护性。
  • 4 架构级优化:通过 Warp 专业化分工(TMA 加载、矩阵乘法、Softmax 计算分离)和显式内存流水线管理,消除了传统编译器调度下的内存阻塞,实现张量核心持续满载。

Meta 发布 TLX 优化版 Jagged Flash Attention:Blackwell 架构下 GEM 模型性能新突破

更新背景:Blackwell 时代的性能挑战

随着 NVIDIA Blackwell (B200) 架构的商用,大模型训练对算力的需求达到了新的高度。Meta 的 Generative Ads Model (GEM) 在处理非结构化用户序列时,面临严峻的性能挑战:注意力机制 (Attention) 是其最慢的内核,且处理“锯齿状” (Jagged/Ragged) 序列时,若采用传统填充 (Padding) 策略,高达 50% 的计算资源将被浪费。

此前,为了在 Blackwell 上达到峰值性能,团队不得不依赖手写 CuteDSL 或 CUDA 代码。这种方式虽然性能优异,但开发周期长、扩展性差,难以快速迭代新的注意力变体(如滑动窗口、块稀疏等)。Meta 此次发布的最新工作,正是为了解决这一“性能与开发效率”的矛盾。

“TLX closes this gap on both fronts. On development efficiency, the TLX attention kernel is about 3.2K lines of concise Triton-level code — roughly 3× less than the ~10K-line CuteDSL kernels of the state-of-the-art FlashAttention-4 (FA4). On performance, it outperforms FA4 (May 2026 version) on the jagged shapes that matter for GEM — by ~13% on the forward pass and ~50% on the backward pass.”

— Meta PyTorch 团队

同主题深度资讯

查看更多 →
AI 工具 2026-10-16

WonderCV 发布“超级职场攻略”:AI 驱动简历优化与全周期求职赋能

WonderCV(超级简历)于 2026 年 10 月 16 日重磅推出“超级职场攻略”系列,整合 AI 生成、专家点评与行业案例,构建从简历撰写到面试实战的全周期求职体系。通过 AI 简历生成、HR 视角的分数评估及大牛案例库,帮助求职者提升通过率,实现从“白开水”简历到“心动 Offer”的蜕变。

超级简历官方 / ADK编译 4 分钟
模型发布 2026-10-15

OpenAI 宣布 GPT-4o 系列 API 停服:迁移至 GPT-6 Luna 与迁移检查指南

OpenAI 正式宣布 GPT-4o 及 GPT-4.1 系列特定快照将于 2027 年 1 月 14 日停止服务,并推荐迁移至 GPT-6 Luna。开发者需立即盘点代码中的模型 ID,区分新旧截止日期,并通过自动化脚本验证替换后的行为兼容性。本文提供详细的迁移清单与代码检查示例,助开发者规避服务中断风险。

Atoms官方 / ADK编译 5 分钟
AI 工具 2026-10-15

Atoms 发布 Claude Motion:基于代码的动画生成与 MP4 导出功能详解

Atoms 平台正式推出 Claude Motion 的 Beta 版本,支持团队与企业用户创建基于代码的动画。该工具利用文本、图表和图像生成可编辑的 MP4 视频,强调内容准确性而非生成式视频。文章详细阐述了从组织权限配置、提示词编写到最终视频导出的完整工作流,并提供了针对内部演示文稿和定价说明的实战案例。

Atoms官方 / ADK编译 4 分钟
模型发布 2026-10-15

Gemini 3.7 Flash 正式弃用:迁移至 3.8 Flash 及 Deep Research 代理更新指南

Google 宣布 Gemini 3.7 Flash 模型已正式弃用,所有 API 请求自动重定向至 Gemini 3.8 Flash。开发者需显式更新配置,并同步处理 Deep Research 代理的迁移。本文详解参数变更(如 thinking_budget 替换为 thinking_level)、旧版参数废弃清单及自动化迁移检查脚本,确保应用平滑过渡至新架构。

Atoms官方 / ADK编译 5 分钟
code · 免费+付费
★ 5.0 · 120评测
P

PyTorch

开源的机器学习库

PyTorch 是开源的机器学习库,主要用在深度学习研究和应用开发,以灵活性、易用性和强大的 GPU 加速功能而闻名。PyTorch 提供动态计算图,支持开发者在运行时动态修改模型结构,非常适合快速开发和实验。PyTorch 支持张量计算、自动微分(torch.autograd)和模块化的神经网络构建(torch.nn)。PyTorch 拥有丰富的社区支持和大量的预训练模型及教程,是学术界和工业界的首选深度学习框架之一。

查看 PyTorch 使用教程与功能