adk.wang AI Developer Knowledge
PY
AI 编程开发 发布方：Pytorch ⭐ 5 累计 52 条资讯动态

PyTorch 官方最新动态与版本发布资讯

开源的机器学习库

查看 PyTorch 详情与评测 访问官网

官方发布与版本更新历史记录

第 5 / 5 页 (共 52 条)
2026-08-03 模型发布 | 技术解读
官方原文

PyTorch 发布 Flash Attention 4 MXFP8 版本：Blackwell 架构训练性能再创新高

Meta 团队在 PyTorch 中开源了针对 NVIDIA Blackwell 架构优化的 Flash Attention 4 (FA4) 低精度版本，全面支持 MXFP8 前向与反向传播。该实现通过端到端的零散列模块（Zero-gather jagged module）和优化的 TMEM 分配策略，在 LLM 训练形状上实现了高达 2.85 PF/s 的前向吞吐，相比 BF16 模式提升 1.6 倍。这是首个在生产级 GEM 训练中大规模应用 MXFP8 FA4 的前沿方案，显著降低了大模型训练的计算成本与显存压力。

编辑：PyTorch官方 / ADK编译 阅读资讯全文
2026-07-23 模型发布 | 技术解读
官方原文

PyTorch 携手 Google 发布 Helion TPU 后端：硬件异构核编译新范式

PyTorch 与 Google 联合发布 Helion TPU 后端，填补了高级 DSL 与底层 Pallas 之间的鸿沟。该更新允许开发者使用熟悉的 PyTorch 语法编写性能可移植的机器学习内核，并自动编译为针对 TPU v7 优化的 Pallas 代码。通过智能自动调优（Autotuning）和流水线优化，Helion 在 Flash Attention 工作负载上实现了高达 838 TFLOPS 的性能，显著降低了 TPU 内核开发的门槛并提升了跨硬件兼容性。

编辑：PyTorch官方 / ADK编译 阅读资讯全文
2025-11-10 模型发布 | 技术解读
官方原文

PyTorch 发布 Free Normalization 技术：将归一化融合进 GEMM 与 Attention 内核

Meta 团队在 PyTorch 生态中发布了一项针对归一化操作（LayerNorm/RMSNorm）的底层优化方案。通过创新的 Kernel Fusion 技术，将归一化计算与 GEMM 及 Attention 内核深度融合，成功隐藏了高达 90% 的归一化延迟。该技术利用 Triton 和 Helion DSL，在 NVIDIA B200 GPU 上实现了显著的性能提升，为 LLM 训练与推荐系统推理提供了新的加速路径。

编辑：PyTorch官方 / ADK编译 阅读资讯全文
2025-09-11 模型发布 | 技术解读
官方原文

PyTorch 基金会六项目季度更新：从 PyTorch 2.13 到 Ulysses 并行与硬件加速

PyTorch 基金会于 2025 年 4 月升级为多项目架构，涵盖 PyTorch、vLLM、DeepSpeed、Ray、Helion 及 Safetensors。本期更新聚焦 PyTorch 2.13 发布（含 Apple Silicon FlexAttention 与 Python 3.15 支持）、vLLM 模型运行器 V2 重构、DeepSpeed Ulysses 序列并行集成及 Ray 对 GB200/GB300 硬件的优化。各项目在性能提升、生态扩展与生产级稳定性方面取得显著进展。

编辑：PyTorch官方 / ADK编译 阅读资讯全文