PaddlePaddle/Paddle v3.1.1
PaddlePaddle/Paddle
Captured source
source ↗PaddlePaddle 3.1.1 Release Note
Repository: PaddlePaddle/Paddle
Tag: v3.1.1
Published: 2025-08-21T06:19:24Z
Prerelease: no
Release notes:
重要更新
--- 飞桨框架3.1.1版本围绕大模型训练全流程进行了系统性强化,通过体系化修复大模型场景下算子数值精度和功能等底层稳定性问题,结合API的日志系统规范化与单元测试全覆盖,显著提升大模型训练的正确性和稳定性;性能层面,在提高部分关键框架API和FP8场景下的量化计算效率的同时增强分布式训练场景下FP8量化和流水线并行效率,大幅提升训练吞吐。扩展自动并行架构的切分推导覆盖范围;推理部署提高兼容性的同时进一步增强EP并行推理能力;整体上在保持API兼容性的基础上构建出更稳健、高效的大模型研发技术底座。
算子与执行体系正确性、稳定性增强:系统化修复0-size、大shape Tensor、CPU/GPU 精度一致性问题,保障大模型训练正确性、稳定性。 FP8相关算子优化: 进一步提升FP8相关量化和计算融合算子的性能,并调整了部分算子的sm使用量,提升FP8混合精度训练效率 大模型训练更稳更快:系统性优化了Slice相关场景的执行效率,大幅提升Slice相关操作性能;修复流水线场景下的参数同步问题、新增Sharding场景的FP8参数量化能力和DualPipe下的极致通信计算重叠能力,保障并行训练稳定高效。同时增强自动并行架构下的切分推导能力增强自动并行切分效率。 推理部署:新增支持safetensors加载功能,EP并行方面对internode_ll_two_stage进行了功能增强助力进一步提升推理效率。
1. 用户体验升级
---
在3.1版本中,主要对大模型场景下常用的的多个API进行了补充,并且系统化修复了API日志以及部分代码实现问题。
新特性
- 新增API
paddle.device.device_guard,动态图的设备切换上下文管理器。#73964 - 新增API
paddle.Tensor.bool、paddle.Tensor.float16、paddle.Tensor.half、paddle.Tensor.bfloat16、paddle.Tensor.float32、paddle.Tensor.float、paddle.Tensor.float64、paddle.Tensor.double、paddle.Tensor.int8、paddle.Tensor.char、paddle.Tensor.uint8、paddle.Tensor.byte、paddle.Tensor.int16、paddle.Tensor.short、paddle.Tensor.int32、paddle.Tensor.int、paddle.Tensor.int64、paddle.Tensor.long、paddle.Tensor.complex64、paddle.Tensor.complex128、paddle.Tensor.cfloat、paddle.Tensor.cdouble,支持灵活的数据类型切换。#74416 - 新增API
paddle.msort,支持多维数组的排序。#74421 - 新增API
paddle.ravel、paddle.Tensor.ravel,支持对Tensor进行拉平。#74439,#74454 - 新增API
F.dropout1d,支持对Tensor沿指定维度进行随机丢弃。#74444 - 新增API
paddle.Tensor.type_as。#74459 - 新增API
paddle.Tensor.mul_、paddle.autograd.Function、paddle.argwhere。#74493 - 新增API
paddle.nn.MultiLabelMarginLoss。#73538 - 新增API
paddle.is_autocast_enabled、paddle.get_autocast_gpu_dtype。#74441 - 新增Tensor属性
paddle.Tensor.requires_grad。#74491
问题修复
- 修复
Tensor.place之间比较的问题。#73532 - 修复
F.adaptive_log_softmax_with_loss的问题。#73554 - 修复
Tensor.__radd__、Tensor.__rmul__相关问题。#73833 - 修复API的 0-size 相关问题。#73874
- 修复
_DataLoaderIterMultiProcess、_DataLoaderIterSingleProcess的问题。#73931 - 修复
paddle.nanmedian的问题。#74263 - 修复
paddle.eigh的问题。#73349 - 修复
paddle.arange的问题。#74159
功能增强
paddle.cumprod支持设置dim为None。#74106paddle.zeros/zeros_like/ones/ones_like/eye/empty/empty_like/full/full_like支持device、dtype、requires_grad等更多参数。#74477paddle.ones支持shape为可变参数的用法。#74494F.gelu的approximate参数支持字符串格式。#74485F.scaled_dot_product_attention支持输入为3D。#73804
文档
其他
-…
Excerpt shown — open the source for the full document.
Notability
notability 3.0/10Routine patch release of established framework.