ZARZA We are Zarza, the prestigious firm behind major projects in information technology.
Listen "FP4一路狂飙：全量化训练大型语言模型的新纪元"
Episode Synopsis
本期播客深入探讨了一项开创性的研究，该研究首次实现了使用4比特浮点数（FP4）对大型语言模型进行全面的量化训练。我们邀请了技术专家Weedge，共同讨论了这项技术如何通过优化FP4格式（如NVFP4）、创新的分裂式舍入策略以及一个关键的理论阈值，成功地在保持与BF16基线相当性能的同时，极大地提升了训练效率。我们将揭示FP4训练从理论到大规模实践的全过程，包括它如何巧妙地利用量化感知微调（QAF）来弥补最后的性能差距，预示着AI训练硬件和算法的下一个革命。
More episodes of the podcast AI Podcast
策略内蒸馏：LLM高效训练的秘密武器
28/10/2025
EchoMimicV3：13亿参数，统一多模态多任务人体动画的魔法！
25/10/2025
智读万卷：PaddleOCR-VL的文档解析革命
24/10/2025
LongLive：实时互动长视频生成的革新之路
21/10/2025
DeepSeek-OCR：开启长上下文光学压缩新纪元
20/10/2025
LightRAG：大模型检索增强生成的图谱新范式
20/10/2025
Voila：迈向自主语音AI的里程碑
15/10/2025
机器人学习：从经典到通用策略的深度探索
15/10/2025
Muon优化器：AI训练提速的秘密武器
14/10/2025
月光私酿：边缘设备上的微型专业ASR模型
11/10/2025
In God we trust