来自华人团队，可实现快速训练。

原标题：线性扩散模型LiT来了，用极简线性注意力助力扩散模型AIPC时代端侧部署
文章来源：机器之心
内容字数：13271字

LiT: 高效扩散模型助力AIPC时代

机器之心AIxiv专栏报道了香港大学与上海人工智能实验室、华为诺亚方舟实验室合作提出的高效扩散模型LiT。该模型探索了扩散模型中极简线性注意力的架构设计和训练策略，可在断网状态下于Windows笔记本电脑上离线部署，快速生成1K分辨率逼真图片，显著提升了文生图应用的效率和便捷性。

1. 背景与挑战

Diffusion Transformer模型在文生图领域展现出巨大潜力，但其自注意力机制的二次计算复杂度限制了其在高分辨率场景和端侧设备的应用。LiT团队致力于解决这一问题，并探索了线性注意力机制在扩散模型中的应用。

2. 线性注意力与LiT的设计

线性注意力机制具有简洁性和高并行化程度的优势，非常适合大型模型。LiT采用简化线性注意力机制，并通过实验发现，使用更少的注意力头可以在增加理论计算量的同时，不增加实际GPU延迟，实现了“免费午餐”效应。LiT的架构设计基于DiT，但将自注意力替换为线性注意力。

3. 高效训练策略

LiT提出了五条高效训练指导原则：1. 简化线性注意力足以完成图像生成任务；2. 使用更少的注意力头；3. 从预训练的DiT模型继承权重，但不要继承自注意力中的权重；4. 使用知识蒸馏加速训练；5. 同时蒸馏噪声预测结果和方差预测结果。

4. 实验结果与验证

在ImageNet 256×256和512×512基准测试中，LiT在训练迭代次数远少于DiT的情况下，实现了相当甚至更好的FID结果。在文生图任务中，LiT-0.6B可在Windows笔记本电脑上离线生成1K分辨率逼真图片。

5. 离线端侧部署

LiT成功在Windows 11笔记本电脑上实现离线端侧部署，无需网络连接即可快速生成高分辨率图像，展现了其在边缘设备上的应用潜力，推动了AIPC时代的到来。

总而言之，LiT通过巧妙的线性注意力设计和高效的训练策略，显著提升了扩散模型的效率和可访问性，为文生图应用的商业化和普及化提供了新的可能性。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台