简介:

一种高效的遮蔽扩散语言模型。

功能:

使用加权平均遮蔽交叉熵损失进行训练。

与自回归方法相比,MDLM 的目标对应于一个原理性的变分下界。

支持通过祖先采样进行文本生成。

在 One Billion Words 基准测试中表现出较低的困惑度。

通过现代工程实践训练的 MDLM 在语言建模中达到了新的最佳状态。

MDLM 可以训练编码器仅语言模型,允许高效的采样器。

需求人群:

"MDLM 适合需要生成高质量文本数据的研究人员和开发者,特别是在长文本生成、可控文本生成和快速采样方面有需求的场景。例如,自然语言处理领域的研究人员可以使用 MDLM 来改进他们的语言模型,提高文本生成的质量和效率。"

浏览量:6

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图