多语言嵌入模型,用于视觉文档检索。
vdr-2b-multi-v1 是一款由 Hugging Face 推出的多语言嵌入模型,专为视觉文档检索设计。该模型能够将文档页面截图编码为密集的单向量表示,无需 OCR 或数据提取流程即可搜索和查询多语言视觉丰富的文档。基于 MrLight/dse-qwen2-2b-mrl-v1 开发,使用自建的多语言查询 - 图像对数据集进行训练,是 mcdse-2b-v1 的升级版,性能更强大。模型支持意大利语、西班牙语、英语、法语和德语,拥有 50 万高质量样本的开源多语言合成训练数据集,具有低 VRAM 和快速推理的特点,在跨语言检索方面表现出色。
最新推出的多语言通用嵌入模型,在多个领域表现卓越。
Voyage-3-large 是 Voyage AI 推出的最新多语言通用嵌入模型。该模型在法律、金融、代码等八个领域的100个数据集中排名第一,超越了 OpenAI-v3-large 和 Cohere-v3-English。它通过 Matryoshka 学习和量化感知训练,支持更小维度和 int8 及二进制量化,大幅降低向量数据库成本,同时对检索质量影响极小。该模型还支持 32K 令牌上下文长度,远超 OpenAI(8K)和 Cohere(512)。
新型嵌入模型,性能更强,价格更低。
OpenAI Embedding Models是一系列新型嵌入模型,包括两个全新的嵌入模型和更新的GPT-4 Turbo预览模型、GPT-3.5 Turbo模型以及文本内容审核模型。默认情况下,发送到OpenAI API的数据不会用于训练或改进OpenAI模型。新的嵌入模型具有更低的定价,包括更小、高效的text-embedding-3-small模型和更大、更强大的text-embedding-3-large模型。嵌入是表示自然语言或代码等内容中概念的一系列数字。嵌入使得机器学习模型和其他算法更容易理解内容之间的关系,并执行聚类或检索等任务。它们为ChatGPT和Assistants API中的知识检索以及许多检索增强生成(RAG)开发工具提供支持。text-embedding-3-small是新的高效嵌入模型,相比其前身text-embedding-ada-002模型,性能更强,MIRACL的平均分数从31.4%提升至44.0%,而在英语任务(MTEB)的平均分数从61.0%提升至62.3%。text-embedding-3-small的定价也比之前的text-embedding-ada-002模型降低了5倍,从每千个标记的价格$0.0001降至$0.00002。text-embedding-3-large是新一代更大的嵌入模型,能够创建高达3072维的嵌入。性能更强,MIRACL的平均分数从31.4%提升至54.9%,而在MTEB的平均分数从61.0%提升至64.6%。text-embedding-3-large的定价为$0.00013/千个标记。此外,我们还支持缩短嵌入的原生功能,使得开发者可以在性能和成本之间进行权衡。
代码一览:突出代码中的重要部分
Glance是一个用于突出代码中重要部分的工具。它将代码分成重叠的窗口,并使用预训练的代码嵌入模型嵌入代码。然后,它通过计算嵌入之间的余弦相似度创建一个加权无向图,并运行PageRank算法计算每个代码窗口的“重要性”分数。Glance可以帮助开发人员迅速了解代码的关键部分。
© 2024 AIbase 备案号:闽ICP备08105208号-14