产品库

从语言到视觉的长上下文转换模型

LongVA是一个能够处理超过2000帧或超过200K视觉标记的长上下文转换模型。它在Video-MME中的表现在7B模型中处于领先地位。该模型基于CUDA 11.8和A100-SXM-80G进行了测试，并且可以通过Hugging Face平台进行快速启动和使用。

最新多模态检查点，提升语音理解能力。

Llama3-s v0.2 是 Homebrew Computer Company 开发的多模态检查点，专注于提升语音理解能力。该模型通过早期融合语义标记的方式，利用社区反馈进行改进，以简化模型结构，提高压缩效率，并实现一致的语音特征提取。Llama3-s v0.2 在多个语音理解基准测试中表现稳定，并提供了实时演示，允许用户亲自体验其功能。尽管模型仍在早期开发阶段，存在一些限制，如对音频压缩敏感、无法处理超过10秒的音频等，但团队计划在未来更新中解决这些问题。

一个正在训练中的开源语言模型，具备“听力”能力。

llama3-s是一个开放的、正在进行中的研究实验，旨在将基于文本的大型语言模型(LLM)扩展到具有原生“听力”能力。该项目使用Meta的Chameleon论文启发的技术，专注于令牌传递性，将声音令牌扩展到LLM的词汇表中，未来可能扩展到各种输入类型。作为一个开源科学实验，代码库和数据集都是公开的。

高效无限上下文语言模型的官方实现

Samba是一个简单而强大的混合模型，具有无限的上下文长度。它的架构非常简单：Samba = Mamba + MLP + 滑动窗口注意力 + 层级MLP堆叠。Samba-3.8B模型在Phi3数据集上训练了3.2万亿个token，主要基准测试（例如MMLU、GSM8K和HumanEval）上的表现大大超过了Phi3-mini。Samba还可以通过最少的指令调整实现完美的长上下文检索能力，同时保持与序列长度的线性复杂度。这使得Samba-3.8B-instruct在下游任务（如长上下文摘要）上表现出色。

表情包视觉标注数据集

emo-visual-data 是一个公开的表情包视觉标注数据集，它通过使用 glm-4v 和 step-free-api 项目完成的视觉标注，收集了5329个表情包。这个数据集可以用于训练和测试多模态大模型，对于理解图像内容和文本描述之间的关系具有重要意义。

基于llama3 8B的SOTA视觉模型

llama3v是一个基于Llama3 8B和siglip-so400m的SOTA（State of the Art，即最先进技术）视觉模型。它是一个开源的VLLM（视觉语言多模态学习模型），在Huggingface上提供模型权重，支持快速本地推理，并发布了推理代码。该模型结合了图像识别和文本生成，通过添加投影层将图像特征映射到LLaMA嵌入空间，以提高模型对图像的理解能力。

一款由XTuner优化的LLaVA模型，结合了图像和文本处理能力。

llava-llama-3-8b-v1_1是一个由XTuner优化的LLaVA模型，它基于meta-llama/Meta-Llama-3-8B-Instruct和CLIP-ViT-Large-patch14-336，并通过ShareGPT4V-PT和InternVL-SFT进行了微调。该模型专为图像和文本的结合处理而设计，具有强大的多模态学习能力，适用于各种下游部署和评估工具包。

用于检索和生成结合统计数据的文本模型

DataGemma RIG是一系列微调后的Gemma 2模型，旨在帮助大型语言模型（LLMs）访问并整合来自Data Commons的可靠公共统计数据。该模型采用检索式生成方法，通过自然语言查询Data Commons的现有自然语言接口，对响应中的统计数据进行注释。DataGemma RIG在TPUv5e上使用JAX进行训练，目前是早期版本，主要用于学术和研究目的，尚未准备好用于商业或公众使用。

与文档进行自然语言对话的Python应用

Chat With Your Docs 是一个Python应用程序，允许用户与多种文档格式（如PDF、网页和YouTube视频）进行对话。用户可以使用自然语言提问，应用程序将基于文档内容提供相关回答。该应用利用语言模型生成准确答案。请注意，应用仅回应与加载的文档相关的问题。

股票经纪人人工智能助手，提供专业投资建议。

assistant-ui-stockbroker 是一个股票经纪人人工智能助手，旨在通过人机交互界面提供专业的投资建议。该产品利用先进的自然语言处理技术，结合金融数据和算法模型，为用户提供股票市场的深度分析和投资策略。它不仅能够提供实时的市场动态，还能根据用户的需求定制个性化的投资方案。产品背景信息显示，它是一个开源项目，由Yonom公司开发，采用TypeScript、CSS和JavaScript等技术构建。

多模态大型语言模型，支持图像和文本理解。

Pixtral-12b-240910是由Mistral AI团队发布的多模态大型语言模型，它能够处理和理解图像以及文本信息。该模型采用了先进的神经网络架构，能够通过图像和文本的结合输入，提供更加丰富和准确的输出结果。它在图像识别、自然语言处理和多模态交互方面展现出卓越的性能，对于需要图像和文本同时处理的应用场景具有重要意义。

基于记忆的RAG框架，用于全目的应用

MemoRAG是一个基于记忆的RAG框架，它通过高效的超长记忆模型，为各种应用提供支持。与传统的RAG不同，MemoRAG利用其记忆模型实现对整个数据库的全局理解，通过从记忆中回忆查询特定的线索，增强证据检索，从而生成更准确、更丰富的上下文响应。MemoRAG的开发活跃，不断有资源和原型在此仓库发布。

研究创意生成与项目管理的人工智能工具

AI-Researcher 是一个基于斯坦福大学自然语言处理团队的研究项目，旨在通过人工智能技术辅助研究创意的生成和管理。该工具通过自然语言输入研究主题，输出一系列项目提案，并对其进行排名和过滤，以帮助研究人员快速找到创新且可行的研究点子。它包括相关论文搜索、基于检索的想法生成、想法去重、项目提案生成、项目提案排名和过滤等模块。

Qihoo-T2X，一款针对文本到任意任务的高效扩散变换器模型。

Qihoo-T2X是由360CVGroup开发的一个开源项目，它代表了一种创新的文本到任意任务（Text-to-Any）的扩散变换器（DiT）架构范式。该项目旨在通过代理令牌技术，提高文本到任意任务的处理效率。Qihoo-T2X项目是一个正在进行中的项目，其团队承诺将持续优化和增强其功能。

通过自博弈相互推理，提升小型语言模型的解决问题能力。

rStar是一个自我博弈相互推理方法，它通过将推理过程分解为解决方案生成和相互验证，显著提升了小型语言模型（SLMs）的推理能力，无需微调或使用更高级的模型。rStar通过蒙特卡洛树搜索（MCTS）和人类推理动作的结合，构建更高质量的推理轨迹，并通过另一个类似能力的SLM作为鉴别器来验证这些轨迹的正确性。这种方法在多个SLMs上进行了广泛的实验，证明了其在解决多样化推理问题方面的有效性。

AI驱动的对话式业务分析工具

FineChatBI是帆软推出的一款AI驱动的对话式业务分析工具，它利用Text2DSL技术将用户的自然语言问题转化为可理解、可干预的指令，从而提供可控、结果可信、分析闭环、交互友好的业务分析体验。该产品基于企业级BI能力底座，结合AI技术，大幅降低业务分析门槛，提升企业决策效率。

模块化研究导向的检索增强生成统一框架

RAGLAB是一个模块化、研究导向的开源框架，专注于检索增强生成(RAG)算法。它提供了6种现有RAG算法的复现，以及一个包含10个基准数据集的全面评估系统，支持公平比较不同RAG算法，并便于高效开发新算法、数据集和评估指标。

基于多模态大型语言模型的Discord机器人

PigPig是一个基于多模态大型语言模型（LLM）的Discord机器人，旨在通过自然语言与用户互动。它结合了先进的AI能力和实用功能，为Discord社区提供丰富的体验。

使大型语言模型在长文本问答中生成细粒度引用

LongCite是一个开源的模型，它通过训练大型语言模型（LLMs）来实现在长文本问答场景中生成准确的回答和精确的句级引用。该技术的重要性在于它能够提高问答系统的准确性和可信度，使用户能够验证输出信息的来源。LongCite支持高达128K的上下文长度，并且提供了两个模型：LongCite-glm4-9b和LongCite-llama3.1-8b，分别基于GLM-4-9B和Meta-Llama-3.1-8B进行训练。

利用最小熵耦合隐藏加密信息的自然语言隐写工具

Tomato 是一个隐写工具的概念验证，它利用由 ssokota 提供的最小熵耦合码。该工具通过将隐藏信息（密文）的概率分布与由大型语言模型（LLM）生成的封面文本的概率分布合并，实现信息隐藏。这种耦合最小化了联合熵，确保了隐写文本（封面文本与嵌入信息）保留了自然语言的统计特性，使隐藏信息难以被检测。解码过程中，LLM 通过提供上下文感知的解释来辅助，然后使用 MEC 反向解耦封面文本中的隐藏信息。这种方法确保隐藏信息可以无缝集成到文本中，并且可以安全、准确地在以后检索，风险最小。

高效扩展多模态大型语言模型至1000图像

LongLLaVA是一个多模态大型语言模型，通过混合架构高效扩展至1000图像，旨在提升图像处理和理解能力。该模型通过创新的架构设计，实现了在大规模图像数据上的有效学习和推理，对于图像识别、分类和分析等领域具有重要意义。

从文档中提取结构化信息

docai 是一个利用人工智能技术从非结构化文档中提取结构化数据的模型。它集成了Answer.AI的Byaldi、OpenAI的gpt-4o以及Langchain的结构化输出技术，能够显著提高文档处理的效率和准确性。该模型主要面向需要处理大量文档数据并从中提取有用信息的用户，如法律、金融、医疗等行业的专业人士。

利用大型语言模型增量构建知识图谱

iText2KG是一个Python包，旨在利用大型语言模型从文本文档中提取实体和关系，增量构建一致的知识图谱。它具备零样本能力，允许在没有特定训练的情况下跨不同领域进行知识提取。该包包括文档蒸馏、实体提取和关系提取模块，确保实体和关系得到解决和唯一性。它通过Neo4j提供知识图谱的可视化表示，支持交互式探索和分析结构化数据。

集成了通用和编程能力的人工智能模型

DeepSeek-V2.5 是一个升级版本，结合了 DeepSeek-V2-Chat 和 DeepSeek-Coder-V2-Instruct 的功能。这个新模型整合了两个先前版本的通用和编程能力，更好地符合人类的偏好，并在写作和指令遵循等多个方面进行了优化。

情商智商俱佳的多模态大模型

西湖大模型是心辰智能云推出的一款具有高情商和智商的多模态大模型，它能够处理包括文本、图像、声音等多种数据类型，为用户提供智能对话、写作、绘画、语音等AI服务。该模型通过先进的人工智能算法，能够理解和生成自然语言，适用于多种场景，如心理咨询、内容创作、客户服务等，具有高度的定制性和灵活性。西湖大模型的推出，标志着心辰智能云在AI领域的技术实力和创新能力，为用户提供了更加丰富和高效的智能服务体验。

沟通无界，让每次对话都创造价值。

心辰Lingo语音大模型是一款先进的人工智能语音模型，专注于提供高效、准确的语音识别和处理服务。它能够理解并处理自然语言，使得人机交互更加流畅和自然。该模型背后依托西湖心辰强大的AI技术，致力于在各种场景下提供高质量的语音交互体验。

将AI生成文本转化为自然流畅的人类语言。

Humanizar Texto IA 是一款基于人工智能的文本优化工具，旨在将由AI生成的文本转化为更自然、更符合人类语言习惯的文本。该工具使用先进的算法，如基于GPT-3和自然语言处理技术，来改善文本的语法、风格、语调和连贯性。它不仅提高了文本的质量，还有助于用户避免被AI检测工具如ChatGPT Zero识别。Humanizar Texto IA 工具的主要优点包括提升文本质量、降低成本、全天候可用性和保障隐私。

世界顶尖的开源大型语言模型

Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型（LLM），采用名为 Reflection-Tuning 的新技术进行训练，使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练，这些数据由 Glaive 生成。对于正在训练模型的用户来说，Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式，通过特殊的标签来区分模型的内部思考和最终答案，从而提升用户体验。

通过对话访问数据库的强大工具

Basejump AI是一个通过自然语言处理技术使数据库查询变得简单的平台。它允许用户通过日常语言与数据库进行交互，从而快速获取所需数据，无需编写复杂的SQL查询。这种技术对于提高工作效率、减少数据分析师的工作负担以及使决策更加数据驱动具有重要意义。Basejump AI提供了多种功能，包括实时数据访问、数据点的可视化、数据集合的创建和数据准确性的比较等。它适用于需要快速数据访问的各种行业，如医疗保健、人力资源、软件开发等。产品提供多种定价计划，包括免费试用和不同规模的企业方案。

高效开源的大型语言模型

OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型（LLM），于2024年9月发布。该模型在成本相似的模型中表现卓越，与更大的模型如Llama2-13B竞争。OLMoE完全开源，支持多种功能，包括文本生成、模型训练和部署等。