零一万物:开源Yi-9B模型

AIINNEWS 2024-03-08 08:00:00 90

零一万物公司最新发布的开源大模型Yi-9B在人工智能领域引起了广泛关注。被冠以“理科状元”之名的Yi-9B在其开源声明中强调了其出众的代码和数学能力,自豪地宣称在这两个领域超越了大多数竞争对手,位列排行榜第二。

这一消息是在零一万物宣布Yi-9B模型开源的同时发布的。该模型具有巨大的8.8B参数和默认的4K tokens上下文长度。据公司公布的数据显示,Yi-9B在综合能力(Mean-All)方面表现卓越,超越了DeepSeek-Coder、DeepSeek-Math、Mistral-7B、SOLAR-10.7B和Gemma-7B。在代码能力(Mean-Code)方面,Yi-9B仅次于DeepSeek-Coder-7B,胜过了Yi-34B、SOLAR-10.7B、Mistral-7B和Gemma-7B。在数学能力(Mean-Math)方面,Yi-9B仅次于DeepSeek-Math-7B,胜过了SOLAR-10.7B、Mistral-7B和Gemma-7B。此外,在常识和推理能力(Mean-Text)方面,Yi-9B的表现与Mistral-7B、SOLAR-10.7B和Gemma-7B持平。

Yi-9B的开源发布以其卓越的性能和全面的能力而备受瞩目,为人工智能领域的发展贡献了一份重要的力量。

模型地址:

https://github.com/01-ai/Yi

相关资讯
最新资讯
最新问答
零一万物:Yi-VL多模态语言模型上线

零一万物:Yi-VL多模态语言模型上线

零一万物Yi系列模型家族最新迎来了备受期待的成员,Yi Vision Language(Yi-VL)多模态语言大模型正式开源,标志着零一万物在人工智能领域迈出了令人瞩目的一步。该模型以先进的Yi语言模型为基础,分为Yi-VL-34B和Yi-VL-6B两个版本,在全球范围内的多模态基准测试MMMU中取得卓越成绩,展现出在复杂任务上的引人注目的实力。MMMU数据集包含来自艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程六大核心学科的11500个问题,Yi-VL-34B以41.6%的准确率成功超越多个竞争对手,仅次于GPT-4V(55.7%)。这表明Yi-VL模型在跨学科知识理解和应用方面具备强大的潜力。而在针对中文场景的CMMMU数据集上,Yi-VL模型同样表现出色,展现了对中文多模态问题的独特优势。在这个包含大学考试、测验和教科书中文问题的测试集中,Yi-VL-34B以36.5%的准确率领先于当前最前沿的开源多模态模型,仅次于GPT-4V(43.7%)。Yi-VL模型的核心优势之一在于其基于Yi语言模型的强大文本理解能力。通过对图片进行对齐,该模型展现出卓越的多模态视觉语言表现,为用户提供更为丰富的体验。在架构设计上,Yi-VL模型采用了开源LLaVA架构,包括三个主要模块:Vision Transformer(ViT)、Projection模块以及Yi-34B-Chat和Yi-6B-Chat大规模语言模型。这些模块协同工作,为Yi-VL提供了处理和理解图像、文本信息的强大能力,从而提高了多模态理解和生成的准确度。Yi-VL模型的训练过程经过三个精心设计的阶段,包括使用1亿张“图像-文本”配对数据集训练ViT和Projection模块,提升图像分辨率以识别复杂的视觉细节,并最终开放整个模型的参数进行训练,以提高模型在多模态聊天互动中的表现。零一万物技术团队强调,Yi系列模型不仅可以作为多模态模型的基座语言模型,还可以通过其他多模态训练方法,如BLIP、Flamingo、EVA等,快速训练出能够进行高效图像理解和流畅图文对话的多模态图文模型。目前,Yi-VL模型已在Hugging Face、ModelScope等平台上向公众开放,用户可通过链接亲身体验这一强大模型在图文对话等多元场景中的卓越表现。欢迎深入探索Yi-VL多模态语言模型的功能,感受前沿人工智能技术的魅力!Hugging Face地址:https://huggingface.co/01-aiModelScope 地址:https://www.modelscope.cn/organization/01ai
2024-01-24 08:08:29 87
上海AI实验室:开源发布书生·浦语数学大模型

上海AI实验室:开源发布书生·浦语数学大模型

上海人工智能实验室(上海AI实验室)最近发布了新一代数学模型书生·浦语数学(InternLM2-Math)。这是一项具有创新性的开源项目,InternLM2-Math成为首个同时支持形式化数学语言及解题过程评价的模型。基于书生·浦语2.0(InternLM2)的强大基础能力,InternLM2-Math以中轻量级参数规模在多项数学评测中刷新了开源模型数学能力的上限。与传统数学大模型应用相比,InternLM2-Math不仅具备“解题”能力,更能够进行“判题”。这一突破意味着该模型将为数学基础研究和教学提供更为优质的应用基础,超越了以往的局限。InternLM2-Math的代码和模型完全开源,同时支持免费商用,秉持“以高质量开源赋能创新”的理念。这一次发布的数学模型不仅仅关乎技术社区,更在全球数学大模型领域引起瞩目。数学能力一直是衡量大语言模型推理水平的重要体现。最近,谷歌 DeepMind 利用AI数学模型AlphaGeometry成功解答几何问题,其水平已经接近人类奥林匹克金牌得主,引起了广泛关注。虽然全球数学大模型领域研究取得了显著进展,但与顶尖人类水平相比仍存在一定差距。上海AI实验室将继续秉持开源开放理念,与全球研究人员合作,共同探索提升语言模型数学推理能力的路径。InternLM2-Math以其强大的内生计算和推理能力为技术社区提供了一种创新的数学工具和模型范式,为数学领域的发展注入了新的活力。开源地址:https://github.com/InternLM/InternLM-Mathhttps://huggingface.co/internlmhttps://modelscope.cn/organization/Shanghai_AI_Laboratory
2024-01-26 14:34:20 108
出门问问:开源“序列猴子开源数据集1.0”

出门问问:开源“序列猴子开源数据集1.0”

近期,出门问问宣布释放知名语言模型“序列猴子”的一部分训练数据,推出了“序列猴子开源数据集1.0”。该数据集涵盖了中文通用文本语料、古诗今译语料和文本生成语料,跨足科技、历史、文学、娱乐等多个领域,为中文语言模型的研究提供了丰富的资源。“序列猴子”是出门问问的核心技术之一,具备强大的通用表示和推理能力,在问答系统、自然语言处理、机器翻译、文本摘要等领域表现出色,显著提升了生产效率和数据处理能力。公司决定开源部分训练数据,旨在促进大语言模型技术的进步。这一开源举措受到业界的积极回应。业内专家表示,此举不仅有助于推动中文语言模型的研究与发展,还将促进人工智能产业的创新与进步。由于中文语言模型领域起步较晚,数据资源匮乏,这次开源将为研究者提供高质量的数据支持,有望为中文语言模型的发展注入新的活力。出门问问表示,发布“序列猴子开源数据集1.0”是为了吸引更多人才和团队参与大语言模型的研究与应用。公司采用宽松的许可协议,为开发者和研究人员提供便利的使用条件,希望通过开源数据集的发布促进学术交流与合作,推动相关领域的创新步伐。在人工智能技术持续发展的大背景下,出门问问表示将持续加大在自然语言处理领域的投入,为中文语言模型的研究与发展做出贡献。公司还计划与国内外同行展开合作,推动人工智能技术在全球范围内的创新与应用。业内广泛认为,随着更多优秀数据集和模型的涌现,中文语言模型有望在更多领域实现广泛应用,为用户提供更加智能、便捷的服务。GitHub链接:https://github.com/mobvoi/seq-monkey-data
2024-02-28 08:00:00 74
机器学习模型

机器学习模型

一、引言随着科技的不断发展,机器学习已成为人工智能领域中最热门的话题之一。机器学习模型能够从大量数据中自动提取有用的信息,为各种应用场景提供决策支持。本文将带领读者从理论到实践,探索机器学习模型的奥秘。二、机器学习基础理论1. 机器学习的定义:机器学习是一种通过让计算机自动从数据中学习规律和模式,从而实现对未知数据的预测和分类的技术。2. 机器学习的主要算法:包括有监督学习、无监督学习、半监督学习和强化学习等。每种算法都有其适用的场景和优缺点,需要根据具体问题选择合适的算法。3. 机器学习模型的应用领域:包括图像识别、语音识别、自然语言处理、推荐系统、医疗诊断、金融风控等。这些领域都需要机器学习模型来提高效率和准确性。三、实践案例分析1. 图像识别:使用卷积神经网络(CNN)进行图像分类和目标检测。通过大量训练数据,模型能够自动识别图像中的物体,并给出分类结果。2. 语音识别:使用语音识别技术将人类语音转化为文本。通过训练数据,模型能够识别语音中的词汇和语法结构,从而实现语音到文本的转换。3. 推荐系统:使用协同过滤或深度学习算法对用户进行个性化推荐。通过对用户历史数据进行分析,模型能够预测用户兴趣,从而实现精准推荐。四、如何构建机器学习模型1. 数据收集和处理:数据是机器学习的基石,需要确保数据的准确性和完整性。在进行数据预处理时,需要进行数据清洗、缺失值填补、异常值处理等工作。2. 特征选择和提取:选择与目标变量相关的特征,可以提高模型的准确性和泛化能力。常用的特征选择方法包括相关性分析、主成分分析(PCA)等。3. 模型训练和优化:根据所选算法和模型结构,使用训练数据进行模型训练。在训练过程中,需要不断调整超参数以优化模型性能。4. 模型评估和调整:使用测试数据对模型进行评估,并根据评估结果对模型进行调整和优化。常用的评估指标包括准确率、召回率、AUC值等。五、结论机器学习模型在各个领域的应用越来越广泛,为人类带来了巨大的便利和价值。通过本文的介绍,读者可以对机器学习有一个全面的了解,并了解如何构建和应用机器学习模型来解决实际问题。然而,机器学习仍面临着许多挑战和难题,如过拟合、解释性等问题,需要更多的研究和探索。随着技术的不断发展,我们有理由相信机器学习的未来将更加美好。
2024-02-27 14:49:28 78
32K上下文,Mistral 7B v0.2 基模型开源了

32K上下文,Mistral 7B v0.2 基模型开源了

刚刚,Mistral AI 的模型又更新了。这次开源一如既往地「突然」,是在一个叫做 Cerebral Valley 的黑客松活动上公布的。PPT 一翻页,全场都举起了手机拍照:这次开源的 Mistral 7B v0.2 Base Model ,是 Mistral-7B-Instruct-v0.2 背后的原始预训练模型,后者属于该公司的「Mistral Tiny」系列。此次更新主要包括三个方面:将 8K 上下文提到了 32K;Rope Theta = 1e6;取消滑动窗口。下载链接:https://models.mistralcdn.com/mistral-7b-v0-2/mistral-7B-v0.2.tar更新之后的性能对比是这样的:场外观众迅速跟进。有人评价说:「Mistral 7B 已经是同尺寸级别中最好的模型,这次改进是一个巨大的进步。 我将尽快在这个模型上重新训练当前的许多微调。」Mistral AI 的第一个 7B 模型发布于 2023 年 9 月,在多个基准测试中实现了优于 Llama 2 13B 的好成绩,让 Mistral AI 一下子就打出了知名度。这也导致目前很多开源大模型都已不再对标 Llama 2,而是将 Mistral AI 旗下的各系列模型作为直接竞争对手。而 Mistral 7B v0.2 Base Model 对应的指令调优版本 Mistral-7B-Instruct-v0.2 在 2023 年 12 月就已开放测试,据官方博客介绍,该模型仅适用于英语,在 MT-Bench 上能够获得 7.6 分的成绩,逊于 GPT-3.5。此次开放基础模型之后,开发者们就可以根据自己的需求对这个「当前最好的 7B 模型」进行微调了。不过,7B 模型只能算是 Mistral AI 众多惊艳成果中的一项。这家公司的长远目标是对标 OpenAI。上个月底,Mistral AI 正式发布了「旗舰级」大模型 Mistral Large。与此前的一系列模型不同,这一版本性能更强,体量更大,直接对标 OpenAI 的 GPT-4。随着 Mistral Large 上线,Mistral AI 推出了名为 Le Chat 的聊天助手,也实现了对标 ChatGPT。而新模型的发布,也伴随着公司大方向的一次转型。人们发现, Mistral Large 并不是一个开源大模型 —— 有跑分、 API 和应用,就是不像往常一样有 GitHub 或是下载链接。与 Mistral Large 发布同时发生的,是 Mistral AI 与微软达成了长期合作的协议,不仅会将 Mistral Large 引入 Azure,还收获了微软 1600 万美元的投资。Mistral AI 对路透社表示,作为交易的一部分,微软将持有该公司少数股权,但未透露细节。未来,二者的合作主要集中在三个核心领域:超算基础设施:微软将通过 Azure AI 超级计算基础设施支持 Mistral AI ,为 Mistral AI 旗舰模型的 AI 训练和推理工作负载提供一流的性能和规模;市场推广:微软和 Mistral AI 将通过 Azure AI Studio 和 Azure 机器学习模型目录中的模型即服务(MaaS)向客户提供 Mistral AI 的高级模型。除 OpenAI 模型外,模型目录还提供了多种开源和商业模型。人工智能研发:微软和 Mistral AI 将探索为特定客户训练特定目的模型的合作。当被问及公司是否正在改变其开源商业模式时,Mistral AI 联合创始人 Arthur Mensch 在采访中表示:「我们从开源模式开始,任何人都可以免费部署,因为这是广泛分发它们并创造需求的一种方式。但从一开始,我们就提供了一种具有优化模型的商业模式,这让使该公司能够为模型开发所需的昂贵研究提供资金。」(本文来源公众号:机器之心,如有侵权请联系删除)
2024-03-25 08:08:00 122
社群
人工智能学堂 加入
扫描二维码
Glen 加入
扫描二维码