32K上下文,Mistral 7B v0.2 基模型开源了

32K上下文,Mistral 7B v0.2 基模型开源了

刚刚,Mistral AI 的模型又更新了。这次开源一如既往地「突然」,是在一个叫做 Cerebral Valley 的黑客松活动上公布的。PPT 一翻页,全场都举起了手机拍照:这次开源的 Mistral 7B v0.2 Base Model ,是 Mistral-7B-Instruct-v0.2 背后的原始预训练模型,后者属于该公司的「Mistral Tiny」系列。此次更新主要包括三个方面:将 8K 上下文提到了 32K;Rope Theta = 1e6;取消滑动窗口。下载链接:https://models.mistralcdn.com/mistral-7b-v0-2/mistral-7B-v0.2.tar更新之后的性能对比是这样的:场外观众迅速跟进。有人评价说:「Mistral 7B 已经是同尺寸级别中最好的模型,这次改进是一个巨大的进步。 我将尽快在这个模型上重新训练当前的许多微调。」Mistral AI 的第一个 7B 模型发布于 2023 年 9 月,在多个基准测试中实现了优于 Llama 2 13B 的好成绩,让 Mistral AI 一下子就打出了知名度。这也导致目前很多开源大模型都已不再对标 Llama 2,而是将 Mistral AI 旗下的各系列模型作为直接竞争对手。而 Mistral 7B v0.2 Base Model 对应的指令调优版本 Mistral-7B-Instruct-v0.2 在 2023 年 12 月就已开放测试,据官方博客介绍,该模型仅适用于英语,在 MT-Bench 上能够获得 7.6 分的成绩,逊于 GPT-3.5。此次开放基础模型之后,开发者们就可以根据自己的需求对这个「当前最好的 7B 模型」进行微调了。不过,7B 模型只能算是 Mistral AI 众多惊艳成果中的一项。这家公司的长远目标是对标 OpenAI。上个月底,Mistral AI 正式发布了「旗舰级」大模型 Mistral Large。与此前的一系列模型不同,这一版本性能更强,体量更大,直接对标 OpenAI 的 GPT-4。随着 Mistral Large 上线,Mistral AI 推出了名为 Le Chat 的聊天助手,也实现了对标 ChatGPT。而新模型的发布,也伴随着公司大方向的一次转型。人们发现, Mistral Large 并不是一个开源大模型 —— 有跑分、 API 和应用,就是不像往常一样有 GitHub 或是下载链接。与 Mistral Large 发布同时发生的,是 Mistral AI 与微软达成了长期合作的协议,不仅会将 Mistral Large 引入 Azure,还收获了微软 1600 万美元的投资。Mistral AI 对路透社表示,作为交易的一部分,微软将持有该公司少数股权,但未透露细节。未来,二者的合作主要集中在三个核心领域:超算基础设施:微软将通过 Azure AI 超级计算基础设施支持 Mistral AI ,为 Mistral AI 旗舰模型的 AI 训练和推理工作负载提供一流的性能和规模;市场推广:微软和 Mistral AI 将通过 Azure AI Studio 和 Azure 机器学习模型目录中的模型即服务(MaaS)向客户提供 Mistral AI 的高级模型。除 OpenAI 模型外,模型目录还提供了多种开源和商业模型。人工智能研发:微软和 Mistral AI 将探索为特定客户训练特定目的模型的合作。当被问及公司是否正在改变其开源商业模式时,Mistral AI 联合创始人 Arthur Mensch 在采访中表示:「我们从开源模式开始,任何人都可以免费部署,因为这是广泛分发它们并创造需求的一种方式。但从一开始,我们就提供了一种具有优化模型的商业模式,这让使该公司能够为模型开发所需的昂贵研究提供资金。」(本文来源公众号:机器之心,如有侵权请联系删除)
2024-03-25 08:08:00 122
腾讯:发布自研游戏AI引擎GiiNEX

腾讯:发布自研游戏AI引擎GiiNEX

腾讯在2024年全球游戏开发者大会(GDC)上正式揭晓了其自研的GiiNEX游戏AI引擎,这一里程碑式的创新举措,标志着游戏开发领域迈向了一个全新的智能时代。GiiNEX的发布,不仅彰显了腾讯在游戏AI技术领域的深厚积淀,更预示着游戏产业与人工智能技术的深度融合将带来前所未有的变革。GiiNEX游戏AI引擎的核心在于其强大的生成式AI和决策AI技术。通过这两项技术的结合,GiiNEX为游戏开发者提供了前所未有的AIGC(人工智能生成内容)能力。在内容生成方面,GiiNEX支持从AI NPC、场景制作到剧情、对话、关卡和音乐的全方位内容生成,极大地提升了游戏内容的丰富性和多样性。特别值得一提的是,GiiNEX在游戏3D城市生成方面的创新应用。通过其城市布局工具,开发者能够在极短的时间内构建出庞大而逼真的城市环境。相较于传统方法,GiiNEX的效率提升了百倍之多,使得游戏开发者能够更加专注于游戏设计和玩法创新,而非耗费大量时间在繁琐的场景制作上。除了内容生成,GiiNEX在决策AI技术上也取得了显著进展。通过实时对局分析、人机指令交互等功能,GiiNEX能够为玩家提供精准的操作指南和战术建议。这一技术的应用,不仅有助于提升玩家的游戏体验,更能够推动游戏玩法和策略的深化,使得游戏更具挑战性和趣味性。GiiNEX的成功发布,得益于腾讯在游戏AI领域的持续投入和深入研究。该引擎集成了前沿算法模型、高效训练平台和在线推理引擎三大核心,确保了其在游戏开发全生命周期中的高效运行和稳定支持。同时,基于强化学习、自然语言处理等AI基础研究能力,GiiNEX构建了统一算法底层模型,使得其能够支持多种游戏类型,满足不同玩家的需求。展望未来,随着GiiNEX的持续拓展游戏AI解决方案,我们有理由相信,游戏与人工智能的融合将会进一步加深。这一融合将不仅局限于内容生成和决策支持,更将渗透到游戏设计、玩家互动、运营管理等各个环节。在GiiNEX的引领下,游戏世界将会变得更加真实、生动和富有想象力,为玩家带来前所未有的沉浸式体验。同时,GiiNEX的成功也将推动整个游戏行业的创新和发展。它将激发更多游戏开发者探索新的游戏玩法和设计理念,推动游戏产业的持续进步。而对于玩家来说,GiiNEX将带来更加丰富、多样化和个性化的游戏体验,使得游戏不仅是一种娱乐方式,更成为一种文化和生活方式。腾讯自研的GiiNEX游戏AI引擎的发布是游戏开发领域的一次重大突破和创新。它不仅为游戏开发者提供了强大的技术支持和内容生成能力,更将推动整个游戏行业的进步和发展。我们有理由期待,在GiiNEX的引领下,游戏世界将会迎来更加美好的未来。
2024-03-25 08:15:00 71
社群
人工智能学堂 加入
扫描二维码
Glen 加入
扫描二维码