Stability AI与VAST推出快速将单图转3D模型

AIINNEWS 2024-03-07 08:10:00 99

稳定性AI与国内3D生成模型公司VAST宣布了一项引人注目的合作,联手推出了TripoSR——一款快速的3D物体重建模型,并开源发布。TripoSR是一款受到LRM启发的人工智能模型,专注于视觉内容生成,满足娱乐、游戏、工业设计和建筑等领域不断增长的需求。

该模型具备在极短时间内从单张图像生成高质量3D模型的能力,即使在无GPU的情况下也能运行。在经过英伟达A100的严格测试后,TripoSR表现出色,能够在约0.5秒内生成草稿质量的3D输出,带有纹理网格,明显领先于其他开源图像转3D模型工具,如OpenLRM。为了支持广泛的使用,Stability AI根据MIT许可提供了TripoSR模型的权重和源代码,供商业、个人和研究用途自由下载。

在模型的训练过程中,Stability AI采用了多种数据渲染技术,提高了模型的泛化能力。通过精心设计更高质量的Objaverse数据集子集训练数据,TripoSR更接近复制现实世界中的图像分布,进一步提升了泛化性能。此外,模型经过通道数优化、掩模监控和更高效的裁剪渲染策略的多项技术改进,性能更为出色。

TripoSR的发布是Stability AI和VAST合作的成果,为用户提供了高效、快速且质量优越的3D物体重建解决方案,将在不同领域展现广泛的应用潜力。

项目地址:

https://github.com/VAST-AI-Research/TripoSR

技术报告:

https://stability.ai/s/TripoSR_report.pdf

相关资讯
最新资讯
最新问答
Rabbit宣布与AI搜索引擎Perplexity合作

Rabbit宣布与AI搜索引擎Perplexity合作

AI硬件创企Rabbit今天在社交平台X宣布与AI搜索引擎Perplexity合作,利用后者的技术增强Rabbit OS的自然语言搜索功能,为所有AI硬件R1用户提供支持。Rabbit还宣布R1第6批预售即将开始,共5万台,前5批5万台已售罄。在rabbit,我们始终在寻找顶级的人工智能服务和合作伙伴,以帮助我们的用户快速准确地完成任务。因此,我们很高兴宣布我们与@perplexity_ai的合作,以增强rabbit OS的自然语言搜索功能。Perplexity,与其他领先的LLM一起,将在幕后为所有r1用户工作。
2024-01-22 14:32:47 96
文生图大模型Stable Diffusion 3论文发布

文生图大模型Stable Diffusion 3论文发布

稳定扩散3技术发布:Stability AI引领文本-图像生成创新在最新的技术突破中,Stability AI发布了其引领文本-图像生成领域的最新力作——稳定扩散3。本次发布的研究论文详细揭示了支持这一技术创新的底层技术细节。稳定扩散3的表现超越了同类文本到图像生成系统,例如DALL·E 3、Midjourney v6和Ideogram v1,尤其在排版和提示依从性方面,通过人类偏好评估取得了显著的优势。Stability AI采用了全新的Multimodal Diffusion Transformer(MMDiT)架构,为图像和语言表示分别使用了独立的权重集合,从而在文本理解和拼写能力方面迈出了坚实的一步。在早前宣布稳定扩散3早期预览后,如今Stability AI发布了详细的研究论文,该论文将很快在arXiv上公开,并邀请各界人士加入等待列表,参与到这一技术的早期预览中。性能卓越以稳定扩散3为基准,Stability AI通过人类评估制作了一份详细的图表,清晰地展示了该技术在视觉美学、提示遵循和排版等方面相对竞品的优势。通过与其他开源和封闭系统进行对比,稳定扩散3在“提示遵循”、“排版”和“视觉美学”等方面均取得了出色的表现。技术创新解析为了实现文本到图像的生成,Stability AI采用了MMDiT架构,该架构能够处理文本和图像的多种模态。独立的权重集合为文本和图像表示赋能,提高了整体理解和生成能力。灵活性与性能的完美融合稳定扩散3不仅在提示遵循方面取得了显著进展,使得模型能够创造关注各种主题和品质的图像,同时保持图像风格的高度灵活性。技术细节深挖通过采用修正流(RF)公式,稳定扩散3实现了数据和噪声在线性轨迹上的连接,从而创造了更为直线的推断路径,减少了采样步骤。同时,引入新的轨迹采样计划,更加注重轨迹中部分的权重,提高了模型对更具挑战性的预测任务的适应能力。未来发展的趋势通过对文本到图像合成的缩放研究,Stability AI展示了对模型规模和训练步骤的灵活适应性。验证损失的平滑下降趋势与自动图像对齐度量(GenEval)和人类偏好评分(ELO)之间呈现出强烈的相关性,预示着未来模型性能的不断提升。Stability AI的稳定扩散3技术的发布标志着文本-图像生成领域的一次创新飞跃。通过独特的技术架构和性能卓越,Stability AI展示了其在人工智能领域的引领地位。随着更多的应用场景的探索,我们有理由期待,Stability AI将在未来为人工智能技术带来更多令人振奋的突破。论文地址:https://stabilityai-public-packages.s3.us-west-2.amazonaws.com/Stable+Diffusion+3+Paper.pdf
2024-03-07 08:05:00 82
小米推出AISP的AI大模型计算摄影平台

小米推出AISP的AI大模型计算摄影平台

全新巨星,小米14 Ultra,彰显其在激烈的AI科技竞技场中的独领风骚。其引领手机影像革命的先锋地位不可撼动,通过颠覆性的AI大模型计算摄影平台Xiaomi AISP,再次将用户的影像体验推向全新高度。这一伟大创举不仅仅是小米在2022年确立的「超越人眼、感知人心」人文影像理念的集大成,更是与传奇徕卡联袂合作的结晶。小米14 Ultra搭载的Xiaomi AISP平台,实现了CPU、GPU、NPU和ISP算力的全面整合,震撼世界的计算能力高达60TOPS,为用户带来了「超级抓拍」和「超级底片」的震撼效果,彰显了其在计算摄影领域的卓越地位。四大独立引擎模块的融合,包括光学、影调、色彩、人像,完美支持AI大模型,使小米14 Ultra在30倍以上的变焦拍摄时,能够通过AI大模型对光学数据进行精准重绘,细节之美得以全面呈现,让用户感受前所未有的影像细腻。小米14 Ultra还引领了电池技术的进步,搭载创新的小米金沙江电池,其能量密度高达779Wh/L,硅含量更创行业最高的6%,在缩小8%体积的同时,实现了1.58天的DOU续航。通信方面,小米14 Ultra更是配备了小米双向卫星通信系统,以应对用户在紧急情况下的通信需求,支持极限续航和SOS紧急求助模式,为用户提供了在低电、触屏失灵等紧急情况下通过卫星通信发起求助的强大功能。而制胜之道不仅仅体现在硬件技术上,小米14 Ultra的生产工厂更是彰显了小米的自主研发实力。这座小米手机智能工厂年产能高达千万台,其组测包装设备自研率达到了惊人的96.8%,整体工厂软件系统自研率更是达到了100%。这无疑是小米对科技生产领域的强势进军,为其全球生态系统的全面发展描绘了一幅光辉的未来图景。卢伟冰宣布,2024年将是小米「人车家全生态」全面展开之年,小米全球可连接设备数已经达到了8.23亿。小米14 Ultra的问世,不仅是一部革命性的智能手机,更是小米科技生态发展的里程碑,标志着小米在科技领域取得新的巅峰。
2024-02-27 08:00:00 85
“两会”代表委员谈AI大模型

“两会”代表委员谈AI大模型

从ChatGPT到Sora,以大模型为代表的人工智能浪潮席卷全球。伴随着人才、数据、算力的不断跃级,以大模型为代表的人工智能产业正展现出巨大的潜力和应用前景,正在或将在多个领域发挥重要作用。在今年的全国两会上,代表委员们已就人工智能、大模型的话题展开热议,并带来了富有前瞻性和洞察力的建议。趋势全国政协委员、中国移动党组书记、董事长杨杰:全面推进“AI+”行动 加快形成新质生产力当前,AI大模型取得实质性突破、加速迈入规模应用的新阶段,推动人工智能从助力千行百业提质增效的辅助手段,升级为支撑经济社会转型升级不可或缺的基础设施和核心能力,加快从“+AI”向“AI+”转变。全国人大代表、小米集团董事长雷军:应支持AI与制造业深度融合建议主管部门尽快出台专项政策,以智能制造系统软件、AI大模型和通用仿生机器人的部署应用为重点产业突破方向,支持打造以大模型为代表的人工智能与制造业深度融合的应用场景。建议鼓励智能制造领域企业,特别是龙头企业牵头打造智能制造的实践和示范样点,建设示范性工厂和生产线,探索未来制造模式和企业形态;继续鼓励产学研用深度融合,引导科研机构和高校协同企业,共同投入智能制造标准、规范制定。全国政协委员、360集团创始人周鸿祎:AI上的差距应该能在一两年内追上过去两年中国企业在通用大模型领域追赶得不错,2024年应该会是中国AI的“应用之年”,在许多企业层面的垂直领域,大模型将大有可为。尽管在AI方面,国内入局者与国际领先公司还存在差距,但中国企业学习能力强,AI上的差距应该能在一两年内追上。周鸿祎建议政府和央国企率先提供更多应用场景,专注于“小切口,大纵深”,以推动大模型在垂直领域的实际应用和产业化落地。他认为,企业在采用大模型时要谨慎行事,避免冒进,应该逐步运用人工智能改造业务,循序渐进,通过积小胜为大胜。应用全国政协委员、天娱数科副总经理贺晗:加快拓展人工智能大模型技术应用场景作为新一轮科技革命和产业变革的重要驱动力,人工智能大模型技术正在为经济社会发展持续注入新动能。加快拓展人工智能大模型技术应用场景,对促进人工智能更高水平应用,培育新质生产力,更好支撑高质量发展具有重要意义。应鼓励搭建多层次应用场景供需对接平台,为市场提供“看得见、摸得着”的应用场景,推动应用场景拓展从“出文件”“给政策”向“建机制”“创机会”转变。全国政协委员、上海市竞技体育训练管理中心射击射箭运动中心主任陶璐娜:推动人工智能在“冠军模型”场景应用在我国竞技体育领域,“冠军模型”与人工智能和大数据的结合应用,尚处于探索和试验阶段。为此,陶璐娜建议,加快推动人工智能和大数据技术在“冠军模型”的更多场景应用,进一步开辟竞技体育与科技创新融合发展的新赛道,打造竞技体育全面发展的新动能新优势。全国人大代表、无锡灵山拈花文旅董事长吴国平:建议加快大模型在文旅行业中的应用ChatGPT等问世后正深刻地改变着每一个行业,文旅行业具有市场规模大、应用场景多的特点,呼吁国家有关部门要加大指导力度,鼓励有条件的文旅类企业创新研发,进行产业基础再造、产业链提升及应用赋能。多地旅游业的爆火都昭示着文旅行业成为人民美好生活的重要组成部分。让游客能更加主动参与互动体验,从物质到精神有更好的情绪满足。监管全国政协委员、民建福建省委员会主席吴志明:建议强化我国主要超级平台反垄断监管大部分头部平台企业在市场竞争中逐渐占据优势地位后,将市场资源加速向自身集中,导致平台经济从多元竞争过渡到少数巨头主导的局面。所以,要制定公平的利润分配政策。加强互联网平台监管,引导平台设立公平的利润分配政策,确保各方利益得到平等对待。要建立健全平台权力约束机制。加强对平台经济的反垄断监管力度,从事后监管向事前事中监管转变。要提升反不正当竞争、反垄断执法能力。建立、完善“双反”执法体系和合作机制,形成执法合力。全国人大代表、南昌大学元宇宙研究院院长闵卫东:建立数字之“盾” 拉紧人工智能的“缰绳”在人工智能飞速发展的同时,也要建立起相应的数字之“盾”,拉紧人工智能的“缰绳”。闵卫东认为,目前部分AIGC的内容无法用肉眼识别是虚拟还是现实,就应在数字技术层面加快识别AIGC内容的研究,能够作出智能判断,防范相应的风险。闵卫东还认为,元宇宙、虚拟现实、人工智能等作为一种新质生产力,也将很好赋能地方经济发展,建议部分地区应把握住未来产业的风口以实现跨越式发展。全国政协委员,知乎创始人、CEO周源:对大模型的数据采集进行监督和审查尽管我国在大模型领域取得了一定的成就,但仍面临着一些挑战,其中最显著的问题之一是高质量中文语料资源的短缺。随着大模型技术的深度发展,建议相关政府部门和监管机构针对数据合规应建立相应的监管机制,推动完善AIGC监管立法,保护和规范人工智能领域的数据合规。对大模型的数据采集来源、处理方法、合规性等进行监督和审查。此外,应加强对大模型的社会影响和风险评估,及时发现和解决可能存在的问题,同时要加强数据安全和知识产权的保护措施和加快高质量中文数据集的开发与利用。(本文转载自北京商报,如有侵权请联系删除)
2024-03-07 08:20:00 126
OpenAI正式推出GPT商店

OpenAI正式推出GPT商店

OpenAI于当地时间周三在其官网上宣布了GPT商店和ChatGPT团队订阅服务的正式推出。对于GPT商店,OpenAI在官网表示,该商店将帮助用户发现实用和流行的个性化ChatGPT,面向ChatGPT Plus、团队和企业用户。该商店计划于去年11月6日宣布,但由于管理层变动,CEO萨姆·奥特曼的解雇引发了员工和投资者的不满。董事会的改组和奥特曼的回归对一些计划产生了影响。据OpenAI在其官网公布的消息,已有大量个性化ChatGPT供用户使用。自两个月前宣布GPT商店计划以来,用户已创建了超过300万个个性化的ChatGPT,并积极分享给其他用户使用。GPT商店的推出使用户可以分享和发现实用且流行的ChatGPT,无需编码技能即可轻松创建个性化的GPT。然而,OpenAI在官网上也强调,用户创建的个性化GPT必须符合相关规定,并需要根据最新的使用政策和GPT品牌指南进行评估。为确保符合规定,OpenAI在现有产品的安全措施之外,还构建了一套新的评估系统,包括人工审查和自动审查。OpenAI表示,未来向GPT商店提供个性化ChatGPT的开发者将能够获得相应的收入。在一季度,将启动GPT开发者收入计划,首先将美国的开发者按用户参与度获得报酬,并提供相关标准和细节。与GPT商店同时推出的还有“ChatGPT团队”订阅服务,类似于去年8月推出的ChatGPT企业版。与企业版面向规模较大的公司不同,“ChatGPT团队”是一项适用于任何规模团队的计划,月付费为30美元,年付费为25美元,高于ChatGPT Plus每月20美元的价格。“ChatGPT团队”旨在提供安全、协作的工作空间,以充分利用ChatGPT。订阅该服务的用户可以访问OpenAI的GPT-4、DALL-E 3等先进模型,并使用先进的数据分析工具。与ChatGPT企业版一样,“ChatGPT团队”的用户将拥有和控制其业务数据,OpenAI明确表示不会将相关数据用于训练和对话,模型也不会在用户使用过程中学习。
2024-01-11 11:32:04 191
社群
人工智能学堂 加入
扫描二维码
Glen 加入
扫描二维码