小米大模型上线新模式 推理速度突破1000 tokens/s
6月8日晚,小米型上线新小米MiMo技术团队正式上线Xiaomi MiMo-V2.5-Pro-UltraSpeed模式,大模在通用GPU上推理速度突破1000 tokens/s。模式
MiMo-V2.5-Pro-UltraSpeed通过对模型推理系统的推理突破全链路工程能力优化,在不降低模型能力前提下,速度首次把推理速度提升至1000 tokens/s,小米型上线新且无需定制芯片、大模只使用通用GPU即可达成。模式这一突破打破了“快、推理突破强、速度通用 GPU无法兼得”的小米型上线新行业不可能三角。
小米MiMo技术团队表示,大模该突破是模式基于Xiaomi MiMo-V2.5 Pro的SWA架构,叠加了FP4 Experts、推理突破DFlash解码以及TileRT团队的速度执行系统Co‑design,从模型到推理引擎再到GPU执行路径进行了全链路优化。
即日起至6月23日,MiMo-V2-Pro-UltraSpeed模式将采取申请制限时开放,通过申请的用户可接入API 进行体验。
自4月底以来,小米AI在模型能力、推理成本和推理效率三个维度接连取得突破:4月23日, MiMo-V2.5-Pro在全球权威大模型测评平台Artificial Analysis上,获得综合智能指数与Agent指数全球开源模型并列第一;5月27日,Xiaomi MiMo-V2.5系列模型API因技术优化宣布最高降价99%,并同步调整Token Plan计费体系。6月8日,MiMo-V2.5-Pro-UltraSpeed以1000 tokens/s创下万亿参数旗舰模型推理速度新纪录。
- ·《英雄连3》DLC“敢战&敢毁”预告 5月15日发售
- ·焦作一幼儿园统计家长学历:变相拼爹拼妈?
- ·定期寿险种类,定期寿险分为几种
- ·亚马逊计划重返手机赛道 代号为“Transformer”
- ·玻璃机械主要包括哪几类 玻璃钻孔机使用注意事项,行业资讯
- ·卧室窗户两边书柜装修效果解析
- ·玻璃、纯碱期货明显回调 现货逆势提涨,期货知识
- ·定期寿险保额上限,定期寿险保额规划需要主要考虑因素有什么
- ·可以只买重疾险吗?哪些情况不可以买重疾险
- ·点对点、门对门 继续组织省外员工返厦返岗
- ·定额定期寿险,定额定期寿险是什么意思
- ·大学生意外险报销范围,大学生意外险报销范围有哪些
- ·拼多多紧急捐赠1000万元,驰援广西防汛救灾
- ·阶段性减免社保费政策落地 厦门20万户企业预计减负超42亿
- ·2日纪录:活塞罚球书写耻辱 大洛佩兹总得分破万
- ·中国石化福建石油与福耀集团签订战略合作框架协议,企业经营
