日均Tokens使用量超5000亿，豆包大模型怎么抓住千行百业

大模型落地，如何百公里加速？

在大模型浪潮呼啸而过的一年后，行业逐渐进入理智期。潮水退去，牌桌上的大模型玩家都需要解答一个关键问题：对于行业而言，最需要的是什么样的大模型？

答案显而易见：不再是单纯卷参数量的更大模型，而是适合应用落地，能解决真实商业世界痛点的大模型。

去年，行业共识是大模型的出现将 AI 从百公里推进到十公里、一公里——也就是通用 AI 技术的能力和解决问题的距离被无限缩短。但在 2024 年，当行业真正开始拥抱 AI，人们发现目前大模型落地仍然存在痛点——效果差、成本贵、落地难。

「易用」是提供大模型服务的云平台在过去一年竞争的焦点。近日，在上海举办的 2024 火山引擎 AI 创新巡展上，火山引擎分享了豆包大模型的最新进展，包括大模型综合能力提升 20.3%，豆包·语音合成模型、豆包·语音识别模型再升级等；以及介绍一系列平台和工具，包括扣子专业版、智能体平台 HiAgent 等，让豆包更容易在千行百业落地。

模型持续升级、压低推理成本、降低落地难度，解决了三个关键问题让豆包的调用量在过去个几月迅速增长。据火山引擎在活动上公布的最新数据，截至 2024 年 7 月，豆包大模型日均 Tokens 使用量超过 5000 亿。发布 2 个月以来，平均每家企业客户日均 Tokens 使用量增长了 22 倍。

豆包是怎么做到的？

豆包大模型持续升级，

解决千行百业落地

AI 应用的「后顾之忧」

虽然行业将 2024 年称为大模型落地元年，但市场对大模型的态度仍然较为复杂，有的企业持续观望，却不敢下场。

其中，阻碍较大的是对模型性能的怀疑，不少企业担心，大模型技术尚不成熟，与上一代的 AI 技术区别不大，业务价值不明显。

对此，豆包在过去几个月里对多个维度的模型性能进行了提升，其中提升最多的角色扮演幅度达到 38.3%，语言理解达到 33.3%，此外长文任务、数学、专业知识和代码能力也有不同幅度的提升。

豆包模型能力持续提升 | 图片来源：火山引擎

目前，大模型交互主要以陪伴和工具两种路线为主，这些多维度的更新意味着，豆包大模型可以通过这些维度的多场景覆盖，实现更多交互路线的可能性。

除了基础模型能力，豆包大模型还发布了对话式 AI 实时交互解决方案，对语音模型和流式语音合成能力进行了重点升级，主要包括：

支持实时语音通话，帮助应用快速实现用户和云端模型的实时语音交互。让对话更自然、更真实、更流畅，让大模型交互体验更强。

升级语音识别模型，升级上下文感知和多方言支持功能，进一步提升语音识别率。在多个公开测试集中，与国内公开发布的语音识别大模型相比，错误率降低了 10%-40%。

升级流式语音合成能力，实时合成让大模型能「边想边说」，更好地用在聊天陪伴、有声书合成、音视频配音、数字人播报、语音客服等场景。

在人和 AI 交互的各个使用场景里，纯文本交互有着天然的局限性，更适用于创作场景。而更自然、实时的语音交互可以作用于更多使用场景，比如手机的智能助手，直播场景的数字人，又或者是近来大火的 AI 耳机、AI 眼镜等智能终端，支持这些场景都需要大模型有更强的语音能力。

而除了模型效果外，价格也是各行各业落地大模型必须考虑的因素。2023 年之所以 ToB 落地比 ToC 更快，企业一个很现实的考虑就是：大模型应用在企业内部场景使用，成本相对可控，ROI 也能够算得过账来；但一旦推出面向 C 端的产品，不论是免费还是按月订阅收费，用户的使用量过大都有可能让经营者入不敷出。

解决这个问题的根本还是要将大模型的推理成本「打下来」。对此，火山引擎在 5 月发布豆包大模型的时候直接将推理成本打到最低，其最强模型版本：豆包通用模型 pro 在企业市场的定价只有 0.0008 元/千 Tokens，比行业便宜 99.3%。除了价格更低，豆包通用模型 pro 为客户提供了业内最高标准的初始 TPM（每分钟 Tokens）和 RPM（每分钟请求数），有助于企业的业务在高并发场景中落地。

解决了性能和成本两大痛点，但要让千行百业用起大模型，尤其是不具备强大技术团队的中小企业能用上大模型，还需要进一步简化 AI 应用落地的门槛。

对此，火山引擎推出了一系列的平台和工具，如火山方舟、扣子专业版、HiAgent、AI 全栈云等产品，帮助企业更快落地。其中，火山方舟 2.0 是火山引擎推出的一站式大模型服务平台，提供了模型精调、推理、评测等全方位功能与服务和 AI 原生应用开发服务。此外，火山方舟 2.0 还拥有丰富的插件生态，如联网插件、内容插件、RAG 知识库插件、网页解析插件、计算器插件。

为了满足用户多样化、复杂化需求，火山方舟 2.0 也带来了多款插件升级，如在联网插件方面，新增金融旅游影视生活服务电商等 27 个行业垂类数据源，拓展大模型的应用场景和功能边界。

扣子专业版帮助企业实现低代码灵活构建智能体，并通过专业级 SLA 和多种高级特性，应对企业级高并发高稳定性需求。

但还有更广大的懂场景的非技术人员，他们也需要基于大模型开发一些服务细分场景的实用工具，而智能体是最适合他们的应用形态。对此，火山引擎推出企业专属的 AI 智能体创新平台 HiAgent，让业务人员可以轻松构建智能体，让业务创新不受生产技能的限制。

有了智能体开发工具，业务人员想要利用 AI 技术解决一些场景痛点，不再需要联动技术部门或者外部咨询服务商提供开发支持，只需要利用提示词、知识库、插件等工具，像搭积木一样低代码构建智能体，就能提升应用创新的「速度」。而对企业而言，将企业级知识库 RAG 运用到智能体构建的过程中，本质上是将企业的知识萃取成经营智慧，融入进企业的工作流程，全面提升效能，并通过智能体的部署反过来积累为业务服务的 AI 资产。

以消费行业为例，HiAgent 的智能体数字员工，在企业知识库的加持下，可以回答消费者和员工的各类问题，帮助电商卖家在客服导购、营销运营等环节提升效率和服务质量。智能体员工还能成为数据中枢「管家」，指导采购、销售、企业管理等。

在云基础设施方面，火山引擎 AI 全栈云的优势则在于字节跳动的海量资源共池。随着 AI 应用和算力需求的强劲增长，大模型卷入万亿参数时代，对云基础设施提出了更高要求。作为国内少有拥有万卡集群 AI 的云服务平台，火山引擎 AI 全栈云的超大规模算力，支持万亿参数 MoE 大模型部署。

日均调用 5000 亿 Tokens，

企业如何用豆包降本增效？

在解决了性能、成本两大难题后，大模型落地实践、重塑行业不再是纸上谈兵的空话。

虽然豆包大模型率先将 AI 使用成本从「以分为单位」，干到了「以厘为单位」的时代。但现在火山引擎总裁谭待认为更重要的是相同价格下，把模型能力再往上提。凭借更强的模型能力和更易落地的全面应用层优势，豆包大模型的生态已经初具雏形。

零售大模型生态联盟正式发布 | 图片来源：火山引擎

为了繁荣模型生态，火山引擎携手零售数字化转型技术服务头部企业多点 DMALL，搭建了科技驱动的创新型零售大模型生态联盟。这也吸引了更多零售行业伙伴的加入，目前首批联盟成员单位已达 18 家。

此外，豆包大模型联合多点 DMALL，带来了一整套零售核心场景大模型解决方案，尝试用大模型能力解决零售行业的痛点。

虽然行业普遍认为，零售行业的风口，已经从连锁化、数智化，进入 Next Level——AI 零售。但行业真正关注的，仍然是大模型究竟能否解决零售行业痛点业务场景的问题，给企业带来降本、增效、提质、拉需、创利等实际价值？

要回答这个问题，我们需要先明确零售行业的痛点，零售企业在面对门店数智化转型之时，由于渠道复杂链条较长、包含场景较多难以标准化，存在数据整合不足、库存管理薄弱、精准营销能力不足、运营效率低下等痛点场景。除此之外，客服回复不及时、质量良莠不齐也是零售业客源流失的一个关键问题。

针对这些复杂多样的痛点，豆包大模型提供了一系列针对性的解决方案。

首先，为了改善用户与客服的交互体验，基于豆包大模型，多点 DMALL 联合火山引擎打造了 AI 购物助手小多。传统线上导购仅支持关键词搜索商品，消费者在食谱查找和商品选购环节，则需要切换不同应用。通过与小多进行语言、语音对话，消费者则可以实现一站式购物。这是因为豆包大模型着重打磨的角色扮演和语言理解等功能，让小多可以模拟真人交互，针对顾客的售前售后问题即时回复，也能够针对顾客不同需求提供个性化建议，如给出商品推荐列表、生成购买清单链接，更易帮助消费者做出购买决策。

另外，为了给顾客提供个性化的精准营销，豆包大模型提供了 VOC 洞察分析功能，这意味着，通过搜集、分析客户反馈数据，豆包大模型可以将这些数据转化成有效的见解。另外，针对抖音电商直播场景，豆包大模型还支持直播洞察解决方案，复盘归因直播中的数据、主播、用户数据表现，沉淀优质话术和主播 SOP，还可以基于全域直播进行舆情、违规、主播口头禅等敏感词识别和预警。

此外，豆包大模型辅助建立企业商品知识库，使得零售企业能够更准确、实时地进行库存管理。另外，知识库的优势还在于可以智能总结各类话术，在排查售后问题时，知识库也大大缩短了排查时间，从豆包提供的数据表现来看，知识库创造了实际价值转化——知识应答率高达 98%，顾客转化率提升 5%。

除零售大模型生态联盟外，豆包大模型还与更多行业展开合作。此前在 5 月 15 日，火山引擎就发布了汽车大模型生态联盟和智能终端大模型联盟。在本次创新巡展上，汽车大模型生态联盟也迎来了领克汽车、吉利银河、几何汽车、上汽荣威、上汽名爵、雄狮科技、大圣科技等多位新成员。

此外在教育行业，在校学生通过简单学习就能使用 HiAgent 这款易开发工具，进行学习答疑、总结复习、文献获取，提升学习与科研效率；高校行政管理人员也可以借助 HiAgent，搭建个性化应用，用于教学管理及数据分析，或者帮助学生跟教师进行线上的业务咨询办理。还比如在游戏行业，基于豆包大模型的游戏 AI 解决方案，可从文本、图片、语音等多个方面，助力游戏开发者以 AI 技术为动能推进游戏玩法创新。

结语

自 2023 年开始，全球范围掀起了以大模型为代表的生成式 AI 浪潮。但今年来，大家已经从关注大模型本身，转变为思考或讨论大模型本身怎么来创造价值，怎么来赋能产业，怎么来落地应用。眼下，业内期待的是大模型与行业更深度的融合。

在这方面，模型应用场景越丰富、越复杂，竞争力就越强。

而这也是豆包大模型的优势所在，从 5 月 15 日发布后，短短几个月的时间，豆包大模型已成为国内使用量最大、应用场景最丰富的大模型之一。

这几个月的时间，豆包大模型经历的打磨升级，奉行了火山引擎的「内外同源」法则——即同一个产品、同一个平台、同样的技术架构，它既是对内服务的，也是对外服务千行百业的。字节跳动内部，就有 50 多个业务在大量使用豆包大模型。这样就可以通过内部庞大规模的资源和场景去打磨最靠谱的技术服务，并将内部的经验能力化、产品化，外溢出去提供给行业客户。

内部和外部客户的巨大使用量，发挥数据飞轮效应反哺豆包大模型，带来更强模型、更低价格、更易落地的大模型。豆包大模型也得以进一步与行业深度融合，有望创造出更为繁荣的大模型创新生态。

原文链接：点击前往 >

文章作者：极客公园

版权申明：文章来源于极客公园。该文观点仅代表作者本人，扬帆出海平台仅提供信息存储空间服务，不代表扬帆出海官方立场。因本文所引起的纠纷和损失扬帆出海均不承担侵权行为的连带责任，如若转载请联系原文作者。更多资讯关注扬帆出海官网：https://www.yfchuhai.com/