扬帆创投微信小程序
更聚焦的出海投融资平台
精准高效领先的融资对接服务
微信扫一扫进入小程序

阿里巴巴发布了Qwen2.5-Turbo版本,这是一个大语言模型,旨在理解和分析用户输入的自然语言,并在不同领域和任务中提供服务和帮助。

摘要
Qwen2.5-Turbo将上下文长度从128K扩展到100万tokens,这相当于大约100万个英文单词或150万个汉字,显著提升了模型在处理复杂长文本任务时的理解与生成能力。
通过采用稀疏注意力机制,Qwen2.5-Turbo显著提高了推理速度,将生成首个token的时间从4.9分钟减少到68秒,实现了4.3倍的加速。
尽管处理能力大幅提升,Qwen2.5-Turbo的价格保持不变,为0.3元/1M tokens,用户可以以相同的成本处理更多的tokens。
Qwen2.5-Turbo主要通过API使用,兼容OpenAI的API。用户需要注册并获取API Key,安装必要的依赖,并注意API Key的安全、请求频率限制以及错误处理。
阿里巴巴重磅发布了Qwen2.5-Turbo 版本。
为了满足用户和开发者的需求,阿里在Qwen2.5-Turbo 版本,将上下文从之前的128K扩展至100万tokens,相当于大约100万个英文单词或150万个汉字,足以涵盖10部长篇小说、150小时的演讲稿或3万行代码,使得模型的整体理解、生成能力获得大幅度提升。
图片
在线demo:https://www.modelscope.cn/studios/Qwen/Qwen2.5-Turbo-1M-Demo
这种百万级上下文能力,使Qwen2.5-Turbo在处理复杂长文本任务时表现出色,例如,在大海捞针任务中,能够完美捕捉所有隐藏的数字,显示出在超长上下文中捕捉细节信息的强大能力。
图片
Qwen2.5-Turbo还通过采用稀疏注意力机制,显著提高了推理速度,将生成首个token的时间从4.9分钟减少到了68秒,实现了4.3倍的加速,这意味着在实际应用中,能更快地响应用户的请求。
图片
以理解长篇小说为例,Qwen2.5-Turbo能够处理包含690k tokens的三部《三体》系列小说,并提供英文的剧情摘要,这展示了它在深度理解长文本和跨语言摘要方面的强大能力。
尽管处理能力大幅提升,Qwen2.5-Turbo的价格却保持不变,为0.3元/1M tokens,用户可以以相同的成本处理更多的tokens,即3.6倍于GPT-4o-mini的tokens数量。
在扩展上下文长度的同时,Qwen2.5-Turbo几乎不影响短文本任务的能力,在短文本基准测试中,它在大多数任务上显著超越了之前上下文长度为1M tokens的开源模型,并且与GPT-4o-mini和Qwen2.5-14B-Instruct模型相比,在短文本任务性能接近的同时,支持8倍长度的上下文。
目前,Qwen2.5-Turbo主要通过API来使用,方式、标准和Qwen API相同,并兼容OpenAI的API。
获取API Key:首先,您需要在阿里云大模型服务平台注册并获取您的API Key。这个密钥是调用Qwen 2.5 Turbo API所必需的认证信息。
API地址:https://help.aliyun.com/zh/model-studio/developer-reference/what-is-qwen-llm
安装依赖:如果打算在Python环境中使用Qwen 2.5 Turbo,需要先安装OpenAI库。可以通过运行pip install openai命令来完成安装。
接下来,我们将通过一个简单的Python脚本示例来展示如何使用Qwen 2.5 Turbo的API。这个例子中,我们将读取一个包含长文本的文件,然后请求Qwen 2.5 Turbo对该文本进行总结。
图片
当上述代码执行完毕后,completion.choices[0].message.content将包含Qwen 2.5 Turbo生成的文本摘要。
三大注意事项
API Key安全:请确保您的API Key不会泄露给第三方,避免未经授权的使用。
请求频率限制:根据阿里云平台的规定,可能存在一定的请求频率限制,请合理安排您的调用计划。
错误处理:在实际应用中,建议添加适当的错误处理逻辑,以应对网络问题或API调用失败的情况。

原文链接:点击前往 >

文章作者: AIGC开放社区

版权申明:文章来源于 AIGC开放社区。该文观点仅代表作者本人,扬帆出海平台仅提供信息存储空间服务,不代表扬帆出海官方立场。因本文所引起的纠纷和损失扬帆出海均不承担侵权行为的连带责任,如若转载请联系原文作者。 更多资讯关注扬帆出海官网:https://www.yfchuhai.com/

{{likeNum}}

好文章,需要你的鼓励

请前往扬帆出海小程序完成个人认证
认证通过后即可申请入驻
扫码添加小助手
微信扫描二维码,添加小助手
微信号:yfch24
扫码添加小助手
微信扫描二维码,添加小助手
微信号:yfch24
APP
小程序
微信公众号
微信小程序
扬帆出海APP
扬帆出海APP
微信
公众号
微信公众号
关注扬帆出海
专注服务互联网出海!
出海人
社群
微信公众号
扫码进群
与10万+出海人同行!