当前位置:YY分类目录 » 站长资讯 » 资讯文章 » 站长新闻 » 文章详细 订阅RssFeed

月之暗面Kimi开放平台推出上下文缓存公测,大幅降低长文本模型成本

来源:网络 浏览:9次 时间:2024-07-02
月之暗面Kimi开放平台推出上下文缓存公测,大幅降低长文本模型成本

今日,月之暗面正式对外宣布,其Kimi开放平台上线了全新的上下文缓存(Context Caching)功能,并即日起开启公测。这一创新技术旨在不增加API价格负担的前提下,为开发者提供最高可达90%的成本降低,并显著提升模型响应速度,标志着人工智能服务效率与成本控制的新突破。

据官方介绍,上下文缓存是一种先进的数据管理技术,它通过预先存储频繁请求的大量数据或信息,显著减少了对原始数据源的重复计算与检索需求。当用户再次请求相同信息时,系统能够迅速从缓存中调取,从而大幅降低处理时间和成本。对于依赖长文本模型进行高频查询的应用场景而言,这一技术无疑是一大利好。

Kimi开放平台指出,上下文缓存功能特别适用于以下业务场景:提供大量预设内容的问答机器人(如Kimi API小助手)、针对固定文档集合的频繁查询工具(如上市公司信息披露问答系统)、静态代码库或知识库的周期性分析应用(如各类Copilot Agent),以及瞬时流量巨大的AI爆款应用(如哄哄模拟器、LLM Riddles)等。官方数据显示,启用上下文缓存后,首Token延迟可降低83%,为用户带来前所未有的高效体验。

在计费方面,Kimi开放平台采取了灵活且透明的收费模式,包括Cache创建费用、Cache存储费用和Cache调用费用三部分。具体而言,Cache创建费用按实际Tokens量计费,每百万Tokens收费24元;Cache存储费用则按分钟收取,每百万Tokens每分钟收费10元;而Cache调用费用则分为增量Token费用和调用次数费用,前者按模型原价收费,后者则按每次调用0.02元的标准收取。

值得注意的是,此次公测活动将持续3个月,期间价格可能根据市场反馈进行调整。此外,公测资格将优先开放给Tier5等级用户,其他用户的开放时间将另行通知。这一举措既体现了月之暗面对高质量用户的重视,也为广大开发者提供了一个提前体验并反馈宝贵意见的机会。

随着人工智能技术的不断发展,如何在保证服务质量的同时有效控制成本,成为众多开发者和企业关注的焦点。月之暗面Kimi开放平台此次推出的上下文缓存功能,无疑为这一难题提供了有效的解决方案,有望推动人工智能服务的普及与应用场景的拓展。