roo code+deepseek,缓存命中很便宜!

3 月 12 日
 nativeBoy
我让 Roo code 从 0 规划写了个小项目,考虑到 deepseek 便宜就用官方的 deepseek ,结果用了 6M tokens 才完成,一看花费才 2 块钱!
看了一下,6M tokens 几乎都命中了缓存,所以便宜的很

相同场景,用中转站没有缓存命中,贵的要死!余额减得很快





deepseek 官方价格链接: https://api-docs.deepseek.com/zh-cn/quick_start/pricing/
2154 次点击
所在节点    程序员
13 条回复
iorilu
3 月 12 日
这缓存命中是什么原理

不太可能两人用一样提示词把

还是用了相似性, 差不多了就算一样, 就取缓存?
nativeBoy
3 月 12 日
niubilewodev
3 月 12 日
是的,很多中转站没有缓存,用起来不比官方便宜。
66beta
3 月 12 日
me too 但是公司买了 claude 不用自己花钱了
dbskcnc
3 月 12 日
deepseek v4 快点出来吧,如果能用 就不需要用 google 了
asd999cxcx
3 月 12 日
官方上下文会不会不够?我看别人说火山的上下文会多一些
nativeBoy
3 月 12 日
@asd999cxcx #6 当上下文达到 128K 时,roo code 会把上下文压缩
yangzzzzzz
3 月 12 日
chat 和 reasoner 用起来有什么区别吗
stefwoo
3 月 12 日
@iorilu

缓存命中不是很简单吗?就是你第一轮对话的时候,会带上第一轮的数据。第二轮对话是带上第一轮和第二轮的数据。第三轮对话是带上前两轮的数据。然后你每次都会命中啊。相当于你每次发给他的就是增量的不太多,大部分都是对话的历史数据。
iorilu
3 月 12 日
@stefwoo 这就算缓存? 只能自己给自己缓存阿

我还以为是不同用户的请求, 匹配相似度, 相似就缓存

比如你发请求说, 写一个快速排序算法

另一个人也发类似请求, 那就直接返回一样内容
inc3ption
3 月 12 日
@iorilu 就是 9 楼说的这样,除了第一轮会话外,后续会话都会命中缓存,一次会话轮数越多命中率就越高;反之不停的开新会话,整体的命中率就越低
listenerri
3 月 12 日
@inc3ption #11 是这样的话,如果子代理用的多了也费钱
asd999cxcx
3 月 18 日
@nativeBoy 我的意思是官方上下文就 64 ,你这 128 根本就达不到..

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1197609

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX