模型方面的疑问

记忆能力

先说哈模型本身是不具备任何记忆能力的，你所能看到的记忆能力均是cdx、cc这种AI应用做的功能，如果你也想实现，先去学习一下AI基础、langchain、langgraph等基础框架

token（词元）

token（词元）： Token 是 AI 模型处理文本时的最小基本单位，它可以是一个完整的单词、单词的一部分（如 un、ing）、一个标点符号，甚至是一个空格，比如 "I love AI!" 可能被切成："I"、" love"（含空格）、" AI"、"!" —— 这四个就是 token，也称为词元

1M是指100万词元 1B是指10亿

模型定价原理

也有些人对模型的输入、输出、缓存等很懵 下面咱们拿咱们站得满血100% "克劳得" 举例（仅供学习）

输入（input）： 5 🔪 * 1.5倍率 = 7.5 🔪/1M

输入： 是你发送给模型的东西，比如，"帮我写一首鸟在天上飞的诗"

教学： 不严谨但是简单易懂的方法，不算上他底层模型运算token，只看他的字面的样子，就算这一个字一个token，那么输入相当于12个token，那么 12 / 1M * 7.5 就是输入价

输出（output）： 25 🔪*1.5倍率=37.5 🔪/1M

输出： 模型根据你的输入算出来的结果。比如："鸟鸟鸟，鸟向向天歌"

教学： 不严谨但是简单易懂的方法，不算上他底层模型运算token，只看他的字面的样子，就算这一个字一个token，那么输出相当于9个token，那么 9 / 1M * 37.5 就是输出价

缓存（cache）： 0.5🔪*1.5倍率 = 0.75 🔪/1M

缓存： 一种临时存储技术，把某组输入对应的输出保存下来，当再次遇到完全相同（或语义等价）的输入时，直接返回缓存里的结果，不再实际调用模型，比如我又说："帮我写一手鸟在天上飞得诗"，模型读取到你说同样的输入了，会迅速的回你："鸟鸟鸟，鸟向向天歌"

教学： 当输入重复了，这里是重点，你的请求不会直接去请求模型，会先到克劳得厂商做的缓存层这里，看你是否命中，如果命中了，那么据按照0.5/1M来收取缓存命中费用，如果没有那么就转发模型模型计算返回结果并存入缓存。

创建缓存（Cache Write）： 6.25 🔪 * 1.5倍率 = 9.375 🔪/1M

创建缓存： 就是把一组输入-输出对存到缓存里的动作，用键值存储，输入序列化后作为 key，输出作为 value，不是所有场景都适合创建缓存——如果问题总是不同（如"帮我写一封给张三的邮件"）然后又去说"帮我生成个火电厂数字孪生首页"，缓存命中率很低，反而浪费存储。

教学： 在把输出返回给你之前（或之后异步），缓存层自动执行"创建缓存"：把（输入 → 输出）存进去，key 通常是请求内容的哈希或完整文本，后续再有相同请求，就直接命中这个缓存，关于创建缓存这里，拿cdx举例，他没有创建缓存，不是因为没有，而是因为他给你免费在缓存层做了，而其他模型收费也是情理之中

特殊情况： 为什么逆向无缓存呢？简单的来说就是，逆向只能绕过了厂商那块的缓存层，才能请求到模型，你看到的所有逆向渠道带缓存的都是请求头上做了一些方法，实现了假缓存，让不理解技术的客户信以为真，中转常见套路。