💰 Token Optimization 完全指南

# 场景：每天调用100次GPT-4o
每天输入Token：500 tokens × 100次 = 50,000 tokens
每天输出Token：300 tokens × 100次 = 30,000 tokens

每天成本：
= (50,000 × $0.005/1K) + (30,000 × $0.015/1K)
= $0.25 + $0.45
= $0.70

每月成本：$0.70 × 30 = $21

# 如果优化后减少40% Token：
新成本：$21 × 0.6 = $12.6
每月节省：$8.4 💰

# 优化前（啰嗦版）
prompt = f"""
你好！我是一个AI助手。我现在需要你帮我完成一个任务。
这个任务是关于分析一段文本的。
文本内容如下：
{text}

请你仔细分析这段文本，然后给我一个详细的总结。
总结需要包含以下几个方面：
1. 主要观点
2. 重要细节
3. 可能的结论

谢谢你的帮助！
"""

# Token数：约250 tokens
# 成本：$0.00125（输入）

# 优化后（简洁版）
prompt = f"""
分析以下文本，总结主要观点、重要细节和结论：

{text}
"""

# Token数：约80 tokens
# 成本：$0.0004（输入）
# 节省：68% 💰

import hashlib
import json

class ContextCache:
    def __init__(self):
        self.cache = {}
    
    def get_cache_key(self, context):
        """生成缓存key"""
        context_str = json.dumps(context, sort_keys=True)
        return hashlib.md5(context_str.encode()).hexdigest()
    
    def get_or_compute(self, context, compute_fn):
        """获取缓存或计算"""
        key = self.get_cache_key(context)
        
        if key in self.cache:
            print("✅ 缓存命中！")
            return self.cache[key]
        
        print("❌ 缓存未命中，计算...")
        result = compute_fn(context)
        self.cache[key] = result
        return result

# 使用示例
cache = ContextCache()

def expensive_llm_call(context):
    """模拟昂贵的LLM调用"""
    # 实际中这里会调用API
    return f"LLM结果：{context}"

# 第一次调用（未缓存）
result1 = cache.get_or_compute("系统提示词 + 背景知识", expensive_llm_call)

# 第二次调用（命中缓存）
result2 = cache.get_or_compute("系统提示词 + 背景知识", expensive_llm_call)
# 节省了一次API调用！💰

# 根据任务复杂度选择模型
def select_model(task_type, text_length):
    """智能选择模型"""
    if task_type == "simple":
        if text_length < 2000:
            return "gpt-3.5-turbo"  # 最便宜
        else:
            return "gpt-4o"  # 支持长文本
    
    elif task_type == "medium":
        return "gpt-4o"  # 性价比高
    
    elif task_type == "complex":
        if text_length > 50000:
            return "claude-3-opus"  # 超大context
        else:
            return "gpt-4-turbo"  # 最强推理
    
    else:
        return "gpt-4o"  # 默认

# 使用
model = select_model("medium", len(text))
response = openai.ChatCompletion.create(
    model=model,
    messages=[{"role": "user", "content": prompt}]
)