如何优化 API 调用性能

本文将分享一系列 API 调用性能优化技巧，包括连接池管理、流式输出、缓存策略等，帮助您构建更高效的 AI 应用。

1. 使用连接池

保持 HTTP 连接复用可以显著减少延迟：

const client = new OpenAI({
  apiKey: 'your-key',
  baseURL: 'https://api.deepnorth.ai/v1',
});

2. 启用流式输出

对于长文本生成，流式输出可以大幅降低首字延迟（TTFT）。

3. 合理设置 max_tokens

设置合理的 max_tokens 可以避免不必要的计算和等待。

4. 使用缓存策略

对于重复性查询，考虑在应用层实现缓存。

5. 批量请求

将多个独立请求并行发送，充分利用网络带宽。