このビデオチュートリアルでは、LLM（Language Model）アプリケーションにおいてキャッシュ技術を使用してOpenAI APIのコストを節約する方法について説明します。キャッシュとは、元のプロンプトとレスポンスを一時的なストレージであるキャッシュに保存し ...

毎回同じ長いシステムプロンプトや資料を送って、Claude APIの請求額に青ざめていませんか。実は入力トークンの大半は「使い回し」で、prompt cachingを1行足すだけでその読み込みコストを最大90%カットできます。本記事は、動くPythonコードでキャッシュを効か ...