コスト最適化

「社内向けにLLMを活用したRAG検索システムをリリースしたけれど、『最初の1文字が出るまで5秒以上待たされて誰も使ってくれない』…」「高性能なフラグシップモデルをそのまま組み込んだら、毎月のAPI利用料の請求書を見てプロジェクトの継続が危...