生成AI技術ブログ

複数レコードをループで生成AI APIへ送る<br>止めるエラーと飛ばすエラーを分け、途中から再開できるようにする

複数レコードをループで生成AI APIへ送る
止めるエラーと飛ばすエラーを分け、途中から再開できるようにする

前回の記事では、API呼び出しの結果をログへ残しました。最後に「100件流したうちの3件が失敗したとき、その3件だけを再処理する」と書いたところで終わっています。今回はそこへ進みます。 題材は、これまでと同じPOS売上C...
APIレスポンスをログへ残す<br>許可リストで秘密情報を締め出し、成功率・p95・コストを追える形にする

APIレスポンスをログへ残す
許可リストで秘密情報を締め出し、成功率・p95・コストを追える形にする

前回の記事では、エラーの切り分けと再試行を扱いました。最後に「ログへ残す項目」を並べて終わっています。今回はそれを実際に動く形にします。 APIを1回試している段階なら、画面に出たものを見れば十分です。しかし夜間に100...
APIエラーとリトライの基本<br>401・429・5xxを切り分け、SDKの自動再試行に任せる範囲を決める

APIエラーとリトライの基本
401・429・5xxを切り分け、SDKの自動再試行に任せる範囲を決める

前回の記事では、response.usage からトークン数を取り出して料金を概算しました。ログに「成功/失敗」を残しておこう、と書いたところで終わっています。今回はその「失敗」のほうを扱います。 APIを繰り返し使い始...