コンテキストが溜まるほど落ちるAIの出力品質

はじめに

【エンジニア募集中】フルリモート可◎、売上/従業員数9年連続UP、平均残業8時間、有給取得率90％、年休124日以上 etc.　　詳細はこちらから＞

AIとの作業で、最初に決めた進め方から少しずつ外れて近道をするようになったり、一度却下したはずの案がまた出てきたり、前に指摘した間違いが同じ形で繰り返されたり、報告するはずのことが報告されないまま作業だけが進んでいたりすることはないでしょうか。実は、こうしたことは同じセッションのまま作業を続けるほど起きやすくなります。この記事では、その理由と対処法について少し紹介します。

上限を気にした振る舞い

モデルには、残りのコンテキスト、つまりあとどれだけ入力に載せられるかが見えている場合があります。残りが少ないと分かっていると、消費を抑えようとする振る舞いが出ます。やるべき確認を省く、作業を途中で切り上げる、まだ続けられる場面でセッションを作り直すよう提案する、といったことです。これはコンテキスト不安（context anxiety）と呼ばれる挙動で、残りが見えていること自体が引き金になり、少なくなるにつれて強く出ます。

圧縮で失われるもの

コンテキストの上限が近づいたとき（もしくは、自分で指示したとき）に、それまでの履歴は圧縮（compact）されて要約に置き換わります。要約を作るのはモデル自身で、何を残すかもモデルが決めるため、こちらが決めたことや指摘したことが必ず残るとはかぎりません。そのまま作業を続ければまた上限に達し、次の圧縮では前の要約ごとまとめられます。つまり、最初のほうで決めたことは、圧縮の回数だけ要約を通ることになります。エラーが出るわけではないので、決めたはずのことが守られなくなっていても気づけません。

区切りと引き継ぎ

出力の品質を保つには、コンテキストが埋まる前にセッションを区切ることです。そのセッションに、決めたことと次にやることをファイルへ書き出してもらい、それを新しいセッションに渡せば、試行錯誤の跡は持ち込まずに、コンテキスト不安も履歴の圧縮も避けられます。AIが決めごとから外れはじめたり、同じ間違いを繰り返したりしたときは、そこで一度区切ってしまいましょう。

【エンジニア募集中】フルリモートも◎(リモート率85.7％)、平均残業8時間、年休124日以上、有給取得率90％ etc.　詳細はこちらから＞