AIに止めを入れた回数を数えたら、2週間で256回だった

「なんとなく危なっかしい」を数字にしたかった

【エンジニア募集中】フルリモート可◎、売上/従業員数9年連続UP、平均残業8時間、有給取得率90％、年休124日以上 etc.　　詳細はこちらから＞

AIに任せる時間が増えました。ただ、出てきたものをそのまま通せず、差し戻す場面が毎日あります。直近2週間ぶん、193セッションの記録を見返し、止めた場面を拾い出しました。1件は止めた発話1つで、同じセッションで3回止めれば3件です。256件ありました。1日あたり18件です。

分類の軸は自分で考えず、外から借りた

軸を自前で作ろうとして、切れませんでした。既存の3つの体系を借りました。ODC（直交欠陥分類）から種類とトリガーを別の軸に置く考え方、FMEAから見つけにくさを段で持つ考え方、eval-driven developmentから再発を判定するケースを1つ書く考え方です。自分で立てた欄では空のままだった列が埋まり、15の型に落ち着きました。

効いたのは件数より「見つけにくさ」だった

優先順位は件数では決まりません。見つけにくさを「必ず気づく」「言われれば気づく」「手戻りで分かる」の3段で持たせ、件数×見つけにくさで並べ直すと、件数の少ない型が上位に来ます。たとえば、検索がエラーではなく0件成功として返る症状。AIはそれを成功と読んで次へ進むので、間違った結論が最後まで残ります。

未分類の70件に、次の型が隠れていた

70件はどれにも当たりませんでした。4分の1が残った計算です。読み返すと、そこに5つの型が隠れていました。一覧は育つ前提で持ち、未分類が10件たまったら型を1つ起こす運用にしています。

新しい検査は、1つも作らなかった

検査を作るつもりでしたが、15の型のうち新規に作るものは0件でした。既存の検査につなげば止まるか、機械では止められず人が出力の直前に当てるか、どちらかに収まったためです。変えたのは、止めた発話をそのまま「再発したら分かるケース」にして、既存の検査へ必ず繋ぐことだけです。

もう1つ分かったのは、人の記憶を引き金にした対策は動かないこと。同じ形で決めた月次の見直しは、1か月半で実行0回でした。仕組みに載せない約束は、守る気があっても消えます。

【エンジニア募集中】フルリモートも◎(リモート率85.7％)、平均残業8時間、年休124日以上、有給取得率90％ etc.　詳細はこちらから＞