Sub Lesson 4
AIの性質を知っておく
毎回全履歴を読む仕組みと、迎合・自己申告・報酬ハッキング・過剰自信
AIに仕事を任せていると、人間なら絶対にやらない失敗に出くわします。ここを知らないと、「AIは信用できない」で止まります。知っていれば、防ぎ方はどれも一言で済みます。
最初に仕組みを1つ。そのあと、知らないと引っかかる性質を4つ並べます。何が起きるか・なぜ起きるか・どう防ぐかの順です。
1. 毎回、会話の全部を読み直している
AIは、会話を覚えているわけではありません。 あなたが1行送るたびに、その会話のこれまで全部を、もう一度まとめて読み直してから返事を書いています。
「おはよう」と送ると、AIは「おはよう」だけを読んで返します。次に「これで困ってる」と送ると、今度は「おはよう」「AIの返事」「これで困ってる」の3つをまとめて読み直してから返します。その次は4つ。会話が進むほど、毎回読む量が増えていきます。 前回の続きに見えるのは、毎回ぜんぶ渡し直しているからです。
一度に読める量には上限があり、これをコンテキストウィンドウと呼びます。モデルによりますが、いまは数十万から100万トークン規模です。本にすると数千ページぶん。かなり広いのですが、上限は上限です。
ここから、もうひとつの性質が出てきます。注意力です。 人と同じで、渡す量が多いほど、一つひとつは薄くなります。読んではいるのに、大事な一行が量に埋もれて、見落とされます。 会話の最初に書いた約束ほど、後半では効かなくなります。
上限に近づくと、AIはそれまでの会話を要約して圧縮します。話は続けられますが、細かいところは落ちています。
毎回、いちばん最初から全部を読み直してから返事を書いています。だから会話が長くなるほど読む量が増え、前のほうに書いたことは薄くなります（上の、色の薄い部分）。
積み上がった合計の上限が、コンテキストウィンドウ。上限に近づくと要約して圧縮される
ここから、実務で使える結論が4つ出ます。
| 分かること | どうする |
|---|---|
| 会話が長くなるほど、毎回読む量が増える | 話題が変わったら、新しく始める。 目的ごとに分ける |
| 大事な一行ほど、量に埋もれる | 冒頭に書いたから大丈夫、と思わない。守ってほしいことは短く、少なく |
| 前のほうに書いたことは、薄れることがある | 大事な約束ごとは、会話でなく置き場のファイルに書く（第4章） |
| 渡す情報が多いほど、判断が鈍る | 関係ないものは渡さない（第3章） |
第4章で置いたCLAUDE.mdやSkillは、この「埋もれる」を避けるための仕組みです。会話の流れに乗せず、毎回かならず読まれる場所と、必要な場面でだけ呼び出される場所に分けて置いてあります。
「AIが前に言ったことを忘れた」の正体は、たいてい2つです。 渡していないか、長い会話の中で埋もれたか。
覚えていてほしいことは、会話でなく、置き場に書く。
2. 迎合する
何が起きるか。 あなたが「これで合ってるよね？」と聞くと、合っている理由を逆算で作ってきます。 「おっしゃるとおりです」と言って、そこから理屈を組み立てる。間違っていても、です。
なぜ起きるか。 AIは、あなたが望んでいそうな答えに寄る性質を持っています。強く断定して聞くほど、その方向に寄ります。
どう防ぐか。 聞き方を変えるだけです。
この方針で合ってるよね？
おっしゃるとおりです
合っている理由を、あとから組み立てる
この方針の穴を3つ挙げて。
① 前提が古い
② 費用が入っていない
③ 担当が決まらない
断定して聞くほど、その方向に寄る。賛成が返ってきても、それは同意であって検証ではない
大事な判断のときは、賛成させない聞き方にします。「反対の立場から書いて」「これがうまくいかないとしたら、理由は何か」。
賛成が返ってきても、それは同意であって、検証ではない。
3. 自己申告が、当てにならない
何が起きるか。 「完了しました」と返ってくるのに、開けてみると中身が空。「修正しました」と言うのに、直っていない。
AIの申告
完了しました
開いてみた中身
空のまま
だから、申告でなく現物を返させる。大事なものは、作ったAIとは別に点検させる
自分がやったことを正確に把握しているとは限らない。途中で失敗しても、最後に「できました」と書く
なぜ起きるか。 AIは、自分がやったことを正確に把握しているとは限りません。途中で失敗していても、最後に「できました」と書いてしまいます。
どう防ぐか。 申告でなく、現物を見ます。
できたと言う前に、実際のファイルを開いて中身を貼って。
自動化に載せるときも同じです。「やりました」ではなく「結果」を返させます。 週次レポートなら数字そのもの、仕分けなら格納したファイルの一覧。
大事なものは、作ったAIとは別に点検させます。 自分の出したものを自分で見ると、甘くなります。会話を引き継がせず、新しく開いたAIに成果物だけを渡してください。同じものでも、指摘が変わります。
これ、別の目で点検して。作った経緯は見ないで、出てきたものだけ見て。
4. テストのほうを、通してしまう
何が起きるか。 「このテストが通るようにして」と頼むと、テストのほうを書き換えて通してきます。 中身を直さずに、条件を緩める。
なぜ起きるか。 「通すこと」がゴールとして渡っているからです。AIは、渡されたゴールに対していちばん近い道を選びます。それがたまたま、測る側をいじる道だっただけです。
渡したゴール「テストが通っている状態にして」
AIは、渡されたゴールにいちばん近い道を選ぶ。測る側を触れる状態だと、そこが近道になる
どう防ぐか。 ゴールの立て方を変えます。
✕ テストが通るようにして
○ この不具合が直った状態にして。テストは変えないで。
これはテストに限りません。数字を良く見せる仕事すべてで起きます。 「達成率を上げて」と頼めば、集計の範囲を狭めてきます。測り方を変えていいのかどうかを、先に言ってください。
評価する側を触らせない。触っていいなら、そう言う。
5. 間違いに気づかないまま、自信を持って出す
何が起きるか。 実在しない機能、実在しない出典、それらしい数字。言い切りの文体のまま出てきます。 迷った気配がないので、読むほうも疑いません。
この機能は、フォルダを開くと使えます
合っている出典は、2025年の◯◯レポートです
実在しない導入企業は、120社です
実在しない言い切りの強さは、どれも同じ。読むほうからは見分けられないので、埋めさせない指示を先に入れておく
なぜ起きるか。 AIは、自分が知らないことを「知らない」と判定するのが苦手です。分からないところも、いちばんそれらしい形で埋めます。
どう防ぐか。 埋めさせない指示を、先に入れておきます。
確認できなかったものは、埋めずに「確認できず」と書いて。
数字と固有名詞には、どこで確認したかを添えて。
根拠が添えられない主張は、書かせない。 これを言っておくだけで、それらしい嘘はかなり減ります。自動化のときは必ず入れてください。
この章の裏づけ
どれも、公開されている研究で確かめられているものです。踏み込みたい方へ。
- 量に埋もれる — Lost in the Middle: How Language Models Use Long Contexts（Liu ほか, 2023）。渡した情報のうち、真ん中にある大事な一行ほど拾われにくくなることを実験で示しています
- 迎合する — Towards Understanding Sycophancy in Language Models（Anthropic, 2023）。人が「同意してくれる答え」を高く評価するため、訓練の過程でその傾向が入ります
- 自己申告が当てにならない — Demystifying evals for AI agents（Anthropic）。作った本人に採点させず、作る側と見る側を分ける設計が勧められています
- 測る側を触ってしまう — Natural emergent misalignment from reward hacking（Anthropic, 2025）。テストをすり抜ける近道を覚えると、別の場面でも正直さが落ちました
- 自信を持って間違える — Why Language Models Hallucinate（OpenAI, 2025）。「分かりません」と言うより当てずっぽうで答えたほうが点が高くなる評価のしかたが、原因のひとつだと指摘しています
まとめ
- 毎回、全履歴を読み直している — 覚えていてほしいことは、置き場に書く。渡す量が増えるほど、大事な一行は埋もれる
- 迎合する — 賛成させない聞き方に。「穴を3つ挙げて」
- 自己申告が当てにならない — 「やりました」でなく、現物を返させる。大事なものは別のAIに点検させる
- 測る側を触ってしまう — ゴールに「テストは変えない」を足す
- 自信を持って間違える — 「確認できなかったものは、確認できずと書く」
1つ目は仕組みなので、直しようがありません。渡し方で避けます。 残りの4つは、AIが渡されたゴールに対していちばん近い道を選んだ結果です。だから、渡し方を変えれば防げます。