知らないって怖い 第二弾
トークンという「燃料」の話
UnsplashのWesley Tingeyが撮影した写真のWesley Tingeyが撮影したイラスト素材
私は物事の構造化がとても苦手です。
Notionの保存もバラバラで、どこに何があるのかわからない状態でした。そこで、ClaudeにNotionの構造化もお願いしてしまいました。おかげでとても綺麗に整理され、引き継ぎ書を常に確認しながら、会話がブレないようにもなりました。
そんな話を、私が勝手に「チームの頭脳」と呼んでいる、toiee Labの亀田さんにしたところ、こう言われました。
「NotionとGitHubでは、トークンの消費量がかなり違う」
──え、同じ日本語のテキストなのに？
トークンって、何だろう
正直、「トークン」という言葉はなんとなく知っていました。AIを使うときの「単位」みたいなもの、くらいの理解でした。
Claudeに聞いてみたら、こんなふうに教えてくれました。
「知らないって怖い」という文を、AIは次のように読むそうです。
「知ら」「ない」「って」「怖い」
この一つひとつのかたまりが、一トークン。人間が「単語」を単位として読むのとは少し違う区切り方をします。日本語は英語より細かく区切られるため、同じ内容でも英語より多くのトークンを使うとのこと。
ここまでは「なるほど」で済む話です。
問題は、Claudeが一度に処理できるトークンの量に上限があるという点でした。コンテキストウィンドウ、と呼ぶらしいです。
NotionとGitHubで、なぜ違うのか
最初の疑問に戻ります。同じ文章なのに、置き場所でトークン消費が変わる。それはなぜか。
NotionからClaudeが情報を取得すると、本文以外にたくさんの「おまけ」がついてくるそうです。
どのページの子ページか（ancestor-path）
ステータス、媒体、シリーズ、配信予定日などのプロパティ
データベースのID、数式の結果…
本文が1,000トークンだとしたら、その周辺情報でさらに500〜1,000トークン余分にかかるイメージとのこと。
一方、GitHubに置いた .md ファイルを読み込むと、テキストだけが来ます。余計な構造情報がない。同じ内容でも、消費トークンがずっと少ないそうです。
知らなかったです。Notionに何でも置けばいいと思っていました。
「足りない」の正体
亀田さんはこうも言っていました。
「足りないって声をよく聞くけど、チャット程度だったらそこまで使い切らないと思うんだよね。使い方が悪いことが多いんじゃないかな」
たしかに、私もProプランのころはチャット中心で、特に不足は感じていませんでした。問題が出始めたのは、Claude Codeでがっつりコードを書くようになってから。一気に大量のコードを読み書きすると、さすがに足りなくなってきました。
亀田さんがMAXプランにしたのも、トークンが足りなかったからではなく、「新しい機能をいち早く触りたかったから」とのことでした。それまで使っていた各種サービスを整理してコストを見直し、その分をMAXプランに充てたそうです。
長い会話で起きること
もうひとつ、面白いことも知りました。
会話が長くなるほど、古いやり取りをClaudeが「忘れ」始めるそうです。コンテキストウィンドウの容量が埋まってくると、最初のほうの会話が押し出されていく。
実際、長い会話をしていると、気づけば最初の意図とはまったく違う方向に進んでいることがあります。「あれ、何の話をしていたっけ」という感覚。あれはそういうことだったのかと、少し笑ってしまいました。
「AIだから全部覚えているはず」という思い込みが、自分の中にありました。
Claudeに集中力の燃料があって、それが切れると忘れる。そう考えると、なんだか急に身近な存在に感じました。
設計で変わる、という話
亀田さんに、もう少し具体的な話も聞かせてもらいました。
プロジェクトの指示には、目的・意図・背景と主なタスクを書いておくだけで全然違うそうです。データの細かい中身は書かなくていい。Claudeが必要なものを検索して使うように動いてくれるので。
そして、プロジェクトのナレッジをGitHubで管理することを強く勧めてくれました。Notionと連携すると、情報を取得するたびに検索・検証・再検索が走って、トークンをどんどん消費してしまう。GitHubならテキストだけが来るので、ずっと効率がいいと。
「このワークフローを教えたいんだけど、みんな聞く耳持たないんだよね。重要性がなかなか伝わらなくて」
そう笑いながら話してくれました。私は今、その重要性を痛感しています。見習おうと思っています。
おまけ
ちなみにこの記事、Notionを検索して資料を読み込みながら書きました。
キーワード検索で該当ページを見つけ、ネタページと第一弾の完成稿をそれぞれ取得しました。当然、本文以外のプロパティやパス情報もまるごとついてきています。
つまり、トークンの無駄遣いについての記事を書くために、トークンを無駄遣いしていました。
知らないって、怖い。