タグ
#AI
AIに関する記事を公開しています。
OpenCode 2.0 の Code Mode は同じ Claude で費用が Claude Code の4分の1
同じ Sonnet 5.5 と同じ MCP サーバーで、GitHub の Issue を Linear に写す作業を Claude Code と OpenCode 2.0 の Code Mode で比べました。費用は4分の1になりましたが、往復の回数はほぼ同じで、減ったのはモデルが本文を書き写す出力でした。
Claude Code の壊れた hook は onFailure で止まり迂回されなかった
Claude Code の PreToolUse の hook は、パスの誤りや時間切れで壊れると既定では操作を黙って通します。onFailure に block を付けると 65回すべて止まり、Edit の見張りを Bash で迂回した回は 0 でした。
Haiku 5.5 は 4.5 で失敗した作業もこなし費用は Sonnet の約 1/10
Claude Code のサブエージェントに 5種の作業を 3回ずつ渡すと、Haiku 4.5 は 15回中 4回失敗し費用も Sonnet 5.5 並みでしたが、Haiku 5.5 は low でも全部通り費用は Sonnet 5.5 の約 1/10 でした。速くはなりません。
npm を止めるだけなら Claude Code の mod は要らず hooks で足りた
CLAUDE.md の「npm ではなく pnpm を使う」を Haiku 4.5 に守らせるやり方を、Claude Code の mod と hooks で 5 通りずつ試しました。npm を止める点ではどれも hooks で mod と同じ結果になり、試した中で mod にしかできなかったのは、書き換えた記録を画面に出し続けることでした。
AWS の判定モデル Strands Decider 2B はコードレビューのバグ探しに使えない
AWS の Strands チームが公開した判定モデル Strands Decider 2B に PR の差分からバグを当てさせました。既定の設定では長い差分の後ろを黙って捨て、設定を上げた伸びは大きい PR 1 本を丸ごと高く付けた結果でした。
Clef はリンク正誤判定なら Sonnet 並み、バグ探しには使えない
Cloudflare の判定モデル Clef を、自サイトの内部リンク関連度チェックとコードのバグ探しに使い、同じ問いを Claude Sonnet 5.5 にも投げて比べました。内部リンクでは Sonnet 5.5 と同じくらい当たり、費用は約 16分の1 でした。バグ探しでは、Clef が怪しいとした所の当たり方は無作為に選んだ場合とほとんど変わりませんでした。
結果がほぼ同じ判定に Claude は Jev の 70倍以上の費用がかかった
日本語の技術ブログ 137本の内部リンク関連度チェックを、同じ記事・同じ情報・同じ正解で Jev と Claude Sonnet 5.5 に解かせました。精度の差は小さく、費用は 70倍以上違いました。このチェックなら Jev で足ります。
Jev 互換をうたう無料モデルを内部リンクの判定で試したら、使い物にならなかった
Jev 互換をうたう無料の判定モデル Laya と Jeff を手元の CPU で動かし、ブログの内部リンクの判定に使えるか試すと、2つともモデルを使わないタグの一致にも負け、使い物になりませんでした。Laya は読んでいる記事で、Jeff は選択肢の並び順で点が決まっていました。
D1 を編集できる AI エージェントは、隠した EmDash の鍵を自分で作れる
AI エージェントには鍵をプロキシで差し替えて渡し、実体を見せていません。ところが D1 を編集できるエージェントは、EmDash の API トークンを自分で発行できます。EmDash の API トークンは隠すのをやめてスコープを絞って使い捨てにし、隠すのはそれ以外の鍵にしました。
LLM に台本を判定させたら 12本すべて通した
生成した台本を LLM に判定させると 12本すべて通し、私が採用したのは 2本。判定のモデルを替えても私の選択には近づかず、通る台本が出たのは、生成の手前で素材を絞り、判定に通す例と落とす例を書き込んでからだった。
技術ニュースの自動収集を月 1ドル未満でも止めた
技術ニュースを集めて Slack に毎朝届ける仕組みを、個人で 7か月動かしました。頻度や体裁を直しても読まなかった経験から、直すか止めるかの決め方を書きます。決め手は費用ではなく、読んだ後にする行動があるかどうかでした。
サブエージェントに作業を渡す親のエージェントには、コマンドを叩かせない
親のエージェントの誤診や見落としは、親が自分でコマンドを叩いた場面に集まっていました。2日分の作業記録から、親は判断と確認だけにして手を動かす作業は最初から渡す分担に変えた話です。
Claude Code のクラウドセッションに持ち込める鍵と持ち込めない鍵
Claude Code のクラウドセッションでは、鍵をセッションの中に置かず、通信の途中でプロキシが差し込みます。静的なトークンはそのまま動き、AWS の署名も専用の型で通りますが、1時間で切れるトークンと手元のログイン状態は持ち込めません。Node の fetch で鍵が付かなかった落とし穴と合わせて、鍵の型ごとに分けました。
Docker Sandboxes から Claude Code に移った決め手は指示の出し方
AI エージェントに作業を配る指示役のエージェントを、Docker Sandboxes から Claude Code のクラウドに移しました。決め手は鍵や料金ではなく、配る形がそのまま動き、話題ごとに分けた指示をスマホからでも出せることでした。
Claude Codeのルーチンで記事1本にAPI定価1,000円以上かかった
話題集めから検証、下書きまでを毎朝 AI エージェントに回させる仕組みを作りました。初回の 1本は正確でしたが、誰が試しても同じ結果になる記事で、使ったトークンは API の定価に換算して約 7.7ドル(1,000円以上)でした。2回目を待たずに止めた理由と費用の内訳です。
Jev に偶数判定・正解の無い 3択・日本語の建前・危険なコマンドを判定させた実験集
文と問いを渡すと確率だけを返す Jev は応答が速くコストも極めて低いため、if 文の代わりに使えないか、偶数判定・正解の無い 3択・日本語の建前・危険なコマンド・プロンプトインジェクションで実測しました。条件に使えなかったのは、計算が要る判定と、選択肢に正解が無い場面だけでした。
判定専用モデル Jev が LLM の代わりに使える処理と使えない処理
TypeSafe AI の Jev は文章を生成せず、宣言した選択肢への確率だけを返す判定専用モデル。自分のブログ記事 1本と、問い合わせを模した文 8件で日本語の判定を実測すると、原因の分類や窓口の振り分けは英語とほぼ同じ確率で当たり、好みの判定は Jev も Claude Sonnet も当てられなかった。
障害検知のトリアージから対応まで AI エージェントに任せる設計手法例
監視アラートの一次判定から修正の PR まで AI エージェントに任せ、判定に使う道具を読み取り専用に絞った設計。13週間で起票14件、人の本番操作0件。
戻せない D1 マイグレーションは本番のダンプで先に流す
EmDash は merge した瞬間に本番の D1 スキーマを自動で書き換える。down が空で戻せない 2本を含む 20本のアップグレードを、本番のダンプに先に流して検証してから通した設計を記す。
サンドボックスに鍵を置かずに EmDash の CLI を使う
CMS への記事投入を内蔵 MCP 経由で行うと本文がモデルの入出力を通り、トークン消費も文字化けの危険も増えます。サンドボックスの環境変数にプレースホルダーを置き、ホストのプロキシが差し替える経路に切り替えた設計を実例で示します。