タグ
#Jev
Jevに関する記事を公開しています。
結果がほぼ同じ判定に Claude は Jev の 70倍以上の費用がかかった
日本語の技術ブログ 137本の内部リンク関連度チェックを、同じ記事・同じ情報・同じ正解で Jev と Claude Sonnet 5.5 に解かせました。精度の差は小さく、費用は 70倍以上違いました。このチェックなら Jev で足ります。
Jev 互換をうたう無料モデルを内部リンクの判定で試したら、使い物にならなかった
Jev 互換をうたう無料の判定モデル Laya と Jeff を手元の CPU で動かし、ブログの内部リンクの判定に使えるか試すと、2つともモデルを使わないタグの一致にも負け、使い物になりませんでした。Laya は読んでいる記事で、Jeff は選択肢の並び順で点が決まっていました。
Jev に偶数判定・正解の無い 3択・日本語の建前・危険なコマンドを判定させた実験集
文と問いを渡すと確率だけを返す Jev は応答が速くコストも極めて低いため、if 文の代わりに使えないか、偶数判定・正解の無い 3択・日本語の建前・危険なコマンド・プロンプトインジェクションで実測しました。条件に使えなかったのは、計算が要る判定と、選択肢に正解が無い場面だけでした。
判定専用モデル Jev が LLM の代わりに使える処理と使えない処理
TypeSafe AI の Jev は文章を生成せず、宣言した選択肢への確率だけを返す判定専用モデル。自分のブログ記事 1本と、問い合わせを模した文 8件で日本語の判定を実測すると、原因の分類や窓口の振り分けは英語とほぼ同じ確率で当たり、好みの判定は Jev も Claude Sonnet も当てられなかった。