Asteria EVIDENCE
品質と公開状況。
測定した条件と、確認した範囲を分けて伝えます。
公開中の正式版
v4.0.0は2026-10-28公開の正式版です。未署名。設定でオンにできる新しい機能として、ライブ変換、同音語のヒント、内蔵GPUでAIを動かす設定（試験的）を加え、打ち間違いの補正の決め方を見直しました。どれも最初はオフで、オフのままなら変換の結果はv3.2.0と同じです（これまでの評価の文で、正解数が同じ・外れた文0件）。ライブ変換をオンにしたときの表示は、評価の文のすべてでSpaceの1番目と同じでした。内蔵GPUの実機ではまだ確かめていません。Google日本語入力との同条件比較（v3.0.0で測定）は、前の文で正解が決まる同音語300問で274対133、日常の短文500問で461対434です。
公開と同じMSIで更新し、終了コード0・再起動なし。候補操作8項目、二重入力26回、Edgeの12件を確認しました（候補のクリック2件は未検証）。ライブ変換をオンにして、Spaceを押さずにEnterで確定した4文はすべて変換した文字で確定しました。
版・ソース・ハッシュ・受入れの記録 →固定変換器による開発評価
| AJIMEE-Bench・200問 | 正解数 |
|---|---|
| Standard・AI準備後・前文あり | 188/200（94.0%） |
| Standard・AI準備後・前文なし | 175/200（87.5%） |
| AIなし・前文なし（Mozc＋追加連語） | 103/200（51.5%） |
RTX 3060、指定した前文を渡すオフラインの調整・回帰用評価です。RC4対応sourceでも978出力の第一候補が全一致。正解候補の包含は前文なし189→193、あり193→195でした。第一候補正解数は変わりません。
起動直後や導入済みIMEの実アプリ精度ではなく、他IMEを含む最新比較は未実施です。
測定時点・固定ソース・原票 →引き続き確認すること。
実アプリでのGPU AI ON/OFF寄与、Officeなど未確認のアプリ、低性能実機、保護欄内部のAI/学習、旧版からの更新、再起動、独立した製品完成判定は未検証です。製品全体の完成宣言ではありません。
過去の実入力比較と旧版の評価（2026-10-01）
以下は当時のKotori beta.8と旧版の記録です。現在の版や94.0%を、この比較へ置き換えません。旧v1.1.3の更新内容は当時のReleaseへ。
Microsoft IME・Google日本語入力との実入力比較
AJIMEE-Benchの198問を実際にキー入力して比較した結果です。当時のKotori beta.8の正解率は88.4%、Microsoft IMEは59.6%、Google日本語入力は58.1%でした。
| IME | 難しい変換 198問 | 日常文 81問 | 同音語 40問 | 人名・新語 40問 | 打ち間違い 40問 |
|---|---|---|---|---|---|
| Kotori beta.8 / Unreal | 88.4% | 97.5% | 97.5% | 97.5% | 5.0% |
| Microsoft IME / Windows 11 | 59.6% | 86.4% | 82.5% | 82.5% | 5.0% |
| Google 日本語入力 3.34.6260 | 58.1% | 81.5% | 65.0% | 95.0% | 10.0% |
AJIMEE-Benchでは、どんな文を変換する？
単語を知っているだけでなく、文の意味に合う漢字を選ぶ必要があります。実際の評価データから3問を抜粋しました。
| 問題ID | 読み（原文） | 許容される正解の一例 | 難しさ |
|---|---|---|---|
| 1890 | カケイヲタスケルタメ、リョウシュノイエニホウコウシ | 家計を助けるため、領主の家に奉公し | 「かけい」「りょうしゅ」「ほうこう」を、家計・領主・奉公として文全体で選ぶ。 |
| 1982 | シュウシカテイホケンカガク | 修士課程保健科学 | 「しゅうしかてい」「ほけんかがく」を、大学院の修士課程・保健科学として選ぶ。 |
| 2128 | ノケッカ、ジャッカンジュウサンサイニシ | の結果、弱冠１３歳にし | 「じゃっかん」は、年齢を述べるこの文では「若干」ではなく「弱冠」。数字表記の許容解もある。 |
これは問題の難しさを示す例です。各IMEがこの3問にどう答えたかを示す出力ログではありません。上の正解率は全198問の集計です。
出典: azooKey/AJIMEE-Bench（固定版の評価データ）。元データ: 日本語Wikipedia入力誤りデータセット v2。読み・正解はCC BY-SA 3.0の抜粋、原文のまま。難しさの説明は当プロジェクトによるものです。
全IMEで、前の文を渡さず、Spaceを1回押した第1候補をEnterで確定して採点。数字・記号はNFKCで揃え、AJIMEE 200問のうち入力できない2問を除いた198問を比較しています。学習は既定設定のまま、問ごとにテキストとフォーカスをリセットしています。
この測定はbeta.8の記録です。後続の公開版を再測定した数値ではありません。同音語・人名・打ち間違いはプロジェクト独自の各40問です。打ち間違い補正ではMicrosoft IMEと同率、Google日本語入力を下回りました。
前の文ありの変換器評価（別条件）
| 評価 | Mozc単体 | Kotori Standard | 条件 |
|---|---|---|---|
| AJIMEE-Bench（200問） | 51.0% | 91.5% | 前の文あり |
| 日常文（81問） | 80.2% | 97.5% | 前の文あり |
| 最終評価用（300問） | 82.3% | 96.3% | 調整に使わないセット・前の文あり |
プロジェクトの公開測定値（2026年10月1日、RTX 3060）。当サイトの更新作業でIMEの品質評価を再実行したものではありません。方法・記録・誤変換例をご覧ください。