Mac上の特定ウィンドウ(たとえば「iPhoneミラーリング」の画面など)をPythonから自動キャプチャし、表示されている文字をOCRで読み取ってテキスト化したい場合、pyobjc の Quartz.CGWindowListCopyWindowInfo と pytesseract(Tesseract OCR)の組み合わせが定番になる。ところが、いざウィンドウをキャプチャしてそのままTesseractへ渡してみると、画面にははっきり文字が映っているのに ---- OCR結果 ---- の下が空っぽのまま返ってくる現象にぶつかりやすい。
1. 文字が見えているのにOCR結果が空になる原因
Googleが開発しているオープンソースOCRエンジンのTesseractは、日本語を含む100以上の言語に対応しているが、印刷物やスキャン書類と違って「PCやスマホ画面のUIキャプチャ」をそのまま渡すと急に読めなくなることがある。
主な原因は3つあり、①文字のピクセルサイズが小さすぎる、②背景色と文字色のコントラストが弱い、③ウィンドウ内のボタンやアイコンなど余計な領域まで一緒に入っている、のどれか(または複合)で認識が空振りしやすい。ウィンドウを雑に横3分割して中央を切り出すやり方でも、余計なUIが混ざる問題は残る。

2. selectROI+2〜3倍拡大+adaptiveThresholdで劇的に読める
この空文字の壁を突破するのに効いたのが、OpenCVを使った次の3段階の前処理だ。
| ステップ | 使う関数・処理 | 狙いと効果 |
|---|---|---|
| ① 範囲絞り込み | cv2.selectROI | マウスドラッグで「読みたい文字領域」だけを切り出す |
| ② 文字拡大 | cv2.resize(2〜3倍) | 小さなUIフォントの潰れを防ぎTesseractの精度を上げる |
| ③ 二値化強化 | グレースケール+cv2.adaptiveThreshold | 濃い背景やグラデーション上でも文字の輪郭をくっきり残す |
import cv2
import pytesseract
def ocr_from_roi(frame, roi):
x, y, w, h = roi
crop = frame[y:y+h, x:x+w]
# 2.5倍に拡大して小さな文字の潰れを防ぐ
enlarged = cv2.resize(crop, None, fx=2.5, fy=2.5, interpolation=cv2.INTER_CUBIC)
gray = cv2.cvtColor(enlarged, cv2.COLOR_BGR2GRAY)
# 背景色やグラデーションの影響を抑える適応二値化
thresh = cv2.adaptiveThreshold(
gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 15, 8
)
return pytesseract.image_to_string(thresh, lang="jpn+eng", config="--psm 6").strip()3. OCR結果をそのままLLM APIへ繋ぐ自動化
Tesseractからきれいな日本語・英語テキストが返ってくるようになったら、その text 変数とあらかじめ用意したプロンプトを結合し、OpenAI APIやローカルのOllamaへ投げて返信をターミナルへ出力する流れがそのまま組める。
「画面の文章を目で読んで手打ちでプロンプトへ貼る」手間が丸ごと消えるため、英語アプリの翻訳補助やログの自動要約ツールとしても応用が効く。
4. Mac環境で動かすときの前提チェック
macOS側ではPythonスクリプトを実行するターミナルアプリに対して「画面収録」の権限許可が必要になる。また brew install tesseract 時に日本語学習データ(tesseract-lang / jpn.traineddata)を入れておかないと日本語が文字化けするため、環境準備の段階で先に確認しておくと手戻りがない。
読み取ったテキストの余分な空白や改行を整えたいときは、テキスト整形ツールで整形してから別の作業へ回すと扱いやすい。






