Skip to content
  1. Blog
  2. Maker & Vision

Maker & Vision#OCR#Python#macOS

Mac特定ウィンドウOCRが空文字を返す原因。Quartz+Tesseractの前処理とROI選択

Macでpyobjc(Quartz)とpytesseractを使って特定ウィンドウの文字を読む際、結果が空になった原因(文字サイズ・コントラスト不足)とselectROI・拡大・二値化での改善をまとめた。

Written by the site’s operator1 min read
Tesseract OCRの動作スクリーンショット
Tesseractは画像そのものより「文字をどう切り出して拡大・二値化するか」で結果が大きく変わるPhoto: Naga2raja / CC BY-SA 3.0 / Wikimedia Commons

Mac上の特定ウィンドウ(たとえば「iPhoneミラーリング」の画面など)をPythonから自動キャプチャし、表示されている文字をOCRで読み取ってテキスト化したい場合、pyobjc の Quartz.CGWindowListCopyWindowInfo と pytesseract(Tesseract OCR)の組み合わせが定番になる。ところが、いざウィンドウをキャプチャしてそのままTesseractへ渡してみると、画面にははっきり文字が映っているのに ---- OCR結果 ---- の下が空っぽのまま返ってくる現象にぶつかりやすい。

1. 文字が見えているのにOCR結果が空になる原因

Googleが開発しているオープンソースOCRエンジンのTesseractは、日本語を含む100以上の言語に対応しているが、印刷物やスキャン書類と違って「PCやスマホ画面のUIキャプチャ」をそのまま渡すと急に読めなくなることがある。

主な原因は3つあり、①文字のピクセルサイズが小さすぎる、②背景色と文字色のコントラストが弱い、③ウィンドウ内のボタンやアイコンなど余計な領域まで一緒に入っている、のどれか(または複合)で認識が空振りしやすい。ウィンドウを雑に横3分割して中央を切り出すやり方でも、余計なUIが混ざる問題は残る。

Quartzウィンドウ取得、cv2.selectROI範囲選択、2〜3倍拡大とadaptiveThreshold、TesseractとLLM連携の流れ
空文字出力の壁を越えるため、ROI絞り込み+2〜3倍リサイズ+適応二値化を挟む

2. selectROI+2〜3倍拡大+adaptiveThresholdで劇的に読める

この空文字の壁を突破するのに効いたのが、OpenCVを使った次の3段階の前処理だ。

ステップ使う関数・処理狙いと効果
① 範囲絞り込みcv2.selectROIマウスドラッグで「読みたい文字領域」だけを切り出す
② 文字拡大cv2.resize(2〜3倍)小さなUIフォントの潰れを防ぎTesseractの精度を上げる
③ 二値化強化グレースケール+cv2.adaptiveThreshold濃い背景やグラデーション上でも文字の輪郭をくっきり残す
Codepython
import cv2
import pytesseract

def ocr_from_roi(frame, roi):
    x, y, w, h = roi
    crop = frame[y:y+h, x:x+w]
    # 2.5倍に拡大して小さな文字の潰れを防ぐ
    enlarged = cv2.resize(crop, None, fx=2.5, fy=2.5, interpolation=cv2.INTER_CUBIC)
    gray = cv2.cvtColor(enlarged, cv2.COLOR_BGR2GRAY)
    # 背景色やグラデーションの影響を抑える適応二値化
    thresh = cv2.adaptiveThreshold(
        gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 15, 8
    )
    return pytesseract.image_to_string(thresh, lang="jpn+eng", config="--psm 6").strip()

3. OCR結果をそのままLLM APIへ繋ぐ自動化

Tesseractからきれいな日本語・英語テキストが返ってくるようになったら、その text 変数とあらかじめ用意したプロンプトを結合し、OpenAI APIやローカルのOllamaへ投げて返信をターミナルへ出力する流れがそのまま組める。

「画面の文章を目で読んで手打ちでプロンプトへ貼る」手間が丸ごと消えるため、英語アプリの翻訳補助やログの自動要約ツールとしても応用が効く。

4. Mac環境で動かすときの前提チェック

macOS側ではPythonスクリプトを実行するターミナルアプリに対して「画面収録」の権限許可が必要になる。また brew install tesseract 時に日本語学習データ(tesseract-lang / jpn.traineddata)を入れておかないと日本語が文字化けするため、環境準備の段階で先に確認しておくと手戻りがない。

読み取ったテキストの余分な空白や改行を整えたいときは、テキスト整形ツールで整形してから別の作業へ回すと扱いやすい。

Share this article
Share on X

Read next

Maker & Vision

OpenCV+Flaskで4画面監視カメラ。動体検出の誤報を減らすcontourArea調整

PythonのOpenCVとFlask(/video_feed)で通常・暗視・拡大・動体検出の4画面ストリームを組み、MOG2背景差分の誤検知をcontourAreaのトラックバーで抑えた記録。

#OpenCV#Python
PC & Local AI

RTX 3060 12GBでOllamaを動かすとき、コンテキスト長とモデル選びはどう決めるか

RTX 3060 12GB+RAM 32GB環境でOllamaを動かす際、GPU使用率93%ではなく専用VRAM空き(8.7/12.0GB)を見て32Kから48Kへ上げる判断と、9B/30B MoEモデルの使い分けを整理した。

#Ollama#ローカルLLM
Network

VPNはどこまで通せて、なぜ全部は抜けないのか。TrueNAS上のTailscaleが学校フィルタリングで止まる仕組み

「VPNを繋げばどんな制限も回避できる」わけではない理由を、Tailscale(WireGuard)の通信構造・Exit Node・UDP遮断・DPI(ディープパケットインスペクション)・VPNプロトコルごとの違いから整理した。

#VPN#Tailscale
Essays & Notes

AI文章っぽい定型句を避けて、ChatGPT過去ログの「実測と失敗」を一次記事にする

AI生成文章に出やすい導入定型句の傾向を確認しつつ、一般論の焼き直しではなく自分のChatGPTエクスポートに眠る実機検証や失敗談をブログ記事へ起こす編集方針をまとめた。

#ライティング#ブログ運営
Essays & Notes

なぜ減価償却で「100万円使って赤字」ではなく1円(備忘価額)を残すのか

設備投資した年の現金支出(キャッシュフロー)と本業の稼ぐ力(損益計算)を切り分ける減価償却の意味と、償却完了後に帳簿へ1円(備忘価額)を残す理由、建物の定額法統一を整理した。

#会計#減価償却
Essays & Notes

「6時半」に違和感がないのにデンマーク語の20進数を奇妙に感じるのはなぜか

時(24進)+分(60進)+半(2進)の雑種である「6時半」は自然なのに、デンマーク語の50・70・90の20進数表現を難しく感じる理由を「パターン認識と文化バイアス」から考察した。

#数学#認知科学

All articles