コンテンツへスキップ
  1. ブログ
  2. PC・ローカルAI

PC・ローカルAI#Ollama#ローカルLLM#RTX 3060

RTX 3060 12GBでOllamaを動かすとき、コンテキスト長とモデル選びはどう決めるか

RTX 3060 12GB+RAM 32GB環境でOllamaを動かす際、GPU使用率93%ではなく専用VRAM空き(8.7/12.0GB)を見て32Kから48Kへ上げる判断と、9B/30B MoEモデルの使い分けを整理した。

StemStudio の中の人3分で読める
Ollamaの公式アイコン
ローカルLLMはパラメータ数だけでなく、VRAM 12GBに収まるコンテキスト長の見極めが効く

手元のRTX 3060(VRAM 12GB)+メインメモリ32GBという構成でOllamaを動かし、リポジトリ全体を読ませて複数ファイルをまたぐ開発支援を回していると、「今の設定からコンテキスト長をまだ増やせるか」「どのサイズのモデルを選ぶのが現実的か」という線引きに必ず突き当たる。GPU使用率の表示だけを見て限界だと誤解しがちだが、実際に速度と安定性を決めているのは専用VRAMの空き容量とモデルの構造だ。

1. GPU使用率ではなく「専用VRAM 8.7 / 12.0 GB」を見る

タスクマネージャや監視ツールで「GPU使用率 93%・温度 67度」と出ていると、一見するとマシンが限界スレスレで悲鳴を上げているように見える。しかしLLMの推論中はGPUコアをフル回転させるため、使用率が90〜100%に張り付くこと自体は正常な挙動だ。

コンテキスト長(Context Length)を増やす余地があるかを見極めるうえで本当に見るべきなのは、専用VRAMの使用量になる。実測で専用VRAMが 8.7 / 12.0 GB(空き約3.3GB・共有GPUメモリ 0.8 / 16.0 GB)に収まっている状態なら、まだ3GB以上の余裕がある。32K前提で動かしている環境なら、まず48Kへ引き上げてもVRAM内に収まりきる可能性が高い。

RTX 3060 12GB環境でのVRAM空き容量とコンテキスト長(32K/48K/96K)および9B/30B MoE比較図
専用VRAM 8.7/12.0GBの余裕があれば48Kまで伸ばせる一方、96K以上はRAM退避で急減速する
この記事を共有・保存
X で共有

あわせて読みたい

電子工作・画像認識

Mac特定ウィンドウOCRが空文字を返す原因。Quartz+Tesseractの前処理とROI選択

Macでpyobjc(Quartz)とpytesseractを使って特定ウィンドウの文字を読む際、結果が空になった原因(文字サイズ・コントラスト不足)とselectROI・拡大・二値化での改善をまとめた。

#OCR#Python
思考・物理・会計

AI文章っぽい定型句を避けて、ChatGPT過去ログの「実測と失敗」を一次記事にする

AI生成文章に出やすい導入定型句の傾向を確認しつつ、一般論の焼き直しではなく自分のChatGPTエクスポートに眠る実機検証や失敗談をブログ記事へ起こす編集方針をまとめた。

#ライティング#ブログ運営
ネット・セキュリティ

VPNはどこまで通せて、なぜ全部は抜けないのか。TrueNAS上のTailscaleが学校フィルタリングで止まる仕組み

「VPNを繋げばどんな制限も回避できる」わけではない理由を、Tailscale(WireGuard)の通信構造・Exit Node・UDP遮断・DPI(ディープパケットインスペクション)・VPNプロトコルごとの違いから整理した。

#VPN#Tailscale
思考・物理・会計

なぜ減価償却で「100万円使って赤字」ではなく1円(備忘価額)を残すのか

設備投資した年の現金支出(キャッシュフロー)と本業の稼ぐ力(損益計算)を切り分ける減価償却の意味と、償却完了後に帳簿へ1円(備忘価額)を残す理由、建物の定額法統一を整理した。

#会計#減価償却
思考・物理・会計

「6時半」に違和感がないのにデンマーク語の20進数を奇妙に感じるのはなぜか

時(24進)+分(60進)+半(2進)の雑種である「6時半」は自然なのに、デンマーク語の50・70・90の20進数表現を難しく感じる理由を「パターン認識と文化バイアス」から考察した。

#数学#認知科学
電子工作・画像認識

Bambu Lab「ホリデーPETGお楽しみBOX」4,840円の開封結果とまとめ買い最大45%OFFの単価比較

Bambu LabのホリデーPETGお楽しみBOX(4,840円・4kg)の実際の開封結果(Basic Yellow / Matte White / Translucent Teal / Basic Navy Blue)と、通常まとめ買い(最大45%OFF)の単価・質感比較をまとめた。

#3Dプリンタ#Bambu Lab

ブログのトップへ