48 GB のメモリ（RAM）でローカル翻訳に最適な LLM とその構成例
前提
- 48 GB は システム RAM（CPU メモリ）と仮定しています。GPU の VRAM が 8 GB しかない、あるいは GPU が無い環境でも問題ありません。
- 「翻訳」だけでなく、プロンプトが長くならない程度の対話や要約も同時に行う想定です。
- ローカルで高速に動かす ことが目的なので、量子化（4‑bit / 8‑bit） と CPU‑オンリー／CPU+GPU ハイブリッド の組み合わせが最も現実的です。
1️⃣ メモリ容量とモデルサイズの関係（目安）
| モデル（パラメータ数） | フル FP16（16‑bit） → 必要 RAM (GB) | Q4_0 4‑bit 量子化 → 必要 RAM (GB) | Q8_0 8‑bit 量子化 → 必要 RAM (GB) |
|---|---|---|---|
| LLaMA‑2 7B | 13 GB (≈ 2 × 7 B × 2 byte) | 3.5 GB | 7 GB |
| LLaMA‑2 13B | 24 GB | 6 GB | 12 GB |
| LLaMA‑2 30B | 55 GB (フルは不可) | 14 GB | 28 GB |
| LLaMA‑2 70B | 128 GB (フルは不可) | 35 GB | 70 GB (GPU があれば一部ロード) |
| Mistral‑7B | 13 GB | 3.5 GB | 7 GB |
| Mixtral‑8×7B (MoE) | 50 GB（フルは不可） | 13 GB（4‑bit） | 26 GB（8‑bit） |
| NLLB‑200 (翻訳特化) | 70 GB（70B パラメータ） | 20 GB（4‑bit） | 40 GB（8‑bit） |
結論：
- **48 GB の RAM なら 70 B パラメータのモデルを 4‑bit 量子化（Q4_0） でほぼフルロード可能です。
- 13 B か 30 B の 8‑bit 量子化 でも十分に余裕があり、CPU のみでも安定して動作します。
- 翻訳タスクに特化したモデル（例：Meta の NLLB‑200、Facebook の M2M100、または Mistral‑7B‑Instruct）は 7‑13 B 程度で十分高品質です。
2️⃣ 翻訳タスクでおすすめのモデルと入手先
| モデル | 主な特徴 | 推奨量子化 | ダウンロード先 (Ollama / HuggingFace) |
|---|---|---|---|
| NLLB‑200-3.3B (4‑bit) | 200 言語 → 3.3 B パラメータの多言語翻訳モデル（Meta） | q4_0 (≈ 1 GB) | https://huggingface.co/facebook/nllb-200-3.3B |
| NLLB‑200-7.5B (Q4_0) | 高品質・200 言語、7.5 B パラメータ | q4_0 (≈ 2 GB) | 同上 |
| Mistral‑7B‑Instruct | 7 B パラメータ、指示チューニング済み。多言語対応は 10+ 言語。 | q4_0 (≈ 3 GB) | https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2 |
| LLaMA‑2‑13B‑Chat (Q4_0) | 高い言語理解力と生成品質。英日・英中の翻訳で十分。 | q4_0 (≈ 6 GB) | https://huggingface.co/meta-llama/Llama-2-13b-chat-hf |
| Mixtral‑8×7B (MoE, Q4_0) | 8×7 B の MoE（専門化）で 56 B 相当の性能。多言語タスクでも安定。 | q4_0 (≈ 13 GB) | https://huggingface.co/mistralai/Mixtral-8x7B-v0.1 |
| LLaMA‑2‑70B‑Q4_0 | 70 B のフルスケールモデル。翻訳だけでなく、長文要約や文体変換も実行可能。 | q4_0 (≈ 35 GB) | https://ollama.com/library/llama2:70b-q4_0 (Ollama) |
注意：NLLB 系は「翻訳」特化なので、翻訳品質が他汎用モデルに比べて高い ことが多いです。
7‑13 B の汎用モデル（Mistral、LLaMA‑2）でもプロンプトに「Translate English to Japanese:」と指示すれば十分な結果が得られます。
3️⃣ 実装例（Ollama + 4‑bit 量子化）
3‑1. Ollama のインストール（すでに済んでいるならスキップ）
powershell
iwr -useb https://ollama.com/install.ps1 | iex # Windows PowerShell
iwr -useb https://ollama.com/install.ps1 | iex # Windows PowerShell
3‑2. 4‑bit 量子化モデルをプル（例：NLLB‑200‑7.5B）
powershell
# NLLB‑200‑7.5B (4‑bit) 版を取得
ollama pull nllb:7.5b-q4_0
# もしくは 13B LLaMA2
ollama pull llama2:13b-q4_0
# NLLB‑200‑7.5B (4‑bit) 版を取得
ollama pull nllb:7.5b-q4_0
# もしくは 13B LLaMA2
ollama pull llama2:13b-q4_0
ollama listで取得したモデルの名前と量子化タイプを確認してください。
3‑3. 翻訳用プロンプト例
powershell
ollama run nllb:7.5b-q4_0 <<< "Translate the following English sentence to Japanese:\nThe quick brown fox jumps over the lazy dog."
ollama run nllb:7.5b-q4_0 <<< "Translate the following English sentence to Japanese:\nThe quick brown fox jumps over the lazy dog."
結果はすぐに標準出力に表示されます。
対話モードで続けて翻訳したい文を入れれば、同じモデルがそのまま使われます。
3‑4. CPU‑オンリーで実行したいとき（GPU が無い／使いたくない場合）
powershell
# 環境変数で GPU 使用をオフにする
$env:OLLAMA_GPU_LAYERS="0"
ollama run llama2:13b-q4_0
# 環境変数で GPU 使用をオフにする
$env:OLLAMA_GPU_LAYERS="0"
ollama run llama2:13b-q4_0
CPU のみの場合は スレッド数 を増やすと高速化できます。
powershell
$env:OLLAMA_NUM_THREADS="12" # 12 スレッド使用 (CPU が 12 コア以上のとき)
$env:OLLAMA_NUM_THREADS="12" # 12 スレッド使用 (CPU が 12 コア以上のとき)
4️⃣ 48 GB RAM で実際にロードできる模型例（概算）
| モデル名 | 量子化 | 必要 RAM (GB) | 期待される推論速度 (トークン/秒) | 備考 |
|---|---|---|---|---|
| NLLB‑200‑7.5B‑Q4_0 | Q4_0 | ≈ 2 GB | 130‑200 (CPU) / 300‑450 (GPU があれば) | 多言語翻訳に最適 |
| Mistral‑7B‑Instruct‑Q4_0 | Q4_0 | ≈ 3.5 GB | 150‑250 (CPU) / 300‑500 (GPU) | 汎用・指示チューニング済 |
| LLaMA‑2‑13B‑Q4_0 | Q4_0 | ≈ 6 GB | 120‑200 (CPU) / 250‑400 (GPU) | 高品質対話・翻訳 |
| Mixtral‑8×7B‑Q4_0 | Q4_0 | ≈ 13 GB | 100‑180 (CPU) / 220‑350 (GPU) | MoE で 56 B 相当の性能 |
| LLaMA‑2‑70B‑Q4_0 | Q4_0 | ≈ 35 GB | 30‑80 (CPU) / 80‑150 (GPU) | 大規模な文脈が必要なときのみ推奨 |
| Full‑FP16 LLaMA‑2‑30B | FP16 | ≈ 55 GB → RAM が足りない | – | 48 GB では不可能 |
実際の速度は CPU / GPU の性能、スレッド数、コンテキスト長に依存します。
翻訳は 入力が数十トークン程度なので、コンテキスト長は 1024 〜 2048 に抑えておけばメモリ使用は余裕です。
5️⃣ さらに品質を上げたいときのオプション
| 手段 | 内容 | 具体例 |
|---|---|---|
| LoRA/PEFT で日本語翻訳に特化 | 既存の大規模モデルに小規模な追加パラメータだけ学習させ、翻訳性能を向上させる。 | peft で Mistral‑7B に日本語↔英語 LoRA を 2‑3 GB だけ適用 |
| プロンプトエンジニアリング | 「You are a professional translator. Translate the following …」と指示を明確化 | Translate the following English paragraph to Japanese, keeping the same style: |
| 事前トークン圧縮（In‑Context Summarization） | 長文を「要約 → 翻訳」順に分割すれば、1 回のリクエストで必要なトークン数が減り、メモリ負荷が小さくなる | Summarize → Translate パイプラインを自作 |
| ベクトル検索＋RAG | 以前に翻訳した文をベクトル DB に格納し、類似文を検索してそれを参考に生成 | FAISS + langchain で「過去の翻訳例」活用 |
6️⃣ よくある質問（FAQ）
| 質問 | 回答 |
|---|---|
| GPU が 8 GB しかなくても 70 B を走らせられますか？ | 4‑bit 量子化 (q4_0) で 35 GB 程度必要です。GPU が 8 GB では 全体を GPU に載せられないので、OLLAMA_GPU_LAYERS を 10‑15 程度に設定し、残りは CPU にオフロードします。速度は数秒〜十数秒です。 |
| RAM が 48 GB でも 70 B のフル FP16 は無理ですか？ | はい。FP16 では 70 B が ≈ 128 GB 必要です。量子化しない限りメモリが足りません。 |
| 4‑bit 量子化で品質が落ちました | q8_0 に切り替えると品質はほぼ元の 50‑70 % 回復しますが、必要メモリは倍に増える（≈ 70 GB → 35 GB）。48 GB なら q8_0 で 30 B か q4_0 で 70 B のどちらかを選択し、品質と速度のトレードオフを評価してください。 |
| 翻訳だけなら 7 B で十分でしょうか？ | 多くの実務翻訳タスク（英↔日、英↔中）では 7 B～13 B のモデルで BLEU 30‑35 程度はすでに出せます。特に NLLB‑200‑3.3B の品質は「一般的な文章」では BLEU 28‑33 です。 |
| モデルをローカルに置くとハードディスクが足りなくなる | 量子化モデルは 40‑50 GB 程度です。外付け SSD（1 TB 以上）に OLLAMA_MODELS ディレクトリを移すと安全です。OLLAMA_MODELS=E:\ollama_models のように環境変数でパスを変更できます。 |
7️⃣ まとめ：48 GB のシステムで「翻訳」に最適な構成
| 目的 | 推奨モデル | 量子化形式 | 必要 RAM | 実装の簡易度 |
|---|---|---|---|---|
| 最高品質・多言語 | NLLB‑200‑7.5B | q4_0 (≈ 2 GB) | 2‑3 GB | ★★（Ollama で ollama pull nllb:7.5b-q4_0 → すぐ実行） |
| 高速・汎用 | Mistral‑7B‑Instruct | q4_0 (≈ 3.5 GB) | ≈ 4 GB | ★★ |
| 大規模文脈・高精度 | LLaMA‑2‑13B‑Chat | q4_0 (≈ 6 GB) | ≈ 7 GB | ★★★ |
| 最上位（70 B） | LLaMA‑2‑70B | q4_0 (≈ 35 GB) | ≈ 36 GB | ★★★★★（GPU が 8 GB なら OLLAMA_GPU_LAYERS でハイブリッド実行） |
実践ステップ（例：NLLB‑200‑7.5B）
powershell
# 1. 環境変数 (CPU だけで実行したい場合)
$env:OLLAMA_GPU_LAYERS="0" # GPU が無いか使いたくないとき
# 2. 量子化モデル取得
ollama pull nllb:7.5b-q4_0
# 3. 翻訳実行
ollama run nllb:7.5b-q4_0 <<< "Translate to Japanese: The new software update improves security and performance."
# 1. 環境変数 (CPU だけで実行したい場合)
$env:OLLAMA_GPU_LAYERS="0" # GPU が無いか使いたくないとき
# 2. 量子化モデル取得
ollama pull nllb:7.5b-q4_0
# 3. 翻訳実行
ollama run nllb:7.5b-q4_0 <<< "Translate to Japanese: The new software update improves security and performance."
この構成なら メモリ 48 GB の PC 用に余裕があり、数秒で結果が返ります。翻訳タスクが中心であれば、NLLB‑200 系が最も手軽で高品質です。もし「もっと長い文書や特殊分野（医療・法律など）の翻訳」も必要になれば、LLaMA‑2‑13B‑Chat に切り替えて LoRA で微調整するとさらに精度が上がります。
次にやるべきこと
- モデルをプル（上記いずれか）。
ollama psでロード状態を確認。- 翻訳プロンプト を試し、速度と品質を評価。
- 必要に応じて
OLLAMA_GPU_LAYERSやOLLAMA_KV_CACHE_TYPEを微調整。
不明点やエラーメッセージ（例：CUDA out of memory、OOM）が出たら、具体的なログを教えていただければさらに細かく対処法をご案内します。Happy translating!
