Private LLM - ローカルAIチャットボッ‪ト‬ 17+

Llama 3.2 1B、Llama 3.2 3B、Gemma 2 9B ベースのモデルが登場。

プライベート LLM をご紹介：macOS 用の安全でオフラインの AI アシスタント

Private LLM は、iPhone、iPad、Mac に高度な AI 機能をもたらし、データをプライベートかつオフラインに保ちます。一度の購入で、サブスクリプションなしで、完全にデバイス上で動作する個人的な AI アシスタントを手に入れることができます。

主な機能:

- ローカル AI 機能: インターネット接続が不要な高度な AI チャットボットと対話します。会話はデバイス上に留まり、完全なプライバシーが保証されます。

- 幅広い AI モデル: Llama 3.2、Llama 3.1、Google Gemma 2、Microsoft Phi-3、Mistral 7B、StableLM 3B など、さまざまなオープンソースの LLM モデルから選択できます。各モデルは高度な OmniQuant 量子化を使用して iOS および macOS のハードウェアに最適化されており、従来の RTN 量子化法よりも優れたパフォーマンスを発揮します。

- Siri とショートカットの統合: コードを書かずに AI 駆動のワークフローを作成できます。Siri コマンドや Apple ショートカットを使用して、テキスト解析や生成などのタスクで生産性を向上させます。

- サブスクリプションやログイン不要: 一度の購入でフルアクセスが可能です。サブスクリプション、アカウント、API キーは必要ありません。さらに、ファミリー共有により、最大 6 人の家族がアプリを利用できます。

- macOS での AI 言語サービス: さまざまな macOS アプリケーションで、文法の修正や要約などの AI ツールを多言語で利用できます。

- OmniQuant による優れたパフォーマンス: モデルの重み分布を保持する高度な OmniQuant 量子化プロセスにより、より高速かつ正確な応答を実現し、標準的な量子化技術を使用するアプリを凌駕します。

サポートされているモデルファミリー:

- Llama 3.2 ベースのモデル
- Llama 3.1 ベースのモデル
- Phi-3 ベースのモデル
- Google Gemma 2 ベースのモデル
- Mixtral 8x7B ベースのモデル
- CodeLlama 13B ベースのモデル
- Solar 10.7B ベースのモデル
- Mistral 7B ベースのモデル
- StableLM 3B ベースのモデル
- Yi 6B ベースのモデル
- Yi 34B ベースのモデル

サポートされているモデルの詳細な仕様を含む完全なリストについては、privatellm.app/models をご覧ください。

Private LLM は、一般的な llama.cpp や MLX ラッパーアプリ (Ollama、LLM Farm、LM Studio、RecurseChat など) よりも以下の 3 点で優れています:
1. Private LLM は、より高速な mlc-llm ベースの推論エンジンを使用しています。
2. Private LLM のすべてのモデルは、最先端の OmniQuant 量子化アルゴリズムを使用して量子化されていますが、競合アプリは単純なラウンドトゥニアレスト量子化を使用しています。
3. Private LLM は、C++、Metal、および Swift を使用して完全にネイティブに構築されたアプリであり、多くの競合アプリが (肥大化した) Electron ベースのアプリであるのに対し、より軽量です。

Apple M1 チップ以降を搭載した Apple Silicon Mac に最適化されているため、macOS 用の Private LLM は最高のパフォーマンスを発揮します。eGPU のない古い Intel Mac では、パフォーマンスが低下する場合があります。