Private LLM - Local AI Chatbot 17+

Jetzt mit Modellen auf Basis von Llama 3.2 1B, Llama 3.2 3B und Gemma 2 9B.

Lernen Sie Private LLM kennen: Ihr sicherer, offline KI-Assistent für macOS

Private LLM bringt fortschrittliche KI-Funktionen direkt auf Ihr iPhone, iPad und Mac – und das, während Ihre Daten privat und offline bleiben. Mit einem einmaligen Kauf und ohne Abonnements erhalten Sie einen persönlichen KI-Assistenten, der vollständig auf Ihrem Gerät funktioniert.

Hauptfunktionen:

- Lokale KI-Funktionalität: Interagieren Sie mit einem fortschrittlichen KI-Chatbot, ohne eine Internetverbindung zu benötigen. Ihre Gespräche bleiben auf Ihrem Gerät und gewährleisten vollständige Privatsphäre.

- Große Auswahl an KI-Modellen: Wählen Sie aus verschiedenen Open-Source-LLM-Modellen wie Llama 3.2, Llama 3.1, Google Gemma 2, Microsoft Phi-3, Mistral 7B und StableLM 3B. Jedes Modell ist für iOS- und macOS-Hardware optimiert und verwendet die fortschrittliche OmniQuant-Quantisierung, die eine überlegene Leistung im Vergleich zu herkömmlichen RTN-Quantisierungsmethoden bietet.

- Siri- und Kurzbefehle-Integration: Erstellen Sie KI-gesteuerte Workflows, ohne Code zu schreiben. Verwenden Sie Siri-Befehle und Apple-Kurzbefehle, um die Produktivität bei Aufgaben wie Textanalyse und -erstellung zu steigern.

- Keine Abonnements oder Logins: Genießen Sie vollen Zugriff mit einem einmaligen Kauf. Keine Notwendigkeit für Abonnements, Konten oder API-Schlüssel. Mit der Familienfreigabe können bis zu sechs Familienmitglieder die App nutzen.

- KI-Sprachdienste auf macOS: Nutzen Sie KI-gestützte Werkzeuge für Grammatikkorrekturen, Zusammenfassungen und mehr in verschiedenen macOS-Anwendungen und in mehreren Sprachen.

- Überlegene Leistung mit OmniQuant: Profitieren Sie von dem fortschrittlichen OmniQuant-Quantisierungsprozess, der die Gewichtungsverteilung des Modells beibehält und schnellere und genauere Antworten liefert. Damit übertrifft Private LLM Apps, die standardmäßige Quantisierungstechniken verwenden.

Unterstützte Modellfamilien:

- Llama 3.2 basierte Modelle
- Llama 3.1 basierte Modelle
- Phi-3 basierte Modelle
- Google Gemma 2 basierte Modelle
- Mixtral 8x7B basierte Modelle
- CodeLlama 13B basierte Modelle
- Solar 10.7B basierte Modelle
- Mistral 7B basierte Modelle
- StableLM 3B basierte Modelle
- Yi 6B basierte Modelle
- Yi 34B basierte Modelle

Für eine vollständige Liste der unterstützten Modelle, einschließlich detaillierter Spezifikationen, besuchen Sie bitte privatellm.app/models.

Private LLM ist eine bessere Alternative zu generischen llama.cpp- und MLX-Wrapper-Apps wie Ollama, LLM Farm, LM Studio, RecurseChat usw. in drei Bereichen:
1. Private LLM verwendet eine schnellere mlc-llm-basierte Inferenz-Engine.
2. Alle Modelle in Private LLM sind mit dem fortschrittlichen OmniQuant-Quantisierungsalgorithmus quantisiert, während konkurrierende Apps eine naive Rundung-zum-nächsten-Quantisierung verwenden.
3. Private LLM ist eine vollständig native App, die mit C++, Metal und Swift entwickelt wurde, während viele der konkurrierenden Apps auf (aufgeblähten) Electron-basierten Apps basieren.

Optimiert für Apple Silicon Macs mit dem Apple M1 Chip oder neuer, liefert Private LLM für macOS die beste Leistung. Benutzer älterer Intel-Macs ohne eGPUs könnten eine verminderte Leistung feststellen.