Pico AI Server LLM VLM MLX 12+

Die App "Pico KI-Server" basiert auf einer super Idee, die eindeutig Potenzial hat – insbesondere für KI-Begeisterte Tüftler. Aktuell gibt es aber noch Verbesserungspotenzial:
- Das Einrichten über die Open Web UI ist noch etwas hakelig, insbesondere für Anfänger. Eine detailliertere Anleitung oder eine vereinfachte Einstiegsseite würde helfen.
- Die MLX-Version sollte separat per Update vom Nutzer selbst bestimmt werden können, um Kompatibilitätprobleme zu vermeiden.
- Das Laden der MLX Modelle ist noch nicht komfortabel: Die Fortschrittsanzeige ist unklar, und die Speicherverwaltung könnte besser gestaltet werden.
Mein Fazit lautet: Für technisch interessierte Benutzer lohnt sich der Test – solange man ein bisschen Geduld mit der noch jungen App hat. Mit weiteren Updates könnten diese Hürden schnell überwunden sein! 😊

Das ist tolles Feedback! Aufgrund deines Feedbacks wird Open WebUI schon sehr bald direkt mit der App gebündelt. Es ist dann nicht mehr nötig, Open WebUI manuell zu installieren und einzurichten.
Der Fortschritt beim Herunterladen und die Fehlerbehandlung wurden seit deiner Bewertung ebenfalls verbessert.
Ich bin mir nicht sicher, was du mit der MLX-Version meinst. Falls du es noch nicht getan hast, tritt bitte dem Discord-Server bei und erkläre mir, was du damit meinst. Teile mir dort auch gerne weitere Ideen oder Wünsche mit.

…wie gebe ich wieder RAM frei?? Mein 64 GB M4 Pro Mac Mini hat nach dem Laden des ersten größeren Modells 30 GB Speicher für Pico reserviert. Nachdem ich das Modell gelöscht und kleiner Modelle installiert habe, ging der Speicherverbrauch nicht nach unten. Als ich dann ein KLEINES Modell (6 GB) geladen habe, sprang der RAM-Verbrauch von 30 auf 40 GB hoch. Also: Eigentlich toll, aber GIB MIR MEIN RAM ZURÜCK

Hey Strike,
vielen Dank, dass du dieses Problem gemeldet hast. Aufgrund deines Feedbacks werden Modelle jetzt automatisch nach 5 Minuten Inaktivität aus dem Speicher entfernt.

Du kannst den Timer in den Einstellungen anpassen – von sofortiger Löschung bis zu 8 Stunden.

Ich hatte gehofft, dass diese App endlich die neural engine (ANE) der Mx-Chips nutzen würde. Das ist aber leider nicht so. (Geprüft mit macmon. GPU wird zu 100% ausgelastet, ANE bleibt auf 0.)

Danke für Ihre Bewertung. Keine App auf Mac oder iOS nutzt die Apple Neural Engine (ANE) für LLMs. Die Tools existieren nicht. Alle Apps, einschließlich Pico, verwenden die GPU für LLM-Inferenz. Wenn MLX oder ein anderes natives Apple Silicon-Framework in Zukunft ANE unterstützen wird, werde ich es sicherlich hinzufügen. Allerdings können Text-Embedding-Modelle in Pico (eine Funktion, die derzeit auf TestFlight getestet wird und bald veröffentlicht wird) ANE nutzen. Beachten Sie, dass ANE strenge Anforderungen hat und das System letztendlich entscheidet, wie Modelle ausgeführt werden.