LLM Farm 4+

Artem Savkin

Σχεδιάστηκε για iPad

    • Δωρεάν

Στιγμιότυπα

Περιγραφή

LLMFarm is an iOS and MacOS app to work with large language models (LLM). It allows you to load different LLMs with certain parameters.

# Features
* Various inferences
* Various sampling methods
* Metal
* Model setting templates
* LoRA adapters support
* LoRA FineTune and Export

# Inferences
* LLaMA
* GPTNeoX
* Replit
* GPT2 + Cerebras
* Starcoder(Santacoder)
* RWKV (20B tokenizer)
* Falcon
* MPT
* Bloom
* StableLM-3b-4e1t
* Qwen
* Gemma
* Phi
* Mamba
* Others

# Multimodal
* LLaVA 1.5 models
* Obsidian
* MobileVLM 1.7B/3B models

Note: For Falcon, Alpaca, GPT4All, Chinese LLaMA / Alpaca and Chinese LLaMA-2 / Alpaca-2, Vigogne (French), Vicuna, Koala, OpenBuddy (Multilingual), Pygmalion/Metharme, WizardLM, Baichuan 1 & 2 + derivations, Aquila 1 & 2, Mistral AI v0.1, Refact, Persimmon 8B, MPT, Bloom select llama inferece in model settings.

Sampling methods
* Temperature (temp, tok-k, top-p)
* Tail Free Sampling (TFS)
* Locally Typical Sampling
* Mirostat
* Greedy
* Grammar (dont work with GGJTv3)

Τι νέο υπάρχει

Έκδοση 1.3.0

Changes:
* LLaMA.cpp updated to b3190
* Added support for DeepseekV2, GPTNeoX (Pythia and others)
* Added support for Markdown formatting
* Added support for using history in Shortcuts
* Added Flash Attention support
* Added NPredict option
* Save/Load context state. Now it is possible to continue the dialog with the model even after the program is reopened.
* Chat settings such as sampling are now applied without reloading the chat.
* Skip tokens option. Allows you to specify tokens that will not be displayed in the results. May be useful for phi3 and qwen.
* Metal and CPU inference improvements
* Sampling and eval improvements
* Some fixes for phi-3 and MiniCPM
* Fixed some errors
* Added Qwen template

Απόρρητο εφαρμογής

Ο δημιουργός «Artem Savkin» υπέδειξε ότι οι πρακτικές απορρήτου της εφαρμογής ενδέχεται να περιλαμβάνουν τον χειρισμό δεδομένων όπως περιγράφεται παρακάτω.Για περισσότερες πληροφορίες, δείτε την πολιτική απορρήτου δημιουργού.

Δεν συλλέγονται δεδομένα

Ο δημιουργός δεν συλλέγει κανένα δεδομένο από αυτήν την εφαρμογή.

Οι πρακτικές απορρήτου μπορεί να διαφέρουν, για παράδειγμα, βάσει των δυνατοτήτων που χρησιμοποιείτε ή της ηλικίας σας. Μάθετε περισσότερα

Ίσως σας αρέσει επίσης

Enchanted LLM
Εργαλεία δημιουργού
AWS IoT Sensors
Εργαλεία δημιουργού
ChatOnMac.com — AI Chat Bots
Εργαλεία δημιουργού
Server: Host Files Locally
Εργαλεία δημιουργού
Jellycuts
Εργαλεία δημιουργού
Device Info Tool
Εργαλεία δημιουργού