Private LLM - Local AI Chatbot 17+

Name: Private LLM - Local AI Chatbot
Price: 9.99 USD
Rating: 4.7 (110 reviews)
Author: Numen Technologies Limited

Chatbot de IA Privado y Seguro

Numen Technologies Limited

- 4.7 • 110 calificaciones

- $9.99

Descripción

Descubre Private LLM, tu asistente de IA seguro y privado para iPhone, iPad y macOS. Diseñado para impulsar tu productividad y creatividad mientras asegura tu privacidad, Private LLM es una compra única que ofrece un universo de capacidades de IA sin suscripciones. Nuestro chatbot utiliza IA de vanguardia en el dispositivo para mantener tus interacciones confidenciales y completamente fuera de línea, compatible con todos tus dispositivos Apple.

¿Por qué elegir Private LLM?

- Diversos modelos de IA a tu mando: Selecciona de una amplia gama de familias de modelos LLM de código abierto como Google Gemma 2B, Mixtral 8x7B, Mistral 7B, Llama 2 (7B, 13B y 33B), CodeLlama 13B, Solar 10.7B y Phi 2 3B. Personaliza tu experiencia de IA para el brainstorming creativo, asistencia de codificación o consultas diarias.

- Integración fluida con Siri y Shortcuts: Mejora tus interacciones de IA con comandos de Siri y Shortcuts personalizables, haciendo a tu asistente digital más integrado y accesible dentro de tu ecosistema Apple.

- Prompts de sistema personalizables: Ajusta las respuestas e interacciones de tu IA a tu gusto con prompts de sistema personalizables, atendiendo a tus necesidades y preferencias específicas.

- Completa privacidad y seguridad: Private LLM confina tus conversaciones a tu dispositivo, proporcionando una privacidad sin igual. Nuestra IA en el dispositivo permite una computación potente sin compromiso de datos o necesidad de una conexión a internet.

- Family Sharing y funcionalidad offline: Una compra única que admite Family Sharing. Descarga modelos según sea necesario y disfruta de la funcionalidad completa del asistente de IA, incluso sin conexión.

- Corrección de gramática y resumen en todo el sistema: Ofrece corrección de gramática, resumen, acortamiento de textos y reformulación dentro de cualquier aplicación en tu Mac.

Private LLM es más que un chatbot; es un compañero de IA integral que respeta tu privacidad mientras ofrece asistencia versátil y bajo demanda. Ya sea para escritura creativa, solución de problemas de programación complejos o consultas generales, Private LLM se adapta a tus necesidades, asegurando que tus datos permanezcan seguros y en tu dispositivo. Embárcate en un viaje con Private LLM hoy y eleva tu productividad y proyectos creativos con el asistente de IA más privado para dispositivos macOS y iOS.

Aprovechando los modelos cuantizados de última generación Omniquant, Private LLM es una aplicación nativa de Mac que supera a otras con una generación de texto superior, un rendimiento más rápido y una integración más profunda en comparación con aplicaciones que utilizan modelos cuantizados RTN genéricos como Ollama y LMStudio.

Modelos compatibles:

- Modelos basados en Google Gemma
- Modelos basados en Mixtral 8x7B
- Modelos basados en Llama 33B
- Modelos basados en Llama 2 13B
- Modelos basados en CodeLlama 13B
- Modelos basados en Llama 2 7B
- Modelos basados en Solar 10.7B
- Modelos basados en Phi 2 3B
- Modelos basados en Mistral 7B
- Modelos basados en StableLM 3B
- Modelos basados en Yi 6B
- Modelos basados en Yi 34B

Para obtener una lista completa de los modelos compatibles, incluyendo especificaciones detalladas, por favor visite nuestro sitio web.

Optimizado para Macs con Apple Silicon M1 o posterior, Private LLM para macOS ofrece el mejor rendimiento. Los usuarios de Macs Intel antiguos sin eGPUs pueden experimentar un rendimiento reducido.

19 jun 2024

Versión 1.8.8

- Soporte para descargar 12 nuevos modelos (el soporte varía según las capacidades del dispositivo).
- Versión cuantificada de 4 bits OmniQuant de Mistral 7B Instruct v0.3
- Versión cuantificada de 4 bits OmniQuant de Meta-Llama-3-8B-Instruct-abliterated-v3
- Versión cuantificada de 4 bits OmniQuant de Llama-3-8B-Instruct-MopeyMule
- Versión cuantificada de 4 bits OmniQuant de openchat-3.6-8b-20240522
- Versión cuantificada de 4 bits OmniQuant de Llama-3-WhiteRabbitNeo-8B-v2.0
- Versión cuantificada de 4 bits OmniQuant de Hermes-2-Theta-Llama-3-8B
- Versión cuantificada de 4 bits OmniQuant de LLaMA3-iterative-DPO-final
- Versión cuantificada de 4 bits OmniQuant de Hathor_Stable-v0.2-L3-8B
- Versión cuantificada de 4 bits OmniQuant de NeuralDaredevil-8B-abliterated
- Versiones cuantificadas de 3 y 4 bits OmniQuant de Smaug-Llama-3-70B-Instruct
- Versiones cuantificadas de 3 y 4 bits OmniQuant de Smaug-Llama-3-70B-Instruct-abliterated-v3
- Versiones cuantificadas de 3 y 4 bits OmniQuant de Cat-Llama-3-70B-instruct
- Pequeñas mejoras en la interfaz de usuario
- Mejoras de estabilidad y corrección de errores.

Gracias por elegir Private LLM. Nos comprometemos a seguir mejorando la aplicación y a hacerla más útil para usted. Para solicitudes de soporte y sugerencias de características, no dude en enviarnos un correo electrónico a support@numen.ie o tuitearnos a @private_llm. Si disfruta de la aplicación, dejar una reseña en la App Store es una excelente manera de apoyarnos.

4.7 de 5

110 calificaciones

So much potential

I've been using this app for a couple of months at this point. When it was first released, it was a neat proof of concept, but it only supported 7B models and was overall just too simple to use effectively. With a recent update, a 13B model was released for all macs with 16GB of memory, and it makes such a huge difference! It's not quite at the same level as ChatGPT 3.5T, but it's close enough that I never use 3.5T anymore; this is my go-to. I greatly appreciate the on-device processing (hallelujah privacy!), and it doesn't even use too much power - my battery still lasts for hours and hours. The performance is also great; my base M1 Air powers right through the prompts.

I only have two complaints about the app at this point. 1) The 13B model uses about 12GB of memory by itself, which does force the use of swap on a 16GB Air. Not much the dev can do about this, but it is something to keep in mind. You'll want to close out of other programs before launching this. 2) There still is no feature that has separate conversations. If you want to start a new conversation, you need to delete the existing conversation. I'd love it if we could get separate conversations in a future update; it would make this app so much easier to use.

Overall, I love it and do not regret buying it at all. I can't wait to see what future updates bring :)

A great tool, with huge potential.

Obviously being an offline GPT limits the responses, but the fundamentals for something impressive in future less memory restricted devices eg iPhone 15 and beyond is really exciting. Offline and privacy focused are essential qualities of this app and it works quite well. A good bargain for the price with an active developer. One recommendation/piece of feedback would be to provide information on what the settings TOP-P and temperature do. If we come across an error or weird, reproducible response could you provide an option to email you a log so we can forward you the issue easily? This way you don’t need to embed any privacy violating analytics packages.

Thanks for your feedback! Indeed we're hoping the upcoming iPhone 15 series of devices will have more memory, so we can ship bigger and smarter models for newer devices (As free updates, of course!). We're in the process of adding an FAQ on our website to answer the temperature, top-p question. We've already received the question a few times by now on our support email and on discord. Perhaps I should also add a help section within the app. Thanks for the suggesting the email log idea, I'll add it to our backlog. We specifically don't embed any analytics packages in the app, that would be antithetical to the concept of privacy, which is one of our app's USPs. The only logs we get are crash-logs from iOS's off by default, and opt-in Analytics feature (Settings -> Privacy & Security -> Analytics & Improvements -> Share With App Developers). Also, responses from the LLM in the app are (intentionally) stochastic, and are often hard to reproduce.

Phi3-Mini Please! (Nice app even on Intel Mac)

I'm reading Phi3-Mini is quite capable for its size. I know it was just released, but if you could get a version up soon that would be great. Maybe your existing Phi2 implementation will facilitate that.

Easy to download and run an LLM locally. No muss, no fuss.

Would like to echo another reviewer: please add support for increasing font size. I found I can actually access the default Mac font menu and specify something different, but it doesn't seem to have any effect on the actual font used in the application.

Thanks for the review! We’d added support for downloading Phi3-Mini the day it was released, on the iOS app (universal app, thus a free download for anyone who's purchased the macOS app). We’ll add it to the macOS app, along with the three Llama 3 8B based models that are already on the iOS app, next week. Also, I understand the need for adjustable font sizes on macOS. On iOS, people use Dynamic Type to globally alter font sizes from Settings, but macOS doesn’t have Dynamic type (yet). We’ll prioritize this on our roadmap. EDIT: Support for Phi-3 and Llama 3B models was shipped in the latest update (v1.8.5).

El desarrollador (Numen Technologies Limited) indicó que, entre las prácticas de privacidad de la app, pueden incluirse el manejo de datos que se describe a continuación. Para obtener detalles, consulta la política de privacidad del desarrollador.