La brecha entre los modelos de IA de peso abierto y los propietarios se ha reducido significativamente, con un análisis reciente que indica que las versiones abiertas ahora están a solo cuatro meses de los mejores modelos cerrados. Esta convergencia, destacada en un informe del 29 de mayo de Epoch AI, sugiere que los asistentes de IA capaces son cada vez más accesibles en hardware de consumo estándar. Como resultado, los usuarios pueden ahora descargar y ejecutar estos modelos localmente usando software gratuito, evitando los riesgos de privacidad y las tarifas mensuales asociadas con los servicios basados en la nube.

Ventajas de privacidad y costo de la ejecución local

Ejecutar modelos de IA localmente ofrece beneficios distintos en cuanto a privacidad de datos y costo financiero. Los chatbots basados en la nube transmiten cada solicitud del usuario a servidores externos, una práctica que ha sido objeto de escrutinio legal; Decrypt informó previamente que un tribunal ordenó a OpenAI conservar los registros de ChatGPT, incluidos los registros eliminados. En contraste, los modelos locales mantienen las conversaciones completamente en el dispositivo del usuario, garantizando que ningún tercero pueda acceder a los datos sin permiso. La documentación de LM Studio confirma que su aplicación puede operar completamente sin conexión, siempre que los archivos de modelo necesarios se descarguen inicialmente. Además, mientras que las suscripciones pagas a chatbots suelen costar alrededor de 20 USD al mes, el software necesario para ejecutar modelos locales es gratuito, trasladando el costo principal al hardware que el usuario probablemente ya posee.

Requisitos de hardware y cuantización

La capacidad de ejecutar estos modelos depende de la memoria de vídeo (VRAM) disponible en las tarjetas gráficas o de la memoria unificada en Macs con Apple Silicon. Como pauta general, los usuarios necesitan al menos 8 GB de VRAM para ejecutar versiones comprimidas, o cuantizadas, de modelos más pequeños. La cuantización reduce el uso de memoria almacenando pesos con menos bits, como enteros de 8 bits en lugar de números de punto flotante de 32 bits, aunque esto conlleva un ligero costo en precisión. Para tareas más exigentes, se aconseja a los usuarios serios utilizar GPU con 24 GB o más de VRAM. Los modelos específicos tienen huellas de memoria definidas: gpt-oss-20b de OpenAI requiere 16 GB de memoria, mientras que el gpt-oss-120b más grande funciona dentro de 80 GB. Las variantes Gemma 4 de Google en la biblioteca de Ollama varían de 4.6 GB a 20 GB, según el tamaño específico.

Configuración de Ollama y LM Studio

Dos herramientas gratuitas principales facilitan el despliegue local de IA: Ollama y LM Studio. LM Studio está diseñado para usuarios generales, ofreciendo una interfaz gráfica pulida que permite buscar, descargar y conversar con modelos directamente desde el hub de Hugging Face. Ollama, por otro lado, está dirigido a desarrolladores y usuarios experimentados que prefieren interfaces de línea de comandos. La instalación es sencilla, con scripts simples disponibles para macOS, Linux y Windows. Una vez instalado, los usuarios pueden extraer modelos específicos, como Gemma 4, e iniciar una sesión de chat. Ollama también expone una API local, permitiendo que otras aplicaciones en la máquina interactúen con el modelo. Es importante señalar que los modelos etiquetados con ':cloud' en Ollama se ejecutan en servidores remotos, lo que anula los beneficios de privacidad de la ejecución local.