No se trata de benchmarks
Cuando empecé a probar distintos modelos de lenguaje, no estaba buscando cifras de benchmarks ni benchmarks teóricos. Quería saber cómo se siente realmente usarlos. Cómo es ejecutar un modelo en local, con qué rapidez responde y si ofrece resultados coherentes y útiles sin desviarse hacia alucinaciones.
Este artículo se centra en el uso en el mundo real. Lo que me funcionó. Lo que falló. Dónde están los límites. Y cómo se comportó cada modelo cuando se le asignaron tareas como resumir texto, comparar ejemplos o responder preguntas por capas. Esto no es una clasificación. Es una perspectiva personal y práctica basada en el uso repetido.
Modelos que se mantuvieron en mi conjunto de herramientas
Después de mucho ir y venir, he terminado usando Ollama, OpenGPT y DeepSeek con regularidad. Estos modelos me han brindado la experiencia más estable en mis pruebas del día a día. Tienden a mantener el hilo de la conversación mejor que otros y a mantener la relevancia en sus respuestas durante más tiempo.
No son impecables, pero gestionan de forma constante tareas básicas y de nivel intermedio sin necesidad de reinicios o correcciones constantes. Eso por sí solo los hace valiosos.
Una mirada más de cerca a BOLT
BOLT merece su propia sección. Lo uso principalmente a través de LM Studio porque, según mi experiencia, no se ha integrado de forma fluida con OpenWebUI. Pero una vez que está en funcionamiento, es rápido. Uno de los más rápidos en responder.
BOLT ha funcionado bien en tareas que implican salida estructurada. Cosas como dar formato a registros, estructuras JSON simples o ejemplos de YAML han funcionado sorprendentemente bien. El rendimiento es fiable cuando ejecutas prompts enfocados.
Dicho esto, las versiones más pequeñas de BOLT sufren los mismos problemas que otros modelos compactos. Alucinan y pierden el contexto cuando los prompts se vuelven más complejos o cuando la conversación se alarga.
El punto de quiebre de los modelos pequeños
Cada vez que he probado modelos de menos de 7 mil millones de parámetros, el resultado ha sido el mismo: inicio rápido pero capacidad muy limitada. Estos modelos pequeños olvidan el contexto rápidamente, responden con texto vago o genérico y se desvían con facilidad. Son útiles si solo quieres experimentar o ver si una configuración funciona, pero no deberían usarse para nada crítico.
Si la tarea requiere profundidad o memoria, cualquier cosa por debajo de 7B no es una opción real. Y aun con 7B, todavía hay compromisos. He tenido mejor consistencia al usar modelos de 13B, especialmente cuando hago preguntas de varios pasos o por capas.
Cómo pruebo en la práctica
Mis pruebas no se basan en prompts sintéticos. Uso modelos en tareas reales: resumir documentos, analizar notas, probar mensajes de error y, en ocasiones, redactar respuestas o comparaciones.
También uso la repetición. Les doy la misma tarea a varios modelos y comparo los resultados. Este enfoque me da una visión más clara de en qué falla un modelo o en qué me sorprende. Con el tiempo, se vuelve evidente en cuáles puedes confiar y cuáles simplemente se ven bien en el papel.
El tamaño importa, pero no siempre como crees
He trabajado tanto con modelos 7B como 13B, y aunque los modelos 13B son más capaces y consistentes, también exigen más de tu sistema. Necesitas suficiente memoria libre para cargarlos y ejecutarlos correctamente, o se bloquearán o irán lentos.
Si tu hardware es limitado, los modelos de 7B pueden hacerse funcionar. Pero necesitas mantenerte dentro de sus límites. Para resúmenes rápidos o respuestas puntuales, están bien. Pero en cuanto les pides que piensen a través de varios pasos, a menudo se rompen.
Mi conclusión después de todas estas pruebas
Probar modelos locales no consiste en encontrar el modelo más inteligente. Se trata de encontrar lo que funciona para tu caso de uso y tu sistema. Me importa menos lo ingenioso que suene un modelo y más si puede terminar una tarea sin necesitar un reinicio.
La IA local te da las herramientas para elegir. Puedes probar, borrar, cambiar y ajustar cosas de una manera que los servicios en la nube no permiten. Ese es el poder. Pero también significa que necesitas ser realista.
Empieza con lo sencillo. Ten paciencia. Y deja que tus propios casos de uso te guíen. Así es como más he aprendido.
Esto no se trata de reemplazar la IA en la nube. Se trata de construir algo que sea tuyo, que funcione en tus propios términos y que se adapte a tus necesidades diarias sin compromisos.
Markku Arvekari
Digital Transformation Expert
