Aprender haciendo
Quería ayudar a empresas que no pueden pasarse a la nube, pero también quería entender cómo funciona realmente la IA local. Así que construí un entorno de pruebas local sencillo con equipo que ya tenía en casa.
Esto no era un montaje de centro de datos de alta gama. Era solo un portátil gaming. Pero me ayudó a probar distintas herramientas, ejecutar modelos y averiguar qué es posible con el software de IA local actual.
Mi primera configuración: portátil gaming ASUS
Especificaciones:
-
GPU: NVIDIA GeForce 2060 Ti
-
CPU: Intel i7 (8.ª Gen)
-
RAM: 16 GB
-
Almacenamiento: SSD de 512 GB
Esta configuración me permitió ejecutar modelos más ligeros (4 GB y 8 GB) sin demasiados problemas. Pero la mayor lección llegó rápido: el tamaño del modelo no significa el tamaño del archivo.
Si un modelo dice 16GB, significa que necesitas esa cantidad de VRAM o RAM libre. Y si tu SO ya está usando parte, será mejor que elijas uno más pequeño. Por eso los modelos de 4GB me funcionaron mucho mejor al principio — hasta que me di cuenta de que un modelo más pequeño también alucina con más facilidad o no puede seguir tareas más complejas.
Tiempo de configuración y dificultades
Poner en marcha mi primer modelo me llevó alrededor de un día y medio. Usé LM Studio, y aunque al final funcionó, hubo muchos problemas pequeños: actualizaciones de controladores, errores de memoria, caídas raras de rendimiento.
Pero una vez que lo hice funcionar, el resultado valió la pena. Tenía una IA privada y local ejecutándose en mi máquina.
Lo que me sorprendió
-
Los modelos más pequeños a menudo alucinan: Haces una pregunta y responden, pero se olvidan del contexto rápidamente.
-
Ligero = Limitado: Con solo 16GB de RAM, no pude ejecutar nada grande. Pero aun así aprendí mucho.
-
Las herramientas de código abierto son increíbles: Puedes obtener resultados reales con Ollama, OpenWebUI o LM Studio, incluso en una máquina modesta.
Mi próxima configuración: más grande, mejor, y aún local
Para ir más allá, ahora estoy montando un ordenador de sobremesa con:
-
CPU Ryzen
-
GPU NVIDIA 3060 Ti
-
32 GB de RAM para empezar, ampliable a 128 GB
Una vez que esta configuración esté lista, probaré modelos más grandes, veré cuánto contexto puedo gestionar y probaré flujos de trabajo empresariales reales como la clasificación de documentos, el soporte de CRM y el chat interno.
Reflexiones finales
Crear tu propio laboratorio de IA local no es para todos. Pero si quieres aprender, probar o prepararte para casos de uso de IA en entornos seguros, no hay mejor maestro que tu propia configuración.
El próximo artículo profundizará en las herramientas que probé: cuáles me gustaron y cuáles no volveré a usar.
Markku Arvekari
Digital Transformation Expert
