Oppiminen tekemällä
Halusin auttaa yrityksiä, jotka eivät voi siirtyä pilveen, mutta halusin myös ymmärtää, miten paikallinen AI oikeasti toimii. Niinpä rakensin yksinkertaisen paikallisen testiympäristön laitteista, joita minulla oli jo kotona.
Tämä ei ollut mikään huippuluokan datakeskusasetelma. Se oli vain peliläppäri. Mutta se auttoi minua testaamaan eri työkaluja, ajamaan malleja ja selvittämään, mitä tämän päivän paikallisella AI-ohjelmistolla on mahdollista tehdä.
Ensimmäinen kokoonpanoni: ASUS-pelikannettava
Tekniset tiedot:
-
GPU: NVIDIA GeForce 2060 Ti
-
CPU: Intel i7 (8. sukupolvi)
-
RAM: 16 GB
-
Tallennustila: 512 GB SSD
Tämä kokoonpano mahdollisti kevyempien mallien (4GB ja 8GB) ajamisen ilman liian suuria ongelmia. Mutta suurin oppi tuli nopeasti: mallin koko ei tarkoita tiedostokokoa.
Jos mallissa lukee 16GB, se tarkoittaa, että tarvitset niin paljon vapaata VRAM-muistia tai RAM-muistia. Ja jos käyttöjärjestelmäsi käyttää jo osan, sinun on parempi valita pienempi. Siksi 4GB-mallit toimivat minulla alussa paljon paremmin — kunnes tajusin, että pienempi malli myös hallusinoi helpommin tai ei pysty seuraamaan monimutkaisempia tehtäviä.
Asennusaika ja haasteet
Ensimmäisen mallini käynnistäminen vei noin puolitoista päivää. Käytin LM Studio -ohjelmaa, ja vaikka se lopulta toimi, vastaan tuli paljon pieniä ongelmia: ajuripäivityksiä, muistivirheitä, outoja suorituskyvyn pudotuksia.
Mutta kun sain sen toimimaan, lopputulos oli vaivan arvoinen. Minulla oli yksityinen, paikallinen AI käynnissä omalla koneellani.
Mikä yllätti minut
-
Pienemmät mallit hallusinoivat usein: Kysyt kysymyksen ja ne vastaavat, mutta unohtavat kontekstin nopeasti.
-
Kevyt = rajallinen: Vain 16GB RAM-muistilla en pystynyt ajamaan mitään suurta. Mutta opin silti paljon.
-
Avoimen lähdekoodin työkalut ovat uskomattomia: Saat oikeita tuloksia Ollama-, OpenWebUI- tai LM Studio -työkaluilla – jopa vaatimattomalla koneella.
Seuraava kokoonpanoni: isompi, parempi, edelleen paikallinen
Viedäkseni tätä pidemmälle rakennan nyt pöytäkoneen, jossa on:
-
Ryzen CPU
-
NVIDIA 3060 Ti GPU
-
32 GB RAM-muistia alkuun, laajennettavissa 128 GB:iin
Kun tämä kokoonpano on valmis, testaan suurempia malleja, katson kuinka paljon kontekstia pystyn hallitsemaan ja kokeilen oikeita liiketoiminnan työnkulkuja, kuten asiakirjojen luokittelua, CRM-tukea ja sisäistä chattia.
Lopuksi
Oman paikallisen AI-labin rakentaminen ei ole kaikkia varten. Mutta jos haluat oppia, testata tai valmistautua AI-käyttötapauksiin turvallisissa ympäristöissä, ei ole parempaa opettajaa kuin oma kokoonpanosi.
Seuraava artikkeli sukeltaa työkaluihin, joita kokeilin – mitkä niistä pidin ja mitä en käytä enää uudestaan.
Markku Arvekari
Digital Transformation Expert
