Oppiminen tekemällä
Halusin auttaa yrityksiä, jotka eivät voi siirtyä pilveen, mutta halusin myös ymmärtää, miten paikallinen tekoäly oikeasti toimii. Niinpä rakensin yksinkertaisen paikallisen testausympäristön laitteista, joita minulla oli jo kotona.
Tämä ei ollut mikään huippuluokan konesaliasetelma. Se oli vain peliläppäri. Mutta se auttoi minua testaamaan eri työkaluja, ajamaan malleja ja selvittämään, mitä nykypäivän paikallisilla tekoälyohjelmistoilla on mahdollista tehdä.
Ensimmäinen kokoonpanoni: ASUS-peliläppäri
Tekniset tiedot:
-
Näytönohjain: NVIDIA GeForce 2060 Ti
CPU: Intel i7 (8. sukupolvi)
RAM: 16 GB
Tallennustila: 512 GB SSD
Tällä kokoonpanolla pystyin ajamaan kevyempiä malleja (4GB ja 8GB) ilman kovin suuria ongelmia. Mutta suurin oppi tuli nopeasti: mallin koko ei tarkoita tiedoston kokoa.
Jos mallissa lukee 16GB, se tarkoittaa, että tarvitset niin paljon vapaata VRAM-muistia tai RAM-muistia. Ja jos käyttöjärjestelmäsi käyttää jo osan, sinun kannattaa valita pienempi. Siksi 4GB-mallit toimivat minulla alussa paljon paremmin — kunnes tajusin, että pienempi malli myös hallusinoi helpommin tai ei pysty seuraamaan monimutkaisempia tehtäviä.
Asennusaika ja haasteet
Ensimmäisen mallini käyntiin saaminen kesti noin puolitoista päivää. Käytin LM Studiota, ja vaikka se lopulta toimi, vastaan tuli paljon pieniä ongelmia: ajuripäivityksiä, muistivirheitä, outoja suorituskyvyn pudotuksia.
Mutta kun sain sen toimimaan, lopputulos oli sen arvoinen. Minulla oli yksityinen, paikallinen tekoäly käynnissä omalla koneellani.
Mikä yllätti minut
-
Pienemmät mallit hallusinoivat usein: Kysyt kysymyksen ja ne vastaavat, mutta unohtavat kontekstin nopeasti.
-
Kevyt = rajoitettu: Vain 16 Gt:n RAM-muistilla en pystynyt ajamaan mitään suurta. Mutta opin silti paljon.
-
Avoimen lähdekoodin työkalut ovat mahtavia: Saat oikeita tuloksia Ollamalla, OpenWebUI:lla tai LM Studio:lla – jopa vaatimattomalla koneella.
Seuraava kokoonpanoni: suurempi, parempi, silti paikallinen
Jotta pääsen pidemmälle, rakennan nyt pöytäkoneen, jossa on:
-
Ryzen-suoritin
-
NVIDIA 3060 Ti -näytönohjain
-
32 Gt RAM-muistia aluksi, laajennettavissa 128 Gt:iin
Kun tämä kokoonpano on valmis, testaan suurempia malleja, katson kuinka paljon kontekstia pystyn hallitsemaan ja kokeilen oikeita liiketoiminnan työnkulkuja, kuten asiakirjojen luokittelua, CRM-tukea ja sisäistä chattia.
Lopuksi
Oman paikallisen AI-laboratorion rakentaminen ei sovi kaikille. Mutta jos haluat oppia, testata tai valmistautua tekoälyn käyttötapauksiin turvallisissa ympäristöissä, mikään ei opeta paremmin kuin oma kokoonpanosi.
Seuraavassa artikkelissa sukellan käyttämiini työkaluihin – mihin pidin, ja mitä en aio käyttää enää uudelleen.
Markku Arvekari
Digital Transformation Expert
