Kyse ei ole vertailumittareista
Kun aloin testata erilaisia kielimalleja, en etsinyt vertailumittarilukuja tai teoreettisia vertailuja. Halusin tietää, miltä niiden käyttö oikeasti tuntuu. Millainen kokemus on ajaa mallia paikallisesti, kuinka nopeasti se vastaa ja tuottaako se johdonmukaisia, hyödyllisiä tuloksia ajautumatta hallusinaatioihin.
Tämä artikkeli keskittyy käytännön, tosielämän käyttöön. Siihen, mikä toimi minulla. Siihen, mikä epäonnistui. Siihen, missä rajat tulevat vastaan. Ja siihen, miten kukin malli käyttäytyi, kun sille annettiin tehtäviä, kuten tekstin tiivistäminen, esimerkkien vertailu tai kerroksellisiin kysymyksiin vastaaminen. Tämä ei ole paremmuusjärjestys. Tämä on henkilökohtainen, käytännönläheinen näkökulma, joka perustuu toistuvaan käyttöön.
Mallit, jotka pysyivät työkalupakissani
Monen edestakaisen jälkeen olen päätynyt käyttämään Ollamaa, OpenGPT:tä ja DeepSeekiä säännöllisesti. Nämä mallit ovat tarjonneet vakaimman kokemuksen päivittäisissä testeissäni. Ne yleensä pitävät keskustelun lankaa yllä paremmin kuin muut ja säilyttävät vastauksissaan relevanttiuden pidempään.
Ne eivät ole virheettömiä, mutta ne hoitavat johdonmukaisesti perus- ja keskitason tehtävät ilman, että tarvitaan jatkuvia nollauksia tai korjauksia. Pelkästään se tekee niistä arvokkaita.
Lähempi katsaus BOLT:iin
BOLT ansaitsee oman osionsa. Käytän sitä enimmäkseen LM Studion kautta, koska kokemukseni mukaan se ei ole integroitunut sujuvasti OpenWebUI:n kanssa. Mutta kun se on kerran käynnissä, se on nopea. Yksi nopeimmista vastaamaan.
BOLT on pärjännyt hyvin tehtävissä, jotka edellyttävät jäsenneltyä tulostetta. Esimerkiksi lokien muotoilu, yksinkertaiset JSON-rakenteet tai YAML-esimerkit ovat toimineet yllättävän hyvin. Suorituskyky on luotettava, kun käytät kohdennettuja kehotteita.
Siitä huolimatta BOLTin pienemmät versiot kärsivät samoista ongelmista kuin muut kompaktit mallit. Ne hallusinoivat ja menettävät kontekstin, kun kehotteet muuttuvat monimutkaisemmiksi tai kun keskustelu pitenee.
Pienten mallien murtumispiste
Joka kerta kun olen testannut alle 7 miljardin parametrin malleja, lopputulos on ollut sama: nopea käynnistys, mutta hyvin rajallinen suorituskyky. Nämä pienet mallit unohtavat kontekstin nopeasti, vastaavat epämääräisellä tai yleisluontoisella tekstillä ja ne on helppo saada pois raiteiltaan. Ne ovat hyödyllisiä, jos haluat vain kokeilla tai nähdä, toimiiko jokin kokoonpano, mutta niihin ei pitäisi luottaa missään kriittisessä.
Jos tehtävä vaatii syvyyttä tai muistia, mikään alle 7B ei ole todellinen vaihtoehto. Ja jopa 7B:llä on yhä kompromisseja. Olen saanut parempaa johdonmukaisuutta käyttäessäni 13B-malleja, erityisesti silloin, kun kysyn monivaiheisia tai kerroksittaisia kysymyksiä.
Miten testaan käytännössä
Testaukseni ei perustu synteettisiin kehotteisiin. Käytän malleja todellisissa tehtävissä: dokumenttien tiivistämisessä, muistiinpanojen analysoinnissa, virheilmoitusten testaamisessa ja toisinaan vastausten tai vertailujen luonnostelussa.
Käytän myös toistoa. Annan saman tehtävän useille malleille ja vertaan tuloksia. Tämä lähestymistapa antaa minulle selkeämmän kuvan siitä, missä malli jää vajaaksi tai yllättää minut. Ajan myötä käy ilmeiseksi, mihin voi luottaa ja mitkä vain näyttävät hyvältä paperilla.
Koolla on väliä – mutta ei aina niin kuin luulet
Olen työskennellyt sekä 7B- että 13B-mallien kanssa, ja vaikka 13B-mallit ovat kyvykkäämpiä ja johdonmukaisempia, ne myös vaativat järjestelmältäsi enemmän. Tarvitset riittävästi vapaata muistia, jotta voit ladata ja ajaa ne kunnolla, tai ne kaatuvat tai hidastelevat.
Jos laitteistosi on rajallinen, 7B-mallit voidaan saada toimimaan. Mutta sinun täytyy pysyä niiden rajoissa. Nopeisiin yhteenvetoihin tai yksittäisiin vastauksiin ne ovat ihan hyviä. Mutta kun pyydät niitä ajattelemaan useiden vaiheiden yli, ne hajoavat usein.
Johtopäätökseni kaiken tämän testauksen jälkeen
Paikallisten mallien testaamisessa ei ole kyse älykkäimmän mallin löytämisestä. Kyse on siitä, että löydät sen, mikä toimii sinun käyttötapauksessasi ja järjestelmässäsi. Minulle on vähemmän tärkeää, kuinka nokkelalta malli kuulostaa, ja tärkeämpää, pystyykö se saattamaan tehtävän loppuun ilman, että se tarvitsee nollauksen.
Paikallinen tekoäly antaa sinulle työkalut valita. Voit testata, poistaa, vaihtaa ja säätää asioita tavalla, jota pilvipalvelut eivät salli. Siinä piilee voima. Mutta se tarkoittaa myös, että sinun täytyy olla realistinen.
Aloita yksinkertaisesti. Ole kärsivällinen. Ja anna omien käyttötapaustesi ohjata sinua. Näin olen oppinut eniten.
Tässä ei ole kyse pilvitekoälyn korvaamisesta. Kyse on siitä, että rakennat jotain, joka on sinun, joka toimii sinun ehdoillasi ja joka sopii päivittäisiin tarpeisiisi ilman kompromisseja.
Markku Arvekari
Digital Transformation Expert
