Kyse ei ole vertailutesteistä
Kun aloin testata erilaisia kielimalleja, en etsinyt vertailutestilukuja tai teoreettisia vertailutestejä. Halusin tietää, miltä niiden käyttö oikeasti tuntuu. Millainen kokemus on ajaa mallia paikallisesti, kuinka nopeasti se vastaa ja tuottaako se johdonmukaisia, hyödyllisiä tuloksia ajautumatta hallusinaatioihin.
Tämä artikkeli keskittyy todelliseen käyttöön. Mikä toimi minulla. Mikä epäonnistui. Missä rajat tulevat vastaan. Ja miten kukin malli käyttäytyi, kun sille annettiin tehtäviä kuten tekstin tiivistäminen, esimerkkien vertailu tai kerroksellisiin kysymyksiin vastaaminen. Tämä ei ole ranking. Tämä on henkilökohtainen, käytännönläheinen näkökulma, joka perustuu toistuvaan käyttöön.
Mallit, jotka jäivät työkalupakkiini
Runsaan edestakaisin testaamisen jälkeen olen päätynyt käyttämään Ollama, OpenGPT ja DeepSeek säännöllisesti. Nämä mallit ovat antaneet vakaimman kokemuksen arkipäiväisissä testeissäni. Ne pitävät yleensä keskustelun punaisen langan paremmin kuin muut ja säilyttävät relevanssin vastauksissaan pidempään.
Ne eivät ole virheettömiä, mutta ne hoitavat johdonmukaisesti perus- ja keskitason tehtäviä ilman jatkuvaa nollaamista tai korjailua. Se yksin tekee niistä arvokkaita.
Tarkempi katsaus BOLT:iin
BOLT ansaitsee oman osionsa. Käytän sitä enimmäkseen LM Studio -ympäristön kautta, koska se ei kokemukseni mukaan ole integroitunut sujuvasti OpenWebUI:n kanssa. Mutta kun se on käynnissä, se on nopea. Yksi nopeimmista vastaamaan.
BOLT on toiminut hyvin tehtävissä, joissa tarvitaan jäsenneltyä ulostuloa. Asiat kuten lokien muotoilu, yksinkertaiset JSON-rakenteet tai YAML-esimerkit ovat toimineet yllättävän hyvin. Suorituskyky on luotettava, kun ajat kohdennettuja promptteja.
Siitä huolimatta BOLT:n pienemmät versiot kärsivät samoista ongelmista kuin muutkin kompaktit mallit. Ne hallusinoivat ja menettävät kontekstin, kun promptit muuttuvat monimutkaisemmiksi tai kun keskustelu pitenee.
Pienten mallien murtumispiste
Joka kerta kun olen testannut malleja, jotka ovat pienempiä kuin 7 miljardia parametria, tulos on ollut sama: nopea käynnistys mutta hyvin rajallinen kyvykkyys. Nämä pienet mallit unohtavat kontekstin nopeasti, vastaavat epämääräisellä tai geneerisellä tekstillä ja ne on helppo saada pois raiteiltaan. Ne ovat hyödyllisiä, jos haluat vain kokeilla tai nähdä, toimiiko asennus, mutta niihin ei pitäisi luottaa missään kriittisessä.
Jos tehtävä vaatii syvyyttä tai muistia, mikään alle 7B ei ole todellinen vaihtoehto. Ja jopa 7B:ssä on yhä kompromisseja. Olen saanut parempaa johdonmukaisuutta käyttäessäni 13B-malleja, erityisesti silloin kun kysyn monivaiheisia tai kerroksellisia kysymyksiä.
Miten testaan käytännössä
Testaukseni ei perustu synteettisiin promptteihin. Käytän malleja oikeissa tehtävissä: asiakirjojen tiivistämisessä, muistiinpanojen analysoinnissa, virheilmoitusten testauksessa ja toisinaan vastausten tai vertailujen luonnostelussa.
Käytän myös toistoa. Annan saman tehtävän useille malleille ja vertaan tuotoksia. Tämä lähestymistapa antaa minulle selkeämmän kuvan siitä, missä malli jää vajaaksi tai yllättää minut. Ajan myötä käy ilmeiseksi, mihin voi luottaa ja mitkä vain näyttävät hyvältä paperilla.
Koolla on väliä – mutta ei aina niin kuin luulet
Olen työskennellyt sekä 7B- että 13B-mallien kanssa, ja vaikka 13B-mallit ovat kyvykkäämpiä ja johdonmukaisempia, ne myös vaativat enemmän järjestelmältäsi. Tarvitset riittävästi vapaata muistia, jotta ne voidaan ladata ja ajaa kunnolla, tai ne kaatuvat tai takkuilevat.
Jos laitteistosi on rajallinen, 7B-malleista voi saada toimivia. Mutta sinun täytyy pysyä niiden rajoissa. Nopeisiin tiivistelmiin tai yksittäisiin vastauksiin ne ovat ok. Mutta kun pyydät niitä ajattelemaan useiden vaiheiden yli, ne usein hajoavat.
Johtopäätökseni kaiken tämän testauksen jälkeen
Paikallisten mallien testaus ei ole älykkäimmän mallin löytämistä. Se on sen löytämistä, mikä toimii sinun käyttötapauksessasi ja järjestelmässäsi. Välitän vähemmän siitä, kuinka nokkelalta malli kuulostaa, ja enemmän siitä, pystyykö se viemään tehtävän loppuun ilman, että se täytyy nollata.
Paikallinen AI antaa sinulle työkalut valita. Voit testata, poistaa, vaihtaa ja säätää asioita tavalla, jota pilvipalvelut eivät salli. Siinä on voima. Mutta se tarkoittaa myös, että sinun täytyy olla realistinen.
Aloita yksinkertaisesti. Ole kärsivällinen. Ja anna omien käyttötapaustesi ohjata sinua. Näin olen oppinut eniten.
Tässä ei ole kyse pilvi-AI:n korvaamisesta. Kyse on siitä, että rakennat jotain, joka on sinun, joka pyörii sinun ehdoillasi ja joka sopii päivittäisiin tarpeisiisi ilman kompromisseja.
Markku Arvekari
Digital Transformation Expert
