Kun testaat ja ajat paikallisia kielimalleja, käyttämäsi työkalut muovaavat kaiken — siitä, kuinka helposti pääset alkuun, siihen, tuntuuko malli hyödylliseltä vai turhauttavalta. Tämä artikkeli kertoo työkaluista, joita olen kokeillut tähän mennessä, mihin palaan yhä uudelleen, ja mikä toimi tai epäonnistui omassa testilaboratoriossani.
Tämä ei ole paremmuusjärjestys. Se on enemmänkin henkilökohtainen muistiinpano joltain, joka oikeasti istui alas ja sai nämä työkalut pyörimään oikealla raudalla.
Se, jota käytän eniten: LM Studio
Tällä hetkellä LM Studio on se, jota käytän eniten — erityisesti työskennellessäni BOLT:n kanssa. Se ei aina ole se kaikkein nätein työkalu, mutta se toimii. Asennus sujui mutkattomasti, en törmännyt outoihin riippuvuusongelmiin, ja kun sain sen pystyyn, se vain pyöri.
Pääsyy siihen, että olen pysynyt LM Studio:ssa, on se, että se tulee toimeen tiettyjen mallien kanssa, jotka eivät toimi hyvin muualla — kuten BOLT. Yritin saada BOLT:n toimimaan OpenWebUI:n kanssa, mutta ei onnistanut. Joten aina kun tarvitsen vakaan käyttöliittymän, joka ei kaadu tai jäädy, palaan LM Studio:on.
OpenWebUI: siisti ja tuttu
Siitä huolimatta pidän myös todella paljon OpenWebUI:sta. Se antaa sen web-pohjaisen frontend-tuntuman — enemmän kuin ChatGPT selaimessa. Se on siisti, moderni, ja monille käyttäjille se tuntuu kotoisalta jo ensimmäisestä klikkauksesta.
Käyttöliittymällä on oikeasti merkitystä, kun haluat testata nopeasti, kopioida ja liittää promptit tai selata historiaasi. Se on erityisen hyvä, kun vaihdat mallien välillä, tai kun haluat vain jotain, joka ei näytä Python-backendilta.
Jos OpenWebUI pystyisi ajamaan BOLT:n kunnolla, käyttäisin sitä luultavasti useammin.
Muita työkaluja, joita olen kokeillut
Olen myös kokeillut:
-
SillyTavern
-
Oobabooga WebUI
-
vLLM
Niissä kaikissa on jotain ainutlaatuista tarjottavaa, mutta omaan työnkulkuuni en jatkanut niiden käyttöä pitkään. Joko käyttöliittymä tuntui sekavalta tai asennus vei liikaa aikaa. Osa tuntui enemmän kehittäjien leikkikentiltä kuin oikeilta tuottavuustyökaluilta.
Opitut asiat
Jos olet vasta aloittamassa:
-
Valitse LM Studio, jos haluat nopeaa vakautta.
-
Kokeile OpenWebUI:ta, jos välität käyttöliittymästä ja käytettävyydestä.
Pysy erossa “feature overloadista” — työkaluista, jotka näyttävät tehokkailta mutta saavat sinut käyttämään tunteja selvittääksesi, missä asetukset edes ovat.
Seuraavaksi, miten paikallinen AI voi tehdä muutakin kuin vain hauskoja kokeiluja.
Markku Arvekari
Digital Transformation Expert
