Kun testaat ja ajat paikallisia kielimalleja, käyttämäsi työkalut muovaavat kaiken — siitä, kuinka helposti pääset alkuun, siihen, tuntuuko malli hyödylliseltä vai turhauttavalta. Tämä artikkeli käsittelee työkaluja, joita olen tähän mennessä kokeillut: mihin niistä palaan yhä uudelleen ja mikä toimi tai epäonnistui omassa testilaborssani.
Tämä ei ole paremmuusjärjestys. Tämä on enemmänkin henkilökohtainen muistiinpano joltain, joka oikeasti istui alas ja sai nämä työkalut pyörimään oikealla laitteistolla.
Se, jota käytän eniten: LM Studio
Tällä hetkellä LM Studio on se, jota käytän eniten — erityisesti työskennellessäni BOLT:n kanssa. Se ei aina ole se kaunein työkalu, mutta se toimii. Asennus sujui ongelmitta, en törmännyt outoihin riippuvuusongelmiin, ja kun sain sen pystyyn, se vain pyöri.
Tärkein syy siihen, että olen pitäytynyt LM Studiossa, on se, että se toimii nätisti tiettyjen mallien kanssa, jotka eivät toimi hyvin muualla — kuten BOLT. Yritin saada BOLT:n toimimaan OpenWebUI:n kanssa, mutta turhaan. Siksi aina kun tarvitsen vakaan käyttöliittymän, joka ei kaadu tai jumitu, palaan LM Studioon.
OpenWebUI: siisti ja tuttu
Siitä huolimatta pidän myös todella paljon OpenWebUI:sta. Se tuo web-pohjaisen frontend-tuntuman — enemmän kuin ChatGPT selaimessa. Se on siisti, moderni, ja monille käyttäjille se tuntuu heti ensimmäisestä klikkauksesta lähtien kotoisalta.
Käyttöliittymällä on todella väliä, kun haluat testata nopeasti, copy-pasteta prompteja tai selata historiaasi. Se on erityisen hyvä, kun vaihtelet mallien välillä, tai kun haluat vain jotain, joka ei näytä Python-backendiltä.
Jos OpenWebUI osaisi ajaa BOLT:ia kunnolla, käyttäisin sitä luultavasti useammin.
Muita työkaluja, joita olen kokeillut
Olen myös kokeillut:
-
SillyTavern
-
Oobabooga WebUI
-
vLLM
Kaikissa niissä on jotakin ainutlaatuista tarjottavaa, mutta omaan työnkulkuuni ne eivät jääneet pitkäksi aikaa käyttöön. Joko käyttöliittymä tuntui sekavalta tai asennus vei liikaa aikaa. Jotkut tuntuivat enemmän kehittäjien leikkikentiltä kuin oikeilta tuottavuustyökaluilta.
Opit
Jos olet vasta aloittamassa:
-
Valitse LM Studio, jos haluat nopeasti vakautta.
-
Kokeile OpenWebUI:ta, jos välität käyttöliittymästä ja käytettävyydestä.
Pysy erossa “ominaisuuksien ylikuormituksesta” — työkaluista, jotka näyttävät tehokkailta mutta saavat sinut käyttämään tuntikausia selvittääksesi, missä asetukset edes ovat.
Seuraavaksi: miten paikallinen tekoäly voi tehdä muutakin kuin vain hauskoja kokeiluja.
Markku Arvekari
Digital Transformation Expert
