Ohjeet

Tutustu arviointityökaluun aluksi ilman rekisteröintiä, jotta hahmotat arviointiprosessin eri vaiheet ja työkalun toiminnan. Tutustu myös huolella arviointityökalun taustalla olevaan Verkkopalvelujen laatukriteeristöön.

Mieti ennen varsinaisen arvioinnin aloittamista, kenellä organisaatiossasi on mihinkin arviointialueeseen tai kriteeriin liittyvää asiantuntemusta. On myös erittäin suositeltavaa, että mietit ennakkoon arvioinnin laajuuden ja käytännön toteutuksen.

Lue myös ennen varsinaisen arvioinnin aloittamista tämä yleisohje huolella. Tarkemmat toimintokohtaiset ohjeet on sijoitettu suoraan toimintojen yhteyteen. 

Perustietoa laatukriteeristöstä

Laatukriteeristö koostuu viidestä arviointialueesta: käyttö, sisältö, johtaminen, tuottaminen ja hyödyt. Arviointialueet sisältävät yhteensä 41 kriteeriä. Kuhunkin kriteeriin liittyy 2–7 sitä konkretisoivaa ominaisuutta. Ominaisuuksia on selvennetty selitystekstien ja esimerkkien avulla.

Laatukriteeristö on luonteeltaan tarkistuslista, ei sitova määräys, suositus tai ohje. Kriteerien tehtävänä on ennen kaikkea auttaa varmistamaan, että kaikki olennaiset näkökulmat verkkopalvelun kehittämisessä on otettu huomioon. Laatukriteerit soveltuvat kaikenlaisten verkkopalvelujen arviointiin.

Verkkopalveluja käsitellään laatukriteeristössä kahdesta eri näkökulmasta:

• Käyttöä ja sisältöä tarkastellaan käyttäjän näkökulmasta.
• Johtamista ja tuottamista tarkastellaan tutkimalla palvelun tarjoajan toimintaa.

Lisäksi punnitaan verkkopalvelujen käyttäjien ja tarjoajien saamia hyötyjä.

Arviointiprosessi

Arviointiprosessi käsittää kolme vaihetta:

1. Arvioinnin luominen eli pakollisten perustietojen antaminen. Arvioinnille annetaan nimi ja valitaan arvioinnin laajuus eli ne kriteerit, joiden perusteella arviointi suoritetaan. Tässä vaiheessa myös tarvittaessa tarkennetaan arvioitavat kriteerit.
2. Arvioinnin suorittaminen eli pisteytetään valitut kriteerit ja niiden ominaisuudet. Arviointi tehdään kriteeri kerrallaan laatukriteeristön mukaisessa järjestyksessä.
3. Tulosraportti-vaiheessa tarkastellaan arvioinnin tuloksena syntyvää tulosraporttia. Voit tallentaa CSV-muotoisen tulosraportin myös omaan työasemaasi. Tällöin voit muokata raporttia haluamallasi tavalla.

Lisäohjeita tulosraportin avaamiseen taulukkolaskentaohjelmassa

Mikäli arviointiraportti aukeaa taulukkolaskentaohjelmassa (esim. MS Excel) siten, että kunkin rivin tiedot ovat puolipistein eroteltuina rivin ensimmäisessä solussa, toimi näin:

1. Valitse ongelmalliset solut ja kohdista niihin toiminto "teksti sarakkeiksi" (text to columns).
2. Toiminto ohjaa sinut tekstinmuokkaustoimintoon, jossa ensin määritellään muotoiltava aineisto "erotelluksi" (delimited) ja lopuksi määritellään "erotusmerkki" (delimiter), joka merkitään puolipisteeksi ";" (semicolon). 
    

Tulisiko rekisteröityä vai ei?

Rekisteröitynyt käyttäjä voi jakaa arvioinnin eri arvioijien kesken tai hajauttaa arvioinnin eri päiville. Rekisteröitynyt käyttäjä voi myös tallentaa arvioinnin arviointityökaluun tai kopioida arvioinnin uuden arvioinnin pohjaksi. Rekisteröitynyt käyttäjä voi myös helposti selata tekemiään arviointeja ja niiden tulosraportteja ”Omat arvioinnit” -sivulla.

Rekisteröitymätön käyttäjä voi selata kaikkia sisältösivuja sekä tehdä arviointeja.  Kun käyttää työkalua ilman rekisteröintiä kannattaa muistaa, että tehdyt arvioinnit ovat käytettävissä vain istunnon ajan.

Huolimatta siitä onko rekisteröitynyt käyttäjä vai ei ja on tehnyt arviointityökalulla oikean arvioinnin, kannattaa aina tallentaa tulosraportti myös omalle koneelle.

Valtion IT-palvelukeskus ei ylläpidä käyttäjätunnuksia, joten niistä tulee huolehtia itse. Unohtuneen salasanan voi pyytää Unohtuiko salasana -sivun lomakkeen avulla.

Arvioinnin laajuus

Voit itse päättää arvioinnin laajuuden eli mitkä kriteerit otetaan mukaan arviointiin. Verkkopalvelua voidaan esimerkiksi arvioida vain joidenkin arviointialueiden tai kriteereiden osalta, sillä kaikki kriteerit ja niiden ominaisuuden eivät välttämättä ole olennaisia kaikkien verkkopalvelujen osalta. Pitäytyminen samassa laajuudessa myös seuraavalla arviointikerralla mahdollistaa tulosten vertailun.

Ota aina huomioon, että kokonaisvaltainen verkkopalvelujen laatu muodostuu monista eri tekijöistä. Jos laatua halutaan tarkastella huolellisesti kaikista eri näkökulmista, pitää arvioida kaikki kriteerit.

Kaikki kriteerit

Valinta käsittää kaikki laatukriteeristön 41 kriteeriä. Kaikki kriteerit sisältävä arviointi on paikallaan, kun kyseessä on laaja ja monipuolinen palvelu, tai kun haluat selvittää perusteellisesti verkkopalvelusi kokonaislaadun.

Vinkki: Arviointityökalu on rakennettu siten, että valitut kriteerit arvioidaan järjestyksessä. Kaikkien kriteerien arvioimista nopeuttaa, jos teet jokaisesta arviointialueesta oman arvioinnin. Tällöin täytyy itse laskea erikseen kaikkien kriteerien yhteenlasketut pisteet ja arvosana .

Lyhyt versio

Lyhyen version (16 kriteeriä) avulla on mahdollista tarkistaa, että verkkopalvelussa on huomioitu ainakin tärkeimmät asiat. Versio toimii nopeana laadun tarkistuslistana. Voit käyttää sitä esimerkiksi silloin, kun arviointiin käytettävää aikaa on vähän.

Arviointialue

Arviointialueittainen valinta kannattaa valita, jos haluaa tarkastella palvelua tietyistä näkökulmista kerrallaan. Voit esimerkiksi selvittää, miten verkkopalvelu toimii käyttäjän näkökulmasta. Tällöin valinta on arviointialueet Käyttö ja Sisältö. 

Avainsanat

Avainsanat (31 kappaletta) koostuvat verkkopalveluihin liittyvistä käsitteistä. Jokaiseen kriteeriin on liitetty yksi tai useampi avainsana. Avainsanavalinta on käytännöllinen silloin, kun halutaan keskittyä tiettyyn asiaan tai teemaan. Tyypillisesti tietystä verkkopalvelun osa-alueesta vastaava asiantuntija arvioi palvelua omalta kantiltaan.  Webmaster voi arvioida esimerkiksi ne kriteerit, jotka on avainsanoitettu sanoilla käyttöliittymäsuunnittelu, multimedia, tekninen toteutus ja saavutettavuus.

Käyttäjän valitsemat kriteerit

Voit myös itse valita vapaasti ne kriteerit, joiden laatutason haluat selvittää. Esimerkiksi organisaatio, jonka verkkopalvelun kehittämisessä on satsattu johtamiseen voi varmistua siitä, että asiat ovat menneet toivotulla tavalla eteenpäin. Tällöin voidaan valita esimerkiksi kriteereitä Johtaminen- ja Hyödyt-arviointialueista.

Arviointi käytännössä

Itsearviointina tai ulkopuolisen tekemänä

Arvioinnin voi tehdä joko itse omasta verkkopalvelustaan tai siitä voi teettää ulkopuolisen arvioinnin.  Muista kuitenkin, että ulkopuoliset eivät välttämättä pysty arvioimaan Johtaminen-, Tuottaminen- ja Hyödyt-arviointialueiden kriteereitä. Ulkopuolisen tahon, esimerkiksi verkkopalvelun käyttäjien, tekemä arviointi on mahdollista Käyttö- ja Sisältö-arviointialueiden kriteerien kohdalla.

Arviointi yksin tai ryhmässä

Arvioinnin voi tehdä sekä yksin että ryhmässä. Tyypillisesti eri arviointialueiden ja kriteerien arvioinnissa tarvitaan monipuolista asiantuntemusta, joten yhteistyöstä on hyötyä. Tällöin arviointi toimii myös organisaation oppimisprosessina. Ryhmässä arvioinnin voi joko jakaa tai arvioinnin voi tehdä yhdessä esim. palaverissa.

Arvioinnin kesto ja ajoittaminen

Teettämämme tutkimuksen mukaan arviointiin tulisi varata 1-2 henkilötyöpäivää. Rekisteröityminen mahdollistaa arvioinnin tekemisen myös osissa.

Arviointia nopeuttaa, että tutustuu arviointityökaluun ja pisteytykseen ennen varsinaisen arvioinnin aloittamista. Samalla on syytä miettiä, kenellä organisaatiossa on kuhunkin arviointialueeseen liittyvää asiantuntemusta sekä mahdollisesti jakaa työ eri henkilöiden kesken.

On tärkeää tehdä arviointia säännöllisesti esimerkiksi vuosittain ja peilata näitä tuloksia toisiinsa. Kun palvelu uudistetaan kokonaan, arviointi alkaa alusta. Laatu ei automaattisesti pysy samana kun palvelun rakenne ja toiminnallisuudet muuttuvat.

Kriteerien pisteytys ja arvosanat

Verkkopalvelu arvioidaan antamalla kullekin kriteerille ja ominaisuudelle 0 – 4 pistettä sen perusteella, miten hyvin se verkkopalvelussa toteutuu. Ensin arvioidaan ominaisuudet, joiden saamista pisteistä lasketaan kriteerille keskiarvo. Koska ominaisuuksien painoarvo vaihtelee, kriteerin lopullinen pisteytys ei voi perustua ominaisuuksien yhteenlaskettuun arviointiin. Jos kriteerin laskennallinen keskiarvo ei tunnu oikealta, se pitää itse muuttaa.

Verkkopalvelu voi saada enintään 164 pistettä (41 kriteeriä * 4 pistettä). Täydet 164 pistettä voi saada vain, jos on ottanut arviointiin mukaan kaikki kriteerit. Korkean pistemäärän saavuttaminen ei saa olla itsearvo, vaan arviointi tulee aina suhteuttaa palvelun luonteeseen.

Pisteille on määritelty myös sanalliset arvosanat.

0 pistettä - Asia ei toteudu.

Kriteerissä tai sen ominaisuudessa kuvatut asiat eivät toteudu käytännössä: niiden merkitystä ei ole tiedostettu tai niihin liittyvät kehittämistoimet ovat vain aikeen tai suunnitelmien tasolla.

1 piste - Asia toteutuu heikosti.

Kriteerissä tai sen ominaisuudessa kuvattu asia toteutuu heikosti. Kun tarkastellaan kriteeriä, voidaan todeta, että ominaisuudet toteutuvat vain joskus tai vain joiltakin osin.

2 pistettä - Asia toteutuu tyydyttävästi.

Kriteerissä tai sen ominaisuudessa kuvattu asia toteutuu tyydyttävästi. Kun tarkastellaan kriteeriä, voidaan todeta, että ominaisuuden toteutuvat yleensä tai noin puolet (tai lähes puolet) toteutuu.

3 pistettä - Asia toteutuu hyvin.

Kriteerissä tai sen ominaisuudessa kuvattu asia toteutuu hyvin. Kun tarkastellaan kriteeriä, voidaan todeta, että ominaisuuksista pääosa (yli puolet) toteutuu.

4 pistettä - Asia toteutuu kiitettävästi.

Kriteerissä tai sen ominaisuudessa kuvattu asia toteutuu kiitettävästi. Kun tarkastellaan kriteeriä, voidaan todeta, että ominaisuuksista kaikki tai lähes kaikki toteutuvat. Lisäksi omaa toimintaa kehitetään jatkuvasti arvioinnin, palautteen ja vertailun perusteella.

Aiheeton
Kriteeri, ominaisuus tai niiden sisältämä asia on palvelulle aiheeton.

Ei arvioitu
Kriteeriä tai sen ominaisuutta ei vielä ole arvioitu.

Aiheeton ja Ei arvioitu -valintoja ei oteta mukaan pistelaskuun.

Varsinaisen pisteytyksen lisäksi kriteerien ja ominaisuuksien yhteyteen voi arvioinnin aikana kirjoittaa muistiinpanoja. Nämä ”Perustelut”-kenttään kirjatut asiat näkyvät myös tulosraportissa. Kenttään voi kirjata esimerkiksi parannusehdotuksia tai selityksiä siitä, miksi jokin ominaisuus ei ole aiheellinen oman verkkopalvelun arvioinnin kannalta.

Arvosanojen muodostaminen

Kriteerin laskennalliset arvosanat eli pisteet ilmoitetaan aina lukuina ja lukuja vastaavat arvosanat sanallisesti, esimerkiksi 3 (pistettä) on sanallisesti: toteutuu hyvin

Kriteerin arvosanan keskiarvo

Kriteerin arvosanaa laskettaessa otetaan mukaan vain sen ominaisuuksille annetut pisteet (0-4 pistettä).  Pisteet lasketaan yhteen ja jaetaan arvioitujen ominaisuuksien lukumäärällä. Saatu luku pyöristetään kokonaisluvuksi normaalin pyöristyssäännön mukaisesti

Maksimipisteet

Yhden kriteerin mahdolliset enimmäispisteet eli maksimipisteet saadaan kertomalla kriteerin kaikkien ominaisuuksien lukumäärä neljällä.

Arviointialueen maksimipisteet saadaan laskemalla yhteen kaikkien arviointialueen kriteerien maksimipisteet, kun arvioinnin laajuus käsittää arviointialueen kaikki kriteerit. Muissa tapauksissa maksimipisteet lasketaan laskemalla yhteen siihen mukaan valittujen kriteerien maksimipisteet.

Koko kriteeristön maksimipisteet lasketaan vastaavasti laskemalla yhteen kaikkien kriteerien maksimipisteet, kun valinnan laajuus on ” Kaikki kriteerit”. Muissa tapauksissa maksimipisteet muodostuvat ainoastaan valittujen kriteerien yhteenlasketuista maksimipisteistä.

Yhteispisteet

Kriteerin yhteispisteiden laskentaan otetaan mukaan vain sen ominaisuuksille annetut laskennalliset arvosanat (0-4 pistettä). Kriteerin yhteispisteet saadaan laskemalla yhteen kriteerin ominaisuuksille annetut pisteet.

Arviointialueen yhteispisteet lasketaan laskemalla yhteen arviointialueen kriteerien yhteispisteet, kun arvioinnin laajuus on kaikki kriteerit. Muussa tapauksessa yhteispisteiden laskentaan otetaan mukaan vain arviointialueen kriteerien ominaisuuksille annetut laskennalliset arvosanat (0-4 pistettä).

Kun valinnan laajuus on ”Kaikki kriteerit”, koko kriteeristön yhteispisteet lasketaan laskemalla yhteen kaikille kriteereille annetut pisteet. Muissa tapauksissa yhteispisteet muodostuvat ainoastaan valittujen kriteerien yhteenlasketuista pisteistä.