Kannettava tietokone, jossa avoinna Salvian englanninkielisen tarkastusraportin kansilehti. Ylimpänä Salvian tunnus ja tarkastusraportin tulostamisen päiväys. Otsikon alla kerrotaan, että on tarkastettu palvelu suomi.fi ja kerrotaan päiväys ja kellonaika. Testattu selainikkunan koolla 1920 x 1080. Alla tekstissä kerrotaan Salvia- ja QualWeb-ohjelmistoista ja ACT-testaussäännöistä. Kaikkien yhteydessä on linkki näiden sivuihin GitHub-palvelussa

Aluehallintovirasto on julkaissut testausohjelmansa lähdekoodin

Aluehallintovirasto on julkaissut verkkosivustojen saavutettavuuden automaattiseen tarkastamiseen soveltuvan Salvia-ohjelmiston lähdekoodin. GitHub-palvelusta ladattava Salvia-ohjelmisto on lisensoitu avoimen lähdekoodin lisenssillä ja sen käyttö ja jatkokehitys on sallittua niin epäkaupalliseen kuin kaupalliseenkin käyttöön.

Julkisesti jaossa oleva Salvia-ohjelmisto vastaa suurelta osin samaa Salvian versiota, jota aluehallintovirasto itse käyttää osana saavutettavuuden valvontaa. Saavutettavuuden testaamisen suhteen ohjelmistoversiot ovat yhtenevät ja julkinen versio tuottaa samat havainnot testattavista verkkosivustoista kuin valvontaviranomaisenkin käyttämä. Kuka tahansa voi siis käyttää Salviaa tarkastaakseen verkkosivujen saavutettavuutta tai todentamaan aluehallintoviraston tekemät havainnot.

Lue lisää: Salvia-ohjelmisto ratkaisuna saavutettavuusvalvontaan

Huomio tietoturvasta ja lisensseistä

On tärkeää tiedostaa, että nyt julkaistu versio Salvia-ohjelmistosta ei itsessään sisällä käyttäjäoikeuksien hallintaa  tai juuri muitakaan tietoturvaominaisuuksia. Ohjelmakoodi ja tarjolla olevat Docker imaget on tarkoitettu lähtökohtaisesti ohjelmistokehittäjän koekäyttöön ja tutkittavaksi turvallisessa käyttöympäristössä. Vaikka ohjelmisto on sinänsä asennettavissa Docker-työkalun avulla monenlaisiin pilvipalveluihin tai vaikka käyttäjän työkoneelle, tulee tietoturvasta huolehtia erikseen ja riittävällä ICT-arkkitehtuurin osaamisella.

Toisin kuin muut Salvian käyttämät ohjelmistokirjastot MS SQL Server -tietokantapalvelimen käyttö edellyttää lisenssiä. SQL Serverin käyttö kehitystyöhön ja testaamiseen on maksutonta, mutta tuotantokäyttö on maksullista.

Miten Salvia toimii

Ohjelmisto käyttää taustalla saavutettavuuden testaamiseen Lissabonin yliopiston kehittämää QualWeb core -nimistä saavutettavuuden testausydintä, joka testaa kutakin verkkosivua 47:llä ACT-testillä. ACT-testit (”Acessibility Conformance Test”) ovat W3C:n ja ohjelmistokehittäjien yhteistyössä ja osin Euroopan unionin rahoituksella kehitettyjä systemaattisia kuvauksia siitä, miten saavutettavuusvaatimusten täyttymistä voidaan tarkistaa. QualWeb-ohjelmisto sisältää nykyisin 72 eri ACT-testiä, mutta Salvia hyödyntää niistä vain WCAG-kriteeristön A- ja AA-tason vaatimuksiin liittyviä.

ACT-testit on otsikoitu kuvaamaan yksittäistä saavutettavuusvaatimusta tai -väitettä esimerkiksi ”painikkeella on saavutettava nimi”. Hyväksytty suoritus tarkoittaa, että ehdon täyttyminen todennettiin, ja virheellinen, ettei vaatimus täyttynyt.

Osa ACT-testeistä ovat sellaisia, että ne voidaan suorittaa automatisoidusti – kuten esimerkiksi tekstin kontrastin mittaaminen tai sen varmistaminen, että html-elementti sisältää tekstin kielestä kertovan lang-attribuutin. Osa testeistä taas vaatii – ainakin toistaiseksi – erillistä asiantuntijan arviota. Vaikka testi voi havaita, että video sisältää ääniraidan tai tekstitysraidan, ohjelmisto ei kykene arvioimaan, vastaako videon tekstitys tarkoituksenmukaisesti ääniraidalta kuuluvaa olennaista tietoa.

Se, että verkkosivusto ei läpäise automatisoitua testausta, on siis osoitus saavutettavuuspuutteista, mutta ACT-testien läpäisy ei vielä takaa, ettei sivustolla voisi olla muita saavutettavuuspuutteita.

Salvian käyttöönotto

Salvia-ohjelmiston lähdekoodi on tarjolla saavutettavuusvalvonnan GitHub-repositoryssa osoitteessa https://github.com/accessibility-fi/salvia. Lähdekoodin voi ladata omalle koneelleen kloonaamalla repositoryn git–versionhallintaohjelmalla tai kertaluontoisesti valitsemalla ”code” ja pudotusvalikosta ”download ZIP”.

Salvian repository sisältää Docker-työkalun tarvitsemat osat. Docker on ohjelmistoratkaisu, joka virtualisoi ohjelmiston suorittamisessa tarvittavat käyttöjärjestelmät ja muut riippuvuudet. Näin esimerkiksi alun perin Microsoft Azure -tuotteita käyttävän Salvian voi asentaa suoritettavaksi niin tavallisella tietokoneella kuin muissakin pilvipalveluissa. Otettaessa Salviaa käyttöön on kuitenkin hyvä huomioida mm. keskusmuistia koskevat vaatimukset.

Ohjeet käyttöönottoon löytyvät englanniksi sovelluksen readme-tiedoston kohdasta Building Docker images and starting the containers and services. Kun Dockerin kontit ovat käynnistyneet, Salviaa voi käyttää selaimella osoitteessa http://localhost:3000/.

Verkkosivustojen saavutettavuuden testaaminen Salvialla

Kuva Salvian käyttöliittymästä. Näkymä sisältää kielivalikon sekä päävalikon, jossa on kohdat ”testaus”, ”suoritetut testit” ja ”asetukset”. Valikosta on avattuna testauksen näkymä, jossa näkyy kaksi toimintoa: ”suorita automaattinen testaus” ja ”tallenna manuaaliset testit”. Sivun alareunassa on linkki saavutettavuusselosteelle.

Salviassa on kaksi saavutettavuustestauksen toimintoa: automaattisen ja manuaalisen testaamisen menetelmät. Manuaalisella testillä voi tarkastaa kaiken saman kuin automaattisellakin testillä, mutta manuaalisella on mahdollista testata myös sellaisia verkkosivustoja ja -sivuja, joita automaattinen testi ei kykene tarkastamaan. Manuaalinen testaaminen on kuitenkin työläämpää.

Desktop- ja mobiilinäkymien testaus

Jokainen verkkosivu on mahdollista tarkastaa erikseen ns. desktop- (1920 px X 1080 px) ja erikseen mobiilinäkymän (360 px X 800 px) osalta. Kutsuessaan tarkastettavan verkkosivuston palvelinta Salvian web crawler esiintyy palvelimelle valitun testaustavan mukaan joko desktop- tai mobiililaitteen selaimena. Verkkosivustojen teknisistä toteutuksista riippuu, onko se toteuttanut mobiilinäkymän pelkästään responsiivisilla CSS- tai JavaScript-ratkaisuilla vai palauttaako se desktop- ja mobiiliselaimen kutsuihin kokonaan erilaiset sisällöt.

Automaattinen testaus

Automaattisella testillä on mahdollista testata sellaisia verkkosivustoja, jotka eivät vaadi kirjautumista ja joiden jokaisella tarkastettavalla näkymällä on oma kiinteä URL-osoite.

Testaaminen tapahtuu kahdessa vaiheessa. Ensin Salvian web crawler hakee kaikki sivustolta löytyvät alisivut. Toisessa vaiheessa käyttäjä valitsee niistä tarkastettavat ja käynnistää testin.

Sivuston valinta

Automaattisen testauksen näkymä. Lomakekentissä kysytään sivuston URL-osoitetta, näkymää (desktop tai mobiili), syvyyttä ja laajuutta. Lopuksi painike "aloita".

Käyttäjä syöttää kenttään verkkosivuston osoitteen, sen halutaanko testata desktop- vai mobiilinäkymää sekä haettavien sivujen ”syvyyden” ja ”laajuuden”. Kun Salvia alkaa hakea etsittäviä sivuja, se aloittaa annetun URL:n palauttamalta etusivulta ja poimii siltä linkit kaikkiin muihin sivustolta löytyviin sivuihin. Tämän jälkeen ohjelma etsii kaikki näiltä sivuilta löytyvät uudet linkit ja seuraavaksi näiltäkin sivuilta löytyneet linkit niin edelleen. Kun käyttäjä valitsee lomakkeelta ”syvyyden”, se merkitsee sitä, kuinka syvälle alisivuille se etenee sivujen etsimiseksi. Lomakkeen viimeinen kenttä ”laajuus” määrittää montako sivua Salvia käyttäjälle palauttaa.

Testattavien sivujen vahvistaminen

Automaattisen testauksen toinen näkymä, jossa pyydetään valitsemaan testattavat sivut ja ajamaan testi. Ruudulla näkyy allekkain avi.fi-sivuston alasivujen URL-osoitteita, joiden edessä on valintaruutu. Valittuja sivuja on 4/30 ja vieressä on painike ”aloita”.

Sivuja voi valita tarkastettavaksi puhtaasti automaattitestin suorittaman haun perusteella, mutta jos tarkoitus on tarkastaa vain ennalta päätetty rajallinen määrä, voi olla kannattavampaa käydä itse sivustoa läpi ja valita testattaviksi sivuja oman harkinnan mukaan. Valintalistan alimpana on myös kenttä, josta voi lisätä vapaavalintaisen sivun testiin sisällytettäväksi. Tämä sivu voi olla sellainen, jota Salvia ei ensimmäisen vaiheen haussa löytänyt tai se voi sijaita myös kokonaan eri verkkotunnuksen alla.

Lopuksi napsautetaan ”aloita” -painiketta. Kun testi on valmis, tulosraportti löytyy Suoritetut testit -sivulta.

Manuaalinen testaus

Manuaalisessa testauksessa on mahdollista tarkastaa myös kirjautumista vaativia sivustoja (edellyttäen, että testin suorittajalla on pääsy palveluun) ja niin sanottuja single-page app -sivustoja, joissa käyttäjän näkymä voi vaihtua paljonkin, mutta selaimen osoitepalkissa on kaikille näkymille sama URL.  Lisäksi hyvin tavanomaisillakin sivustoilla saattaa olla esimerkiksi valikoita, chat-toimintoja tai muita toiminnallisuuksia, jotka tulevat esiin vasta käyttäjän vuorovaikutuksen myötä. Näiden testaamiseen voidaan käyttää manuaalisen testaamisen mallia.

Manuaalisessa testaamisessa käytetään QualWebin Chrome-selaimen selainlisäosaa, jonka avulla voi tarkastaa minkä tahansa verkkosivuston näkymän, joka selaimelle sillä hetkellä näkyy. Lisäosalla suoritetun testin tekninen raportti ladataan käyttäjän koneelle ja tämä lisää raporttitiedoston Salviaan merkiten samalla, mitä sivua ja näkymää lisätty raportti koskee. Kun kaikki raportit on ladattu, Salvia yhdistää ne yhdeksi kokonaisuudeksi. Lopullinen Salviasta ladattava PDF-raportti ei juuri eroa automaattitestauksella tehdystä.

Uuden testin luominen

Manuaalisen testauksen näkymä. Ylimpänä pyydetään sivuston osoitetta ja alapuolella näkymää (desktop tai mobiili). Näiden alapuolella on erillinen lomake "lisää uusi sivu", jossa kysytään sivun osoitetta ja kuvausta. Näiden alapuolella on latauspainike testiraportin lisäämiselle. Sivun alimpana on painike ”luo testi”.

Uusi testi luodaan lisäämällä tarkastettavan sivuston osoite. Lisäksi valitaan, tehdäänkö testi desktop- vai mobiilinäkymille. Manuaalitestissä merkintä on vain informatiivinen ja testaajan tulee muistaa käyttää vastaavia emulaattoriasetuksia selaimessa itse testiä suorittaessaan.

Desktop- ja mobiilinäkymän esivalinta selaimen emulaattoriin

Kuva Chrome-selaimen kehittäjän työkalujen näkymästä. Valikon vasemmassa yläkulmassa näkyy painike emulaattoritoiminnolle.

Chrome-selaimen kehittäjän työkaluissa on toiminto, jolla avattua verkkosivua voi katsoa erilaisia päätelaitteita simuloiden tai emuloiden. Käyttäjä voi valita näkymän kooksi ”responsiivinen” ja säätää näkymän kokoa ja katsoa sen vaikutuksia sisällön asetteluun. Selaimessa on myös esiasennettuna lukuisten eri puhelinmallien näyttökokoja.

Selaimeen on myös mahdollista lisätä omia päätelaitetyyppejä. Manuaalitestaamista varten käyttäjän tuleekin lisätä emulaattoriin omat laitteet Salvian desktop-testaamiselle ja Salvian mobiilitesteille. Kehittäjätyökalujen asetuksista valitaan ”laitteet” ja ”Lisää uusi laite”.

Kuva Chrome-selaimen kehittäjätyökalujen asetuksista. Asetukset valikosta on valittu "Laitteet" ja esillä on lomake uuden emuloitavan laitteen lisäämiseksi. Lomakkeessa näkyy Salvia desktopiksi nimetty laite, jolle on asetettu ruudun koko ja käyttäjäagentin määritykset.

 

Salvia desktop-näkymän ikkunakooksi tulee merkitä 1920 x 1080, käyttäjäagentiksi ” Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:22.0) Gecko/20100101 Firefox/22.0” ja select-valikosta tyypiksi ”desktop”.

Salvia mobiilinäkymän ikkunakooksi tulee merkitä 360 x 800, käyttäjäagentiksi ” Mozilla/5.0 (Linux; U; Android 2.2; en-us; DROID2 GLOBAL Build/S273) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1” ja select-valikosta tyypiksi ”Mobile”.

Aluehallintoviraston sivun emulointi Salvia mobile -laitteella.

Jatkossa, kun suoritetaan Salvian manuaalitestausta, käynnistetään kehittäjätyökalut ja emulaattori ja valitaan emulaattorin valikosta laitteeksi joko Salvian desktop- tai mobiilinäkymä. On tärkeää käyttää testaamisessa selaimen emulaattoria ja näillä asetuksilla, jotta testaus todella suoritetaan niillä tiedoilla, jotka testausraporttiin kirjataan.

QualWeb-lisäosan käyttöönotto

Kuvassa on QualWeb-välilehti Chromen kehittäjätyökaluissa. QualWebin tunnuksen alla pyydetään valitsemaan arvioitavat moduulit vaihtoehtoina "ACT rules" ja "WCAG 2.1 Techniques". Alimpana painike "evaluate".

QualWeb-lisäosa on asennettavissa Chrome-selaimeen Googlen sovelluskaupasta. Kun lisäosa on asennettu, se näkyy uutena välilehtenä selaimen kehittäjätyökaluissa.

Yksittäisen sivun testaus suoritetaan avaamalla sivu, käynnistämällä selaimen kehittäjätyökalujen emulaattori ja  valitsemalla laitevaihtoehdoista Salvian desktop- tai mobiiliversio riippuen siitä, kumpaa näkymätyyppiä ollaan testaamassa. Tämän jälkeen suoritetaan sivulla mahdolliset halutut toimenpiteet kuten palveluun kirjautumiset tai käyttöliittymän valinnat. Kehittäjätyökaluista avataan QualWebin välilehti, valitaan suoritettaviksi testeiksi ”ACT Rules” ja napsautetaan ”evaluate”. Kun työkalu on suorittanut testin, napsautetaan vasemman yläkulman latauspainiketta (”export report”), jolloin lisäosa tuottama json-raportti latautuu selaimesta käyttäjälle.

Kuvassa QualWebin välilehden vasemmassa yläkulmassa olevat painikkeet välilehden päivittämiselle ja raportin lataamiselle.

 

Seuraavaa näkymää testaamaan päästään napsauttamalla vasemman yläkulman päivityspainiketa (”repeat evaluation”).

Kuvassa manuaalisen testauksen lomake osin täytettynä. Sivustoksi on syötetty avi.fi ja näkymäksi valittu mobiili. Sisällytettyjen testitulosten kohdalla on kaksi testiä, joilla on sama URL, mutta toisen perässä lukee suluissa "menu open"). Alimpana ollaan lisäämässä uutta sivua, jolla myös sama osoite, mutta kuvauskenttään on kirjoitettu ”language menu open”.

Testien tulokset lisätään Salviaan manuaalisen testaamisen näkymässä painikkeella ”lisää uusi sivu”. Lomakkeelle syötetään testatun sivun url. Jos samasta URL:sta halutaan testata useita näkymiä, voi tässä yhteydessä lisätä osoitteen lisäksi myös sanallisen kuvauksen esim. mitä käyttäjä on tehnyt tai miten näkymä eroaa kys. URL-osoitteen oletusnäkymästä. On kuitenkin hyvä muistaa, että kyse toisin kuin muu PDF-raportin sisältö, tätä kuvausta ei käännetä muille kielille.

Kun kaikki halutut sivut on tarkastettu ja niiden testausraportit lisätty Salviaan, valitaan ”luo testi”.

Tarkastusraporttien selaaminen

Testin tietorivi, jossa näkyy päiväys ja kellonaika sekä desktop-näkymää esittävä kuvake. Sivuja on 14, hyväksyttyjä testejä 207, epävarmoja 113 ja epäonnistuneita 3. Vieressä on painikkeet teksteillä "json", "json (PDF") ja "PDF".

Näkymässä kaikki testit on ryhmitelty verkkotunnustensa alle. Näkymässä näkyy testin suoritusaika, onko testattu desktop- vai mobiilinäkymällä ja testattujen sivujen määrä.  Vieressä näkyy, moniko testityyppi oli suoritettu onnistuneesti ja moniko epäonnistunut. Lisäksi näkyy, monenko testin tulos jäi epävarmaksi. Näiden epävarmojen kohdalla kannattaa siis asiaa tutkia tarkemmin. Onnistuminen ja epäonnistuminen on katsottu sivukohtaisesti ja kaikkien testattujen sivujen läpäistyjen ja epäonnistuneiden testien määrät laskettu yhteen.

Lukujen vieressä on kolme painiketta. JSON-painikkeesta on mahdollista ladata alkuperäinen koneluettava aineisto. JSON (PDF) -painikkeesta tämä aineisto on ladattavissa PDF-muotoisena esimerkiksi arkistointia varten. PDF-painikkeesta ladataan raportista ihmisluettavaksi tarkoitettu tiivistelmä.

Salvian päävalikon ”asetukset” -näkymästä voidaan valita, minkä kielisenä PDF-raportti tulostetaan. Saman raportin voi tulostaa monella eri kielellä käyttötarpeesta riippuen.

Suoritettujen testien kaikki raportit löytyvät ”suoritetut testit” valikon alta. Jos Salviaa käyttää Dockerin kautta ja haluaa säilyttää vanhat testiraportit ladattavaksi myös myöhemmillä käyttökerroilla, on syytä kiinnittää huomiota Docker-konttien sammuttamisen komentoon. Lisätietoa on readme-kuvauksessa ja sivulla https://docs.docker.com/engine/reference/commandline/compose_down/.

PDF-raportit

Salviasta ladattavat PDF-raportit on kehitetty aluehallintoviraston valvontatyön käyttöön ja ne on suunnattu ensisijaisesti palveluiden teknisille kehittäjille. Lähtökohtaisesti muille kuin web-tekniikoita tunteville kehittäjille saattaa mukaan olla hyvä liittää tilanteeseen nähden sopiva erillinen yleistason kuvaus asiasta ja tehdyistä havainnoista.

Lyhimmät raportit jäävät alle 10-sivuisiksi, mutta jos palvelussa on paljon virheitä ja ne esiintyvät useilla sivuilla, saattavat raporttien pituus kasvaa satoihin tai tuhansiinkin sivuihin. Tästäkin syystä PDF-raportilla on eritelty vain ne sivujen elementit, joissa on todettu selviä saavutettavuusvirheitä. Epävarmoja tapauksia ei eritellä. Jos Salviaa käyttää muussa kuin valvontaviranomaisen roolissa tai esimerkiksi oman digipalvelunsa tarkastamiseen, voi olla kannattavaa muokata PDF-dokumentin tulostuksen muodostusta ohjelmakoodissa.

Kirjoittaja

Eetu Komsi

Eetu Komsi

Ylitarkastaja

Saavutettavuusvalvonta

Katso myös nämä

Saavutettavuus­valvonnan yksikkö syventää yhteistyötä saavutettavuus­palveluita tarjoavien yritysten kanssa

Lue edellinen

Salvia-ohjelmistosta ratkaisu saavutettavuus­valvonnalle

Lue seuraava