En av de mest samfunnskritiske oppgavene til Utdanningsdirektoratet er å utarbeide og gjennomføre eksamener og prøver. Årlig gjennomføres over 300 000 skriftlige eksamener i systemene og over 650 000 prøver. På grunn av krav om universell utforming av IKT løsninger, skaffet Utdanningsdirektoratet ny heldigital løsning for gjennomføring av eksamener og prøver. Den nye løsningen manglet funksjonalitet for å måle elevenes ferdigheter etter komnptansekrav i ny læreplan.
Mitt ansvar var å identifisere hvilken funksjonalitet som manglet, utvikle konsepter, designe løsninger og til slutt integrere ny funksjonaliteten i den nye gjennomføringsløsningen.
Operativ UX Lead og produktdesigner – ledet hele produltutviklingsløpet fra innsikt og konsepturvikling til teknisk implementering.
Prosessrammeverk: Lean UX, design Thniking, brukersentrert design, produktdesign, instruksjonsdesign. emosjonelt design, læringsdesign.
Verktøy: Confluence, Jira, Figma, Sharepoint.
Fra matematikksenteret:
Morten Svorkmo, Bård Vinje, Olav Dalsegg Tokle
Fra utdanningsdirektoratet:
Pedersen, Øyvind, Avdeling for eksamenstjenesten
«Når du ikke er god i matte, skjønner du ingenting»
Forretningsproblem
Systemet sviktet men Utdanningsdirektoratet fikk skylden
Ny læreplan ble innført uten å kunne tilby lærebøker eller læremidler som var tilrettelagte. Dette resulterte i at blinde/sterkt svaksynte elever ble ekskludert og ergo så fikk de ikke like muligheter som andre elever. Det norske systemet sviktet, men Utdanningsdirektoratet fikk skylden og vi ble (blant annet) saksøkt av foreningen “Foreldre For Blinde Barn” flere ganger. Udir stod i fare for å få omdømmet svekkert så det var kritisk at den nye prøve- og eksamensløsningen og all ny funksjonalitet var universelt utformet og inkluderende.
Visjon
Sammen med ny læreplan kom nye kompetansekrav.
Vi skal skape et fleksibelt, universelt utformet og engasjerende oppgaveformat som gjør det mulig for alle elever – uavhengig av funksjonsevner og faglige ferdigheter – å vise sin matematiske kompetanse på en rettferdig, visuell og motiverende måte.
KJAPT OVERBLIKK
Forretningsproblem
Utdanningsdirektoratet
Noen av kompetansemålene i den nye læreplanen er at eleven skal ha følgende ferdigheter: «..kunne sette opp eller tegne tabeller, diagrammer, grafer og geometriske figurer.» I tillegg: «..kunne forstå og tolke organisert visuell informasjon, som tabeller, diagrammer, grafer og geometriske figurer…»
I TAO – den nye gjennomførngsløsningen – var det ikke noe oppgaveformat/items som lot eleven tegne diagrammer og grafer, med andre ord så fikk ikke utdanningsdirektoratet/studiested ikke målt elevene i disse kompetansekravene.
Uten dette formatet kunne de ikke gjennomføre nasjonale prøver eller ekseamne.
–
Utdanningsdiraktoratet
Løsning
Vi kapte et fleksibelt, universelt utformet og engasjerende oppgaveformat som gjør det mulig for alle elever – uavhengig av alders trinn, funksjonsevner og faglige ferdigheter – å vise sin matematiske kompetanse på en rettferdig, enkel, visuell og engasjerende måte.
–
Resultat
- Oppgaveformatet kunne brukes i nasjonale prøver og bidra til kvalitetsutvikling på alle nivåer i skolen og hjelper lærere med å følge opp enkeltelever og tilpasse opplæringen.
- Oppgaveformatet ga lærerne nok grunnlag til å gi elever eksamen karakter.
- Første i sitt slag i Norden – et dynamisk, universelt oppgaveformat i ny teknologi.
- Automatisert tilrettelegging (generering av alt-tekst) for elever som bruker hjelpemiddelteknologi.
- Støtter både grunnskole og videregående (delt i to alders- og kompetansenivåer).
- Oppgaveformatet ble en favoritt blant elevene da de fremmet mestring og motivasjon gjennom mikrolæring og gamification.
1. Brukerproblem:
Elevene
Elever som ikke er stødige i matematikk blir overveldet bare av å bare se på enkelte matteoppgaver og regnestykker. De ikke vet hvor de feste blikket eller hvordan de skal starte.
Dette kan føre til økt matteangst, tap av motivasjon, og en følelse av utilstrekkelighet.
“Det føles overveldende, jeg vet ikke hvor jeg skal feste blikket!”
“Enten kan du det eller så kan du det ikke. Når du ikke kan det skjønner du ingenting.”
Elevene
Løsning
Selv om elevene hatet matte – så sørget vi for at de elsket å løse matteoppgaver. Og selv om elevene ikke skjønner statistikk – så sørget vi for at de enkelt klare sette opp et diagram.
Vi klarte bryte ned kompliserte prosesser og framstille de som intuitive og strukturerte læringsstier med klare instruksjoner og visuelle hierarkier. Vi skapte intuitiv onboarding som guidet elevene ved hjelp av mikrointeraksjoner, visuelle elementer, robust design og progressive disclosure.
Resultat
Oppgaveformatet i statistikk ble brukt av 119 000 elever høsten 2023, og ble utpekt som elevenes favoritt fordi de opplevde mestring og motivasjon:
«Gøy å bruke det»
«Veldig fint og bevegelig»
«Jeg elsket det»
2. Brukerproblem:
Oppgaveutviklerne
Oppgaveutviklere manglet den tekniske kompetansen som kreves for å utvikle oppgaver tråd med de 47 WCAG kravene som gjelder for offentlig sektor. Dermed så brukte de altfor mye tid på tilrettelegging og de var redd det kunne gå ut over det faglige innholdet og oppgaver generelt.
De brukte også mye tid på å sette seg inn i de forskjellige ystemene, og savnet veiledere og mer brukervennlige grensesnitt.
Oppgaveutviklerne
Løsning
Vi utviklet et oppgaveformat som tilrettela seg selv ved å autogenerere alt-tekst direkte i alt-tekst attributten – ved hjelp av javascript. Gjennom dynamisk tilrettelegging ble oppgavene automatisk tilgjengelige for alle typer elever — uavhengig av funksjonsevne. Oppgaveutviklerne kunne dermed konsentrere seg om faglig innhold i stedet for tekniske barrierer.
Vi designet et oppgaveformat som var komplekst på undersiden men såppass enkelt på utsiden at de ikke trengte å lære seg det.
Resultat
Oppgaveutviklerne trengte ikke bekymre seg over manuell tilrettelegging, eller lute på om de hadde skrevet alt-teksten korrekt.
De trengte heller ikke bruke tid på å lære seg hvordan sette opp oppgaver med diagrammer i eller rette oppgaver, alt var nå automatisert.
Nå kunne de bruke mer tid på det som er jobben deres og det de brenner for: å skape de beste læringsopplevelsene for alle elever.
3. Brukerproblem:
Svaksynte og blinde elever
Barn og unge – elever og kandidater – med funksjonsnedsettelser stod i fare for å bli utestengt fra samfunn og skole. En ny læreplan, nye kompetansemål og nye lærebøker var innført i norske skoler.
Men hvor ble det av lærebøkene for blinde og sterkt svaksynte som var avhengige av leselist, skjermleser og annen hjelpemiddelteknologi?
Svaksynte og blinde
Løsning
Et oppgaveformat som møter lovpålagte krav er ikke nødvendigvis håndterlig for en blind elev. Ofte så sikrer wcag at eleven får tilgang til oppgaven men ikke klarer løse den. Vi sikret at blinde elever hadde lik tilgang som elever som kan se, i tillegg til at det møtte lovpålagte WCAG krav..
Resultat
Blinde og sterkt svaksynte elever ble ikke utestengt – de fikk like muligheter som andre elever.
Vi designet et nyskapende, innovativt og universelt utformet (portable custom intercation) som fremmet mestring og motivasjon gjennom visuell interaksjon og gamification.
Hvilken funksjonalitet laget vi?
Et oppgaveformat – portable custom interaction
Hva skulle oppgaveformatet måle?
Noen av kompetansemålene i den nye læreplanen krever følgende ferdigheter fra eleven:
– Kunne sette opp eller tegne tabeller, diagrammer, grafer og geometriske figurer.
– Kunne forstå og tolke organisert visuell informasjon, som tabeller, diagrammer, grafer og geometriske figurer…»
Dette betyr at å tegne diagrammer blir en viktig del av besvarelsen på eksamen (og prøver), og vår oppgave var å muliggjøret det.
Funksjonalitet
Her var jeg opptatt av å balansere brukerbehov, forretningsmål og tekniske rammer, benyttet derfor MoSCoW-metoden- for å skape struktur.
Tegn Diagram – kort løsningsbeskrivelse
Del 1 – Elev velger diagram
Diagrammene elev har å velge mellom er: søylediagram, gruppert søylediagram, linjediagram og sektordiagram.
Del 2 – elev setter opp valgt diagram
Hvis elev har valgt “søylediagram” er det mulig å:
Tegne X akse og y akse.
Dele opp y akse og x akse.
Gi x-akse og y-akse navn.
Sette positive og negative verdier på y-akse og x-akse.
Sette opp og tilpasse (vertikale) søyler.
Navngi søyler.
Gi diagrammet navn.
Resultat
- Første i sitt slag i Norden – et dynamisk, universelt utformet oppgaveformat utviklet i ny teknologi.
- Automatisert tilrettelegging (alt-tekst generator) for elever som bruker skjermleser/leselist.
- Kan brukes på i grunnskole og på videregående.
- Det kan måle elevenes kompetanse etter ny læreplanmål.
- Inkluderende, engasjerende og universelt utformet.
- Enkelt og intuitivt for oppgaveutviklere å bruke.
Slik ser det ut når oppgaveutvikler setter opp del 1: elev velger diagram.
Steve, 13 år
Steve kjenner ingen mestringsfølelse eller motivasjon med matematikkfaget generelt. Han sliter litt med de grunnleggende ferdighetene, sier ofte at han “ikke forstår noe og ikke vet hvordan/hvor han skal starte”. For han føles matematikk matematikk overveldende, men liker veldig godt engelsk muntlig og fransk.
“Det føles overveldende”
Overveldende indikerer cognitive overload – derfor la jeg til progressive disclosure.
“Jeg vet ikke hvor jeg skal feste blikket!”
Med tillatelse fra Matematikksenteret fikk jeg tommel opp til å veilede eleven med progressive disclosure og designet mitt.
“Hvis du ikke er god i matte, skjønner du ingenting”
Dette designet sikrer at elever klarer sett opp diagrammer selv om de ikke har den grunnleggende kunbnskaoen.
Funn blir design
Mikrolæring og progressive discloure
Vi brukte mikrolæring og progressive discloure og brøt ned innholdet i små, håndterbare moduler for enklere tilegnelse og bedre læringsutbytte.
Strukturert læringssti
Mikrolæringen designet jeg som en strukturert læringssti som veiledet eleven gjennom å gradvis synliggjøre utfyllingsfelt og informasjon etterhvert som de ble relevant.
Informative labels
Utfyllingsfeltene hadde informative labels, visuelle elementer og universale ikoner som sikret at eleven viste hva hen skulle gjøre til enhver tid.
Brukerreise
Lag et søylediagram som heter “Verden fineste digram”. Tittel på y-aksen er: “antall solgte”, minimum verdi: 0, maksimum verdi: 35 med en intervall på 5. Fire søyler på x-aksen, første søyle heter “stratos” og har verdi på 10, neste søyle “Bamse Mums” med verdi på 18. Endre antall søyler til 2, deretter tilbake til 4. Til slutt endrer du type diagram til søylediagram. Nedenfor er prototypen,legg merke til den stegvise læringen, hvor enkelt det er å lage et diagram, hvordan du kan lukke panelene for å forhindre cognitive overload og hvor enkelt det er å endre verdier og type diagram.
Designprinsipper
1. Brukersentrering
Vi designet for brukernes behov og atferd.
Vi designet med tanke på brukernes opplevelse, ferdigheter og kontekst.
2. Estetisk og minimalistisk design
Vi fjernet unødvendige elementer.
Vi holdt designet rent og fokuser på det som er viktig.
3. Gjenkjenning fremfor gjenkalling
Vi reduserte brukerens behov for å huske informasjon.
Vi brukte kjente ikoner, symboler og designmønstre som brukerne lett kan gjenkjenne.
4. Hierarki og prioritering
Vi organiserte informasjon og funksjon etter viktighet og i kronologisk rekkefølge.
5. Brukerens kontroll og frihet
Brukerne kan angre og gjøre om handlinger.
Brukerne har kontroll over systemet og deres interaksjoner.
6. Fleksibilitet og effektivitet
Formatet passer for ungdomsskolen og videregående, for nybegynnere og erfarne brukere.
7. Tilgjengelighet
Vi designet for alle brukere, inkludert de med funksjonsnedsettelser.
Vi fulgte retningslinjer for universell utforming og tilgjengelighet.
8. Tilbakemelding
Vi ga brukerne feedback hver gang de utførte en handlin.
Feilmeldinger og avvik
Vi la vi til begrensninger som gjorde det umulig å taste helt feil. For eksempel: i inputfeltet der eleven skulle skrive antall søyler deaktiverte vi bokstav input. På den måten ble eleven “tvunget” til å skrive et tall. Selvsagt hadde det også vært riktig å skrive “fire” søyler istedenfor “4”. Men hva om en elev ikke var stødig i norsk skriftlig, og skrev “firre”? Det kunne vi ikke risikere.
Vi fjernet også mulighet for desimaler, hvis svaret ikke inneholdt desimaler.
Ragnhild, 58 år
Fagansvarlig og oppgaveutvikler for nasjonale prøver i lesing, hun har faglærer utdnning med en mastergrad i sosiologi. Ragnhild føler stor omsorg for elevene og streber etter å lage rike og varierte oppgaver. Hun er utdannet lærer med en mastergrad i pedagogikk. Hun bruker mye tid på å sette seg inn i forskjellige læringsteknologier og savner den tiden hun kunne vie all sin tid på fag og faglig innhold. Hun synes Geogebra er for lite brukervennlig, og føler på økt arbeidspress nå når alle oppgaver skal lages digitalt, hun ikke får bruke godt innarbeidet oppgavetyper fordi de bryter med WCAG kravene og er veldig redd for å publisere oppgaver som ikke er itråd med WCAG kravene – og synes særlig dette med alt-tekst er vanskelig.
1. Problem: synes særlig dette med alt-tekst er vanskelig
Oppgaveutviklerne “er redd for å publisere oppgaver som ikke er i tråd med WCAG kravene og synes særlig dette med alt-tekst er vanskelig.”
Kravet de referer til er 1.1.1 Ikke-tekstlig innhold (Nivå A) som går ut på å gi brukeren et tekstalternativ for innhold som ikke er tekst.
Slik løste vi alt-tekst problemet
Vi laget et oppgaveformat med innebygd alt-tekst generator. Jeg laget regler og instruksjoner for hvordan teksten skal skrives, deretter la utvikleren inn dette ved hjelp av javascript. Nedenfor ser du 3 skjermbilder fra nasjonale prøver for 8. klasse på udir.no. Skjermbildene viser hvordan koden endrer seg i takt med elevens handlinger, som i dette eksemplet er å legge til verdier til hver sektor.
2. Problem: bruker mye tid til å forstå læringsteknologi – savner å kunne vie all sin tid på fag og faglig innhold”.
Det innebygde kontrollpanelet var lite intuitivt så vi gikk bort fra det og lot fagansvarlige og oppgaveutviklere sette opp diagrammer på samme måte elevene setter opp diagrammer (se prototype). Nå trengte de ikke lære seg noe nytt og på den måten fikk de mer tid til det faglige.
Scoring av oppgaver forenklet og automatiserte vi ved å la de som lager oppgavene skrive fasit i samme inputfelt som elevene skulle skrive svaret. Nå slipper de bruke tide på retting, ergo enda mer tid til å lage kvalitetsinnhold.
“Streber etter å lage best mulig oppgaver for alle elever.” Forfatter har full kontroll over oppgaveformatet, og kan sette opp oppgaven akkurat som hen vil. For eksempel så kan hen sette opp et ferdig diagram i oppgaven og la eleven (1) legge til verdi på søylene eller (2) legge til eller skrive søylenavn.
Skissen nedenfor viser hvordan oppgaveutvikler kan legge til fasit i samme inputfelt som elevene skriver sitt svar.
PROSESSEN
Da vi startet arbeidet med å utvikle et nytt digitalt oppgaveformat i matematikk for nasjonale prøver og eksamen, sto vi overfor et komplekst utgangspunkt: ingen av oss hadde tidligere utviklet et tilsvarende format. Verken de tekniske rammene, de faglige behovene eller brukerkravene var tydelig definert. For å håndtere dette, valgte jeg å bruke Lean UX som overordnet metode – kombinert med Design Thinking og en brukersentrert tilnærming.
Faciliterte workshops og samskapingsprosesser og involverte alle berørte parter for å etablere felles forståelse, minimere risiko ved lansering, sikre innovasjon, øke leveransekvalitet og sikre eierskap.
Funksjonalitet
Prioritering handler om å balansere brukerbehov, forretningsmål og tekniske rammer, og til dette brukte jeg MoSCoW-metoden fordi den hjelper med stuktur.
Ettersom ingen av oss visste noe særlig om teknologien vi skulle jobbe i, de tekniske rammene eller funksjonaliteten vi skulle lage, startet vi forsiktig med kun de kritiske funksjonene som er nødvendige for at løsningen skal dekke kjernebehovet.
Must-have: Må kunne tegne et søylediagram isom del av en oppgave. Etterhvert ble det tegne et søylediagramm og ha muligheten til å justere verdien til søylene.
På grunn av pandemien fikk vi ekstra tid, så “must have” listen inneholdt til og med should-have, Viktige funksjoner som øker verdien, men som kan nedprioriteres om nødvendig.bcould-have, nice to have-funksjoner.
Research Concept
Vi startet med å samle innsikt fra flere brukergrupper:
– Oppgaveutviklere, som skulle bruke verktøyet til å lage og publisere oppgaver.
– Elever, som skulle løse oppgavene i selve prøven.
– Matematikksenteret som fungerte som fagspesialister, superbrukere og faglig kvalitetskontrollører. Gjennom intervjuer, observasjoner og workshops identifiserte vi de forkjellige brukergruppene, samt brukernes utfordringer, smertepunkter, behov og mål.
Innsikt ble dokumentert og strukturert i en kravspesifikasjon som dekket:
– Funksjonelle krav og innstillinger
– Tekniske krav og begrensninger
– Faglige behov/ kompetansekrav
– Hvilke ferdigheter det målte
Design Thinking og Brukersentrert Design
Parallelt brukte jeg Design Thinking og en brukersentrert tilnærming for å få en dypere forståelse av oppgaveutviklernes og elevenes prosesser, utfordringer, kontekst og motivasjon, og for å sikre at oppgaveformatet adresserte både funksjonelle og emosjonelle behov.
Utførte innsiktsarbeid og behovsanalyser for å avdekke underliggende brukerbehov og utfordringer i utdanningssektoren, for å sikre at løsningen traff reelle problemer – noe som resulterte i økt relevans, verdiskapning og bedre brukeropplevelse.
Observerte oppgaveutiklere når de jobbet i den nye gjennomføringsløsningen for å få forståelse for de forskjellige prosessene, smertepunktene, forbedringsmulighetene, ønsker og behov..
Gjennomførte dybdeintervjuer, brukertesting og feltobservasjoner for å få innsikt i hvordan de ulike brukergruppene navigerte i løsningen, med mål om å få bedre forståelse og deretter skreddersy design og interaksjon etter behov.
Utviklet personas for å presentere de forskjellige brukerne for resten av teamet.
Validation, prototype & usertesting
Basert på innsikten utviklet jeg visuelle skisser og klikkbare prototyper som vi testet kontinuerlig. Visualisering av ideer ble en svært effektiv metode for å avdekke nye funksjonelle og tekniske krav.
Når superbrukerne så prototypene, ble de ofte bevisst behov de tidligere ikke hadde uttrykt eksplisitt.
For å strukturere dette videre utviklet jeg et “bestillingsskjema for ny funksjonalitet”som alle fagmiljøer og interessenter måtte bruke når de oppdaget nye behov. Dette skjemaet var direkte koblet til kravspesifikasjonen og bidro til å effektivisere innsiktsfasen med opptil 40%.
Validate & update
Etter hver iterasjon testet vi løsningen med både oppgaveutviklere og fagspesialistene
Vi gjennomførte:
Geriljatester og manuelle A/B-tester for rask validering av konseptvalg
Dybdeintervjuer og observasjoner for å forstå hvordan brukerne løste oppgavene
Faglige vurderinger sammen med Matematikksenteret for å sikre at formatet støttet læreplanmålene.
Tilgjengelighetsvurderinger – sammen med DigDir og Statped.
Disse testene gav kontinuerlig læring og bidro til kontinuerlig justering og forbedring av design og funksjonalitet.
Visuelt design og designsystem
Refleksjoner
Ved å bruke Lean UX oppnådde vi:
Smidig utvikling og en dynamisk kravspesifikasjon.
En leveranse alle var fornøyde med og stolt av. Raskere iterasjoner og beslutningsprosesser
Tidlig validering av antakelser og krav
Økt tverrfaglig forståelse og styrkede relasjoner mellom design, utvikling og fagmiljø En dokumentert og sporbar kravprosess som gjorde det enkelt å videreutvikle produktet, og utvikle andre produkter innen samme teknologi. Metoden gjorde det mulig å bygge opp både produktet og forståelsen for produktet parallelt, i stedet for å vente med læring til etter lansering.
Prototype: sett navn på søylene!
For å engasjere og motivere elevene er det viktig å gi de visuell tilbakemelding på handlinger de utfører/valg de tar. I dette tilfellet fokuserte vi på nedtrekks menyen.
Den visuelle endringen som skjer når elevene har valgt et navn fra nedtrekksmenyen fungerer som en bekreftelse på handlingen de har gjort, I tillegg til at de øyeblikkelig skjønner hvordan oppgavetypen fungerer. Noe som igjen gir følelse av mestring. Blyant ikonet sikrer at de ikke føler stress, fordi det viser at de kan forandre avgitt svar om de ønsker.
