Vecka 49

1 Utvärdering

Innan ni börjar med utvärderingsuppgifter bör ni gå igenom både föreläsningsmaterialet samt läsa igenom de tillhörande läsanvisningarna. Läs därefter igenom hela uppgifter så att ni vet vad det är ni skall göra. Planera därefter er utvärdering och genomför denna. Tänk på att samtliga delar skall redovisas på wikin, alltså inte bara slutresultatet utan även arbetsgången, planeringen, brister som fångats upp samt hur dessa har lösts.

I denna uppgift skall ni utvärdera den tjänst som ni tagit fram baserat på era high-fidelity mockuper. Således bör ni se till att ni känner er färdiga med dessa innan ni går vidare in på denna uppgift. Den typ av utvärdering ni skall genomföra är en hybrik mellan en heuristisk utvärdering och en kognitiv genomgång. Dessa är av sådan art att de på ett fördelaktigt sätt kan tillämpas tillsammans.

Ni har tidigare skapat ert gränssnitt utifrån med hjälp av ett antal olika metoder. Dessa kan vara scenarier, användarfall, olika flödesscheman eller liknande. Utifrån dessa har ni ju sedan byggt ert gränssnitt. Nu är det dags att sätta dessa på prov. Ni skall genomföra en heuristisk utvärdering, det vill säga att ni själva är expertutvärderare, utifrån ett set av designprinciper som ni själva väljer (de ni kan välja på finns nedan). Själv utvärderingen gör ni sedan på det mockup-system som ni själva skapat och ni utgår från de uppgifter som ni tidigare beskrivit. Era scenarier/användarfall blir med andra ord ett hjälpmedel för er för att göra en kognitiv genomgång av ert gränssnitt där ni utgår från designprinciperna i varje steg av dessa.


2 Planering inför utvärdering

Använd ramverket DECIDE för att beskriva hur ni skall lägga upp utvärderingen av de tre scenarier som du valt ut. Först kommer en kort repetition av DECIDE:


Determine: fastställande av mål med utvärderingen
o Vem vill ha utvärderingen och varför
o Hjälper till att skapa konceptuella modeller
o Utvärderarna måste förstå användarens behov
o Vilka metaforer skall användas i gränssnittet
o Det slutgiltiga gränssnittet skall vara konsistent
o Hur påverkar tekniken vårt arbete
o Hur kan ett redan existerande gränssnitt förbättras ur användbarhetssynpunkt

Explore: undersökning av specifika frågor som skall besvaras
o Hur länkar vi målen konkret till användaren och dess roll i systemet

Choose: val av utvärderingsparadigm och vilka tekniker som skall användas

Identify: identifierande av praktiska problem som måste tas hänsyn till
o Användaren: Rätt användaren i utvärderingen, hur skall användaren involveras i processen, hur mycket kan användaren involverad utan att bli "en i teamet"
o Lokaler och utrustning
o Tid-och budgetbegränsningar
o Expertis: Är teamet tillräckligt bra för att kunna genomföra utvärderingen själva?

Decide: avgöra hur etiska frågor skall tas hänsyn till
o Att användaren tar sig tid och ger sitt stöd att vara med måste respekteras
o Ge noggranna instruktioner
o Klargör att känsliga data är konfidentiella
o Låt användaren veta att hon kan avbryta testet när som helst
o Ge testpersonerna en belöning
o Undvik beskrivningar i texten som avslöjar vem personen är
o Be testpersonen om lov då du vill citera denna

Evaluate: utvärdera, tolka och presentera data
o Reliability: Hur trovärdig och konsistent är datan, är den representativ över ett flertal olika test?
o Validity: Är datangiltig? Mäter vi det vi tror att vi mäter?
o Biases: Har vissa problem förbisetts för att de inte anses vara så viktiga?
o Scope: Kan resultaten generaliseras till ett flertal applikationer?

3 Genomförande av utvärdering


Använd DECIDE för att genomföra sagda utvärdering. Använd dig också av det upplägg som finns i kurslitteraturen för att genomföra en heuristisk utvärdering. Detta är:
1. Briefing: Vad skall göras? Vilka delar skall testas? Vilka designprinciper skall användas?
2. Utvärdering: Varje person sitter 1-2 timmar med gränssnittet ifråga och använder designprinciper som guide. Minst två genomgångar skall göras. Se över specifika uppgifter.
3. Debriefing: Gå igenom det ni kommit fram till gemensamt. Gör en prioritering av de problem ni tagit fram. Diskutera fram lösningsförslag på dessa problem.

De designprinciper ni kan välja att utgå från är antingen Donald Normans eller Jacob Nielsens. Här repeteras dessa (även om dessa även finns i kurslitteraturen):

Donald Normans designprinciper
•Visuellt: Funktioner skall vara så synliga som möjligt för användaren så hon vet vart och vad hon kan göra

•Feedback: Ge användaren information om vad han åstadkommit och vad som har utförts av gränssnittet

•Begränsningar: Hur begränsad skall användaren vara i vad och hur hon kan göra saker?
-Logiska: Bygger på hur människor förstår saker runt omkring sig
-Fysiska: Hur beter sig saker i verkligheten?
-Semantiska: Hur vi tolkar situationen
-Kulturella: Beror på konventioner inom samhällen

• Mappning: Förhållandet mellan input och output

•Överensstämmelse: Att liknande input ger liknande output

• Inviter(affordance): Vissa attribut inbjuder till användning och interaktioner

Jacob Nielsens designprinciper
• Visibility of system status: The system should always keep users informed about what is going on, through appropriate feedback within reasonable time.

• Match between system and the real world: The system should speak the users' language, with words, phrases and concepts familiar to the user, rather than system-oriented terms. Follow real-world conventions, making information appear in a natural and logical order.

• User control and freedom: Users often choose system functions by mistake and will need a clearly marked "emergency exit" to leave the unwanted state without having to go through an extended dialogue. Support undo and redo.

• Consistency and standards: Users should not have to wonder whether different words, situations, or actions mean the same thing. Follow platform conventions.

• Error prevention: Even better than good error messages is a careful design which prevents a problem from occurring in the first place. Either eliminate error-prone conditions or check for them and present users with a confirmation option before they commit to the action.

• Recognition rather than recall: Minimize the user's memory load by making objects, actions, and options visible. The user should not have to remember information from one part of the dialogue to another. Instructions for use of the system should be visible or easily retrievable whenever appropriate.

• Flexibility and efficiency of use: Accelerators—unseen by the novice user—may often speed up the interaction for the expert user such that the system can cater to both inexperienced and experienced users. Allow users to tailor frequent actions.

• Aesthetic and minimalist design: Dialogues should not contain information which is irrelevant or rarely needed. Every extra unit of information in a dialogue competes with the relevant units of information and diminishes their relative visibility.

• Help users recognize, diagnose, and recover from errors: Error messages should be expressed in plain language (no codes), precisely indicate the problem, and constructively suggest a solution.

• Help and documentation: Even though it is better if the system can be used without documentation, it may be necessary to provide help and documentation. Any such information should be easy to search, focused on the user's task, list concrete steps to be carried out, and not be too large.

Börja således med att gå igenom era scenarier och användarfall och tillse att era mockuper har stöd för att visa upp samtliga delar i dessa. Genomför därefter utvärderingen genom att gå igenom varje del i era scenarier/användarfall/flödesscheman och på varje enskilt steg går ni igenom designprinciperna för att tillse att ni har ett godtagbart resultat. Skriv ner problem som uppstår på varje steg.

När ni är klara med utvärderingen sätter ni er och diskuterar igenom dessa tillsammans. Gör en lista på de fördelar och nackdelar som finns i ert gränssnitt och kom med konkreta förslag på hur dessa bör lösas. Ni presenterar därefter allt på er wiki-sida. Det som skall finnas på wiki-sidan är:
- Genomgång av upplägg och planering på er utvärdering enligt DECIDE
- Genomgång av utförandet av er utvärdering
- Presentation av resultatet från er utvärdering
- Konkreta lösningar på de problem som ni tagit fram

Tänk på att vara så noga som möjligt när ni presenterar detta, motivera och reflektera gärna över det som ni kommit fram till.