연사: 박태준
EvaluationOverview_박태준.pdf▶ Formative Evaluation
고객의 요구를 만족하는지 보는 것으로 Early stage에서 수행
▶ Summative Evaluation
제품의 완성도를 보는 것을 Later stage에서 수행
▶ Spiral model
설계 → 디자인 → 프로토 타입핑 → 설계 more → 디자인 more → 프로토 타입핑 more …
일찍이 단점을 발견해서 보완할 수 있고, cost가 적음
▶ Four evaluation paradigms
이러이러하게 만들면 고객의 요구를 만족할 것이라는 믿음
1. ‘quick and dirty’
- 주위 사람에게 물어보면서 제품 설계 아이디어 얻는 것
- 대개 시간이 없어서 급하게 하는 방법
- 소수의 의견을 따라서 이상한 제품이 나옴
- 초기의 막연한 상황에서 시작하기 좋음
2. usability testing(사용성 평가)
- performance testing: 다른 요소는 배제하고(controlled settings) 과제를 줘서 어디서 실수를 하고 헷갈렸는지 평가
- 성능이 진짜 중요한 환경(ex. 원자력 발전소, 비행기)이나 빠른 시간 안에 수행해야 하는 제품의 경우 자주 사용하는 방법
- 만족도 평가나 인터뷰를 겸하기도 함
- 어느 정도 제품이 완성돼야 할 수 있음
3. field studies
- 밖에 나가서 실제 사용자를 만나서 평가를 하는 것
- 자연스럽게 사람이 어떻게 행동하는지 보고(natural setting) 하는 방법
- 직접 사람들이 어떻게 하는지 살펴보고 싶어서 하는 것
- 다음과 같은 단계에서 할 수 있다.
- 새로운 기술에 대한 아이디어를 확인하기 위해
- 디자인 요구 조건을 확인하기 위해
- 새로운 기술을 어떻게 소개할지 결정하기 위해
- 현재 기술을 평가하기 위해
4. predictive evaluation
- 모델을 가지고 예측하거나 (사용성 평가) 전문가(ex. Jacob, Donald)에게 물어보는 것
- 대개 중간 단계에서 자주 하고 전문가 평가라고 함
- 상대적으로 빠르고 가격이 그렇게 비싸지 않음
|
|
2 |
3 |
4 |
|
유저 |
Do task |
Natural |
Not involved |
|
위치 |
Controlled |
Natural |
Anywhere |
|
언제 |
Prototype |
Early |
Prototype |
|
데이터 |
Quantitative |
Qualitative |
Qualitative |
▶ Overview of techniques
Observing users (Early)
Asking users opinions (Early)
Asking experts’ opinions (Later)
Testing users’ performance (Later)
Modeling users’ task performance: 사람의 행동을 컴퓨터 모델로 만들어 놓은 게 있음
1. Observing Users
@ Direct observation
@@ Continuous Monitoring
@@ Think aloud: 유저가 자신이 하는 일을 계속 말로 함
@@@사람들이 무슨 생각을 하는지 알 수 있음
@@@사람들이 말하다 보면 평소에 행동하는 것과 많이 달라짐
@@ Post-task walkthroughs: 사람들이 하는 것을 비디오로 찍어두고 나중에 그 행동에 대해서 질문을 하는 것, 프라이버시 문제로 일지를 적게 할 수도 있음
@ Indirect observation
@@ Behavior trace studies; e.g. U of Arizona Garbage Project
Ex. 쓰레기 봉지를 뜯어서 생활 패턴을 파악
@@ Disguised field observation
@@ Eye-tracking or physiological measurement
2. Asking users
@ Interview: interview-administrated, 본의 아니게 자신의 생각이 투영됨
@@ Face-to-face interview
@@ Phone interview
@@ Focus group interview (특정 집단 면담): 여러 사람을 한 자리에 모아 놓고 질문, 말이 많은 사람만 대답한다는 단점 있음
@ Questionnaire: self-administrated (설문지): 저렴하고 자료 많고 정량적 분석이 가능, 여기에도 프레임 효과가 나타남
e.g.
@@ SUMI: Software Usability Measurement Inventory
@@ MUMMS: Measuring the Usability of Multi-Media Systems
@@ QUIS: Questionnaire for User Interaction Satisfaction
@@ PUTQ: Purdue Usability Testing Questionnaire
3. Asking Experts
@ Heuristic evaluation: 경험적으로 뽑아낸 가이드 라인
@ Walkthroughs: 초반 단계에 시나리오를 만들어서 각 단계를 평가
▶ Jacob Nielsen’s 10 heuristics
@ Visibility of system status
@ Match between system and real world
Ex. 스위치와 방 전등의 mapping
@ User control and freedom
@ Consistency and standards
@ Help users recognize, diagnose, recover from errors
@ Error prevention
@ Recognition rather than recall
@ Flexility and efficiency of use
@ Aesthetic and minimalist design
@ Documentation
|
|
Usability testing |
Field studies |
Analytical |
|
Observing |
O |
O |
|
|
Asking users |
O |
O |
|
|
Asking experts |
|
O |
O |
|
Testing |
O |
|
|
|
Modeling |
|
|
O |
최근댓글