사용성 테스트 진행

UT Process

프로젝트의 주요 쟁점은 “어떻게 나무위키의 오락성을 보존하면서 신뢰성을 개선할 수 있는가?”에 대한 물음을 해결하는 데에 있었다.
따라서, 나무위키를 개선하는 데 가해지는 여러 요소들이 각각 어떻게 사용자에게 영향을 주는지 파악하기 위해 사용성 테스트를 진행했다.
신뢰성 관련 UT는 09월 21일부터 10월 27일까지, 오락성 관련 UT는 10월 27일부터 11월 10일까지, 마지막 최종 UT는 11월 12일부터 11월 00일까지 진행되었다.

My Image

UT 범위

Test Scope

사용성 테스트의 범위는 편집 기여자가 아니라 참여자 입장에서 진행되었다. 이는 위키 사용자 중에서 편집에까지 참여하는 인원보다 관찰만 하는 인원이 더 많다는 점,
편집기 사용성과 광범위한 규칙에 대한 솔루션은 이미 타 서비스를 통해서 개선할 수 있는 점, 현재 발생하고 있는 문제가 편집보다는 관찰에 원인이 있는 점,
제한된 시간 내에서 사용성 테스트를 진행해야 하는 점들을 종합적으로 고려한 결과이다.

My Image

UT 세션 진행 방법

How to

사용성 테스트는 총 3번에 걸쳐 이루어졌다. 신뢰성, 오락성, 최종 시안 UT 모두 각각 20~30대 남/여 20명을 대상으로 진행되었다.
나무위키의 신뢰성과 오락성을 개선하기 위해 총 27개 시안을 제작한 다음, 대표 시안과의 비교를 위해 A/B 테스트 방법론을 채택하였다.
최종 시안의 경우에는 신뢰성과 오락성 사용성 테스트 결과를 수합한 후, SUS 사용성 지표를 통해 사용자들의 반응을 측정하였다.

My Image

신뢰성 UT

(A/B, n=20)

신뢰성 사용성 테스트는 10개 기준을 하나씩 변경하여 총 17가지 시안을 제작한 다음, 대표 시안과 비교하면서 진행되었다.
7개 기준은 앞서 UX 구성요소 분석을 통해 도출한 폰트, 문서 내용, 어투/문체, 각주 내용, 하이퍼링크, 광고, 레이아웃이다.
이에 더해, 연구자들은 나무위키의 신뢰성을 보완하기 위한 방안 3가지를 추가로 아이데이션 하였다.

My Image
My Image

오락성 UT

(A/B, n=20)

연구자들은 오락성 테스트를 하기에 앞서 나무위키의 오락성이 어디서 오는지 살펴보고자 하였다.
심층 인터뷰 및 선행 연구 분석 결과, 연구자들은 나무위키의 오락성이 크게 탐색, 독자, 쉬운 전달과 이해, 실시간성/동시대성 4가지 요소에 있다고 파악하였다.
그 다음에는 4가지 요소에 대해, 기존의 오락성을 보존 및 강화하고자 10개의 솔루션 아이데이션을 진행한 후 대표 시안과의 비교를 진행하였다.

My Image
My Image

UT 인사이트 & 개선 방안

1. 사용자들은 신뢰도 점수 산출의 근거까지 원한다.

참가자들은 신뢰도 점수가 제공되는 D10 시안과 D11 시안에 대하여, 과연 어떻게 산출되는 것인지, 근거는 무엇인지,
누가 점수를 매기는 것인지에 대해 알아야 비로소 점수를 제대로 신뢰할 수 있을 것 같다고 응답하였다.
이에 신뢰도 점수 UI에 사용자들이 직접 어떤 전문가들이 점수를 평가했는지와 전문가의 정보를 제공하는 식으로 개선하였다.

My Image

2. 목차는 내용과 분리되어 스크롤 시에 따라와야 한다.

4개 서비스의 레이아웃을 테스트해본 결과, 사용자들은 목차가 컨텐츠 영역과 분리되어 스크롤 시에 같이 따라 내려오기를 바란다는 응답이 다수였다.
따라서 목차를 화면 상단 좌측에 분리하였고, 컨텐츠 영역을 더 확보하기 위해 기존 4개 서비스와 달리 독자적인 레이아웃 규격을 제작하였다.

My Image

3. 내용을 성격별로 구분하는 태그는 내용을 가리면 안된다.

참가자들로부터 내용의 성격을 구분해주는 D4 시안의 태그가 윗줄의 텍스트를 가려 불편할 수 있다는 의견이 있었다.
연구자들은 이에 태그 위치를 텍스트 라인 상단에서 내부로 포함하는 식으로 변경하여, 윗줄을 가리지 않도록 개선하였다.

My Image

4. 출처와 사견은 서로 다르게 표현되어야 한다.

출처와 사견을 함께 제공하는 D18 시안의 경우, 마우스를 호버했을 때 너무 넓은 면적을 차지하기 때문에 출처와 사견을 각각 분리하여 제공한다.

My Image

최종 UT

(A/B, n=20)

최종 UT는 앞서 신뢰성 UT와 오락성 UT 결과를 통해 도출된 값을 바탕으로 진행되었다. 최종 시안은 사용자들에게 대표 시안 D1보다 긍정적인 평가를 받은 솔루션만 적용하였다.
이외에 사용자들로부터 의견을 수합하여 기존 솔루션의 개선 사항을 적용하고, UT 중 더 발견된 사항을 바탕으로 추가 솔루션 아이데이션을 진행하여 적용하였다.
최종 UT는 같은 위키 플랫폼인 나무위키, 위키백과와 비교하여 자체 질문지와 SUS 지표를 동시에 응답 받았다.

My Image
My Image