사용성 테스트 결과
UT Result
앞서 진행된 3번의 사용성 테스트의 결과를 정리한다.
결과는 A/B 테스트의 자체 지표(신뢰성 UT, 오락성 UT, 최종 UT)와 SUS 지표(최종 UT)를 종합하여 도출되었다.
신뢰성 UT 결과
Credibility UT Result
1. 민부리 서체만 사용했을 때 평균 점수가 가장 높다.
민부리 서체만 사용했을 때 가장 평균 점수가 높은 것으로 나타났다. 부리 서체만 사용하거나,
민부리와 부리 서체를 혼용해서 사용하면 민부리 서체만 사용한 대표 시안 D1보다 신뢰성이 높아졌다. 하지만, 오락성, 만족도, 선호도는 하락하였다.
2. 사실만 서술하면 신뢰도만 올라가고 다른 특성은 모두 하락한다.
현재 나무위키는 본문에 사실과 주관, 유머적 요소가 섞여 있다. 이를 색으로 구분한 D4 시안은 모든 면에서 대표 시안 D1을
상회했다.
반면, 사실만 서술한 D5 시안은 D1 시안에 비해 신뢰성이 상승하였으나, 오락성, 만족도, 선호도는 크게 하락하였다.
3. 문어체/구어체, 객관적/주관적 어투 여부는 크게 차이나지 않는다.
문어체와 구어체의 차이, 객관적 어투와 주관적 어투의 비교 실험에서, 차이에 따른 사용자들이 반응은 크게 다르지 않았다.
문어체와 객관적 어투를 사용하면 신뢰성이 소폭 상승하나 두드러지는 정도는 아니었다. 선호 순위와 표준편차는 D1 시안이 우세했다.
4. 전문가 인증과 신뢰도 점수 표기는 출처와 함께 있을 때 신뢰도가 올라간다.
출처 없이 사견만 제공하였을 때 신뢰성이 크게 하락하였다. 전문가 인증과 신뢰도 점수 방안은 출처와 함께 제공되었을 때 모든 측면에서
평가가 크게 상승하였다. 전문가 인증 방안은 신뢰도 점수보다 높은 신뢰도를 기록했다.
5. 하이퍼링크는 필수적이고, 광고는 문서 중간에 나오면 안된다.
20명 전원 하이퍼링크가 있는 시안을 선호하였으며, 광고는 없는 시안을 선호했다. 연구자들은 나무위키를 사용할 때 오는 재미가
하이퍼링크 탐색에서 온다고 파악하였다. 대표 시안 D1이 평균 3.45점(0.87)을 획득한 것과 비교하면, 하이퍼링크가 없는 시안 D12는
평가가 모든 측면에서 크게 하락하였고, 광고가 있는 시안 D13 또한 모든 측면에서 크게 하락하였다.
6. 목차는 문서와 분리되어 스크롤에 따라 움직여야 한다.
4개 서비스의 레이아웃을 테스트 해본 결과, 브리태니커 백과사전의 레이아웃이 가장 긍정적인 평가를 받았으며,
스탠퍼드 철학 사전의 레이아웃이 가장 낮은 평가를 받았다. 연구자들은 실험을 진행하면서 사용자들이 목차에 대해
스크롤 시에 같이 내려오기 바란다는 응답을 다수 관찰하였다.
오락성 UT 결과
Entertainment UT Result
1. 출처가 존재한 상태에서 사견이 추가된다면 신뢰성을 손상시키지 않는다.
출처만 존재하는 대표 시안 D1과 비교했을 때, 사견을 추가한 시안 D18이 심미성과 만족도가 소폭 하락했지만 다른 6개 측면에서
평가가 상승하였다.
오히려 출처와 사견이 함께 제공되었을 때, 신뢰성도 상승하는 모습을 보였으며, 오락성 또한 상승하는 결과를 보였다.
2. UI는 이해하기 쉬워야 하고, 현재 맥락과 불일치하는 솔루션에는 수요가 없다.
나무위키의 오락성을 강화하기 위한 솔루션 중 유일하게 D20 시안이 대표 시안 D1보다 낮은 평가를 받았다.
주된 이유로는 흥미롭긴 하나 화면이 복잡하며, 이해하기 힘들고, 현재 맥락을 넘어 너무 많은 정보가 제공되는 것에 대하여 어려워하였다.
반면에 D21 시안은 현재 맥락에 대한 정보를 제공하고, 정보의 양이 많긴 하나 이해하는데 무리인 정도는 아니라는 평가가 있었다.
D19 시안은 현재 문서의 하이퍼링크 순위를 제공하는 단순한 형태였지만, 참가자들로부터 가장 좋은 평가를 받았다.
3. 하이퍼링크에 대한 설명은 해당 문서에 대한 정보로 이루어져야 한다.
하이퍼링크에 마우스를 호버했을 때 나오는 정보에 대해서는 D23 시안과 D24 시안이 대표 시안 D1보다 높은 평가를 받았다.
반면에 해당 문서에서 가장 클릭 수가 높은 하이퍼링크 문장을 보여주는, D25 시안은 더 낮은 평가를 받았다.
이를 통해 사용자가 하이퍼링크를 탐색할 때, 해당 문서에 대한 추가적인 설명을 원한다는 것을 알 수 있다.
4. 실시간성에 관련한 솔루션은 정성적 반응은 크나 정량적 반응은 크지 않다.
실시간 독자 수를 제공하는 D26 시안과, 진행 중인 토론을 표시하는 D27 시안은 참가자들로부터 긍정적인 평가를 받았다.
각 시안을 선호하는 참가자는 20명 중 D26 15명, D27 16명으로 높은 선호도를 보였으나, 정량적 지표에서는 크게 차이나지 않았다.
따라서, 연구자들은 참가자들로부터 같이 수합한 주관적 의견을 분석하여 최종 시안에 반영하였다.
최종 UT 결과
Final UT Result
최종 UT는 나무위키와 위키백과, 참나무위키의 최종 시안을 서로 A/B Test의 형식으로 비교하면서 진행되었다.
평가 기준은 앞서 오락성 사용성 평가에서 진행한 7가지의 측면이, 신뢰성 사용성 평가 기준을 포함하기 때문에 그대로 유지하여 진행하였다.
또한 자체 평가 기준에 더해, 범용적으로 쓰이는 SUS 지표를 동시에 활용하여 결과를 수합하였다.
1. 자체 질문지 평가
앞서 진행된 오락성 사용성 평가와 같이, 편리성, 오락성, 가독성, 선호도, 심미성, 만족도, 신뢰성 7가지의 기준으로 사용성 평가를
진행하였다.
평가 결과, 나무위키는 평균 3.23점으로 나왔으며, 위키백과는 평균 2.89점으로 나무위키보다 신뢰성은 높았지만, 심미성에서 1점 대를 기록하였다.
참나무위키는 평균 4.09점으로 심미성과 선호도를 제외한 모든 측면에서 4점 이상의 평가를 받았다.
2. SUS 지표 평가
참나무위키는 아직 나무위키와 위키백과와 비교하면 정식 서비스 중이 아니고, 검색 및 문서 스크린만 사용성 평가를 진행하였다.
반면, 나무위키와 위키백과는 이미 모든 기능이 완성되어 서비스 중이기 때문에, SUS 지표를 활용하여 자체 질문지와 동시에 반응을 수합하였다.
SUS 지표로 평가한 결과, 나무위키 64.3점, 위키백과 57.5점, 참나무위키 69,6점으로 참나무위키가 가장 점수가 높은 것을 확인하였다.
3. 사용자 피드백 수합
최종 UT를 진행하면서 참여자들의 피드백 또한 함께 수집하였고, 피드백을 바탕으로 최종 디자인의 개선을 진행하였다.
현재 전시에서 보여지는 프로토타입은 참여자들의 피드백을 통해 최종적으로 개선된 디자인이다.
최종 디자인
Final Design
총 3번의 UT를 통해 도출된 최종 디자인의 모습은 다음과 같다.
최종 디자인을 제작하기 위한 가이드라인은 다음 페이지에서 확인할 수 있다.
