做完前期準備工作 (Refer to Part A) 之後,就開始進行測試。
我們將會做1次pilot test,4次正式的session。每做完一次測試之後我們都會有一些心得,然後做一些調整。
(說明一下:由於admin的權限更多,看到的menu option更加多,但他同時也有普通user的權限,所以準備了額外一組卡片有admin menu的。但是時間問題以及跨部門,沒法把下面admin的測試做。所以只能我們internal先做)
Pilot Test
第一位受訪者是我們IT部門的admin,她已經在公司工作了7年了。日常使用內聯網的時間應該比普通的同事多一點點。
PM是moderator的角色,負責在研究過程中講解以及引導受訪者;我負責設置場地,觀察受訪者,錄影(到最後顧著做筆記就沒有錄到了,只能靠指定位置的攝影機錄影)以及做筆記。
moderator在受訪者對面,這一次由於我一開始要錄影,所以我沒有固定坐下來。
受訪者有3–4輪的任務做sorting以及解釋:
- 先分類,然後將他們分成小組
- 再將小組命名,然後解釋一下分組以及命名的原因
- 將類型相似的組別再組合一次(最後這一次我覺得有一些多餘,不過anyways)
- 最後,讓受訪者提問題讓我們解答他們的疑慮,或者讓他們給我們提一些意見。
我在過程中記下user feedback以及observation
User Feedback 包括一些受訪者認為哪些卡片很難分類,為什麼要這樣分類,受訪者認為什麼卡片是代表什麼,是否清晰等等
Interview Observations 包括我看到他先將某些卡片放在一起,但是後來改變主意了,以及推測背後的原因(在訪問的最後一個section可以互相問問題,在這時,就可以將我們所觀察到的問題向受訪者提問,從而嘗試得出答案)
Pilot Test之後的感想以及思考
- Pilot test發現卡片的字體要更加大才能錄影的時候可以看清楚,所以將卡片的字體調整了
- 如何引導participant think loud?發現東方人會比西方人內斂,不習慣在思考的時候將自己想的思路講出來,因為自言自語會有點尷尬。相反,西方人在氣氛安靜的時候就會講話。
- 擔心在途中問問題的時候會干擾到participant從而斷掉他們的思緒,所以只有默默地觀察,不知道如何引導
- 我決定坐在participant旁邊,而moderator坐在participant的對面讓他們覺得壓力沒這麼大
- 是否要按照順序問問題?還是根據不同participant的情況而問不同的問題/順序?
按照感想和思考不斷地做調整,每次做完test之後就立刻把訪問所觀察到的東西以及期間所想到的東西記下來,以免忘記了。
把之後的幾個受訪者的session都做完之後,又有一些發現
- 大部分受訪者會按照我們的思路走,但也會有性格上比較有主見的受訪者會加入自己的看法,當然我們也是歡迎的
- 有一種情況就是,當受訪者在解釋為什麼他們要這些卡片組合在一組或者解釋為什麼要這樣命名的時候,等於是檢查/審視自己所做的決定。在這時,他們或許會改變主意,將某些卡片放在其他組,或者將某個組名改掉,又或者在將卡片移到別組的時候同時因為組內的卡片內容有所改變從而要改變組名。因此上面出現了幾種結果
接下來,便進行data entry以及結果分析analysis。在Part C!敬請期待