通和在將程序從基于紙張的交付過渡到基于計算機的交付方面擁有豐富的經驗。測試開發部門配備了直接參與方法學研究和應用的心理學家,以確保在這種過渡期間對候選人表現的影響最小。
研究
在過去的10到15年中,基于計算機的考試(CBT)變得異常多產,因此業界對基于紙質考試和基于計算機的考試之間的可比性的研究數量已大大增加??梢灶A料,最初將計算機引入測試人群時常見的研究結果不再與當今進入測試環境的候選人群相關。隨著候選人群對計算機的了解,訪問和熟悉程度的提高,引入基于計算機的考試的影響已大大降低。由于計算機的可用性在所有人口子群體中均呈指數級增長,因此在多個候選細分市場中都是如此。
在總結過去5到10年(最近一次是在1997年進行)的多項研究的結果時,在研究領域中確定的要點如下:
基于紙質測試和基于計算機的測試對考試成績的影響大小通常在統計學上不顯著(p> 0.05),表明兩種測試方法之間沒有實質性差異。
對基于紙質與基于計算機交付的單個項目的差異項目功能(DIF)分析通常表明,當項目類型有利于兩種交付方式時,兩個交付渠道中項目的性能是可比的。
與候選人庫之間有關基于計算機的考試交付的明確溝通可以進一步減少交付模式影響最終候選人表現的機會。
在模擬測試環境中進行準備和練習(通過現場測試之前的實踐考試和/或輔導)可以減少候選人的表現焦慮,并進一步有助于獲得公平的測試結果。
除了可用于測試行業的理論研究之外,Prometric還具有評估和比較多個交付渠道的候選績效方面的實踐經驗。我們已經成功地將大量客戶從一種交付方式遷移到另一種交付方式,并且一直評估候選人的表現,以確保為所有候選人提供公平的機會來展示其知識(與所使用的渠道無關)。此外,Prometric還擁有許多使用雙重交付模型的客戶(基于紙張和基于計算機的交付),這也允許在多個測試環境中持續監控考試成績和單個項目成績的可比性。 Prometric的發現始終如一地反映了一般測試社區的上述發現,并且我們已經能夠開發和改進確保所需結果的方法。
實踐
在遷移檢查程序時,應考慮幾個步驟。盡管有很多單獨的任務,但是主要活動包括以下內容:
當前項目庫的評估通常在項目開始時對當前紙質項目庫進行評估,以確保適用于基于計算機的環境并收集基線統計信息以供將來評估。
修改項目演示文稿如有必要,Prometric會就單個項目的修改提出建議,以增加在基于計算機的環境中進行整體考試的公平表現的可能性。
準備與候選人的溝通工作Prometric與客戶合作,以確保在引入新的交付模型之前針對候選人人群進行適當的溝通活動。
準備樣本考試和/或教程Prometric會在現場考試之前準備提供給候選人的實踐考試和/或教程,以通過測試交付模型提高候選人的舒適度。
考試和項目分析使用在步驟2中收集的基準數據,Prometric將評估考試和項目級別的表現,以確保候選人表現的可比性。
持續監控和維護在初步確認可比性后,交付模型的評估不會停止。 Prometric心理測量師將持續監視USPS項和考試的表現,以確保它們在可接受的統計參數范圍內執行,并預測未來測試開發的需求。
Prometric將上述方法嵌入我們的測試開發和交付流程中,以確保所有候選人的公平,有效和合法辯護程序。我們在成功實施基于計算機的考試方面的經驗與我們成熟的流程相匹配,可確保在整個考試生命周期中確保產品質量和性能。