Tin tức

Tóm tắt: Xây dựng ngân hàng câu hỏi thi là một trong những hoạt động nhằm đối mới phương pháp kiểm tra đánh giá, giúp nâng cao chất lượng giáo dục ở các nước trên thế giới và đặc biệt ở Việt Nam. Câu hỏi thi được biên soạn dựa trên mục tiêu môn học, chuẩn đầu ra sẽ giúp đánh giá chính xác năng lực của học sinh để đạt kết quả cao hơn nữa trong quá trình học tập.Bài báo cáo tập trung vào quy trình xây dựng ngân hàng câu hỏi đánh giá kết quả học tập môn Vật lý Lớp 12. Theo đó, các câu hỏi thi được xây dựng, thử nghiệm và phân tích theo Lý thuyết ứng đáp câu hỏi (IRT) và bằng phần mềm chuyên biệt Conquest.

Từ khóa: Ngân hàng câu hỏi, lý thuyết ứng đáp câu hỏi IRT, phần mềm phân tích Conquest.

1. Đặt vấn đề

Trong những năm gần đây, đổi mới kiểm tra đánh giá (KTĐG) kết quả học tập (KQHT) được coi là khâu rất quan trong trong quá trình đổi mới giáo dục. Kiểm tra đánh giá khách quan, nghiêm túc, đúng cách, đúng hướng sẽ là động lực mạnh mẽ khích lệ sự vươn lên trong học tập, thúc đẩy sự tìm tòi sáng tạo của người học; đồng thời cung cấp thông tin kịp thời để giáo viên có thể cải tiến phương pháp giảng dạy. Phương pháp kiểm tra trắc nghiệm khách quan (TNKQ) đã nhanh chóng được đưa vào trong các đợt kiểm tra, kỳ thi quan trong như: thi học kỳ, thi tuyển sinh, tốt nghiệp Trung học phổ thông (THPT) Quốc gia... Cùng với sự phát triển của Khoa học đo lường và đánh giá trong giáo dục, sự ra đời của các phần mềm phân tích câu hỏi thi, đề thi (như Quest, Conquest, IATA …) đã ngày càng cho thấy tính ưu việt của phương pháp kiểm tra TNKQ. Xu hướng sử dụng lý thuyết khảo thí và phần mềm phân tích dữ liệu ngày càng được quan tâm bởi các cơ sở giáo dục và các nhà nghiên cứu [1-3].

Ở trường THPT, việc sử dụng đề trắc nghiệm (ĐTN), xây dựng ngân hàng câu hỏi để đánh giá KQHT đã được sử dụng. Tuy nhiên, các câu hỏi trắc nghiệm (CHTN), ĐTN đã sử dụng chưa được phân tích và đánh giá một cách khách quan, khoa học. Một trong nguyên nhân đó là giáo viên THPT chưa được tiếp cận một cách bài bản với khoa học đo lường - đánh giá trong giáo dục.

Trong báo cáo này, chúng tôi trình bày tóm lược kết quả bước đầu áp dụng và thử nghiệm lý thuyết khảo thí và phần mềm Conquest trong xây dựng ngân hàng câu hỏi trắc nghiệm để đánh giá KQHT môn Vật lý 12 tại Trường THPT Phương Sơn – Bắc Giang.

2. Cơ sở lý thuyết

Ngân hàng CHTN được xem là một trong những cách tiếp cận quan trọng trong lĩnh vực trắc nghiệm. Ngân hàng câu hỏi là “tập hợp những câu hỏi dưới dạng văn bản có thể dễ dàng truy cập để sử dụng khi xây dựng đề thi … thường được tin học hóa để dễ dàng lưu giữ và thuận tiện khi tạo ra các đề thi mới. Mỗi câu hỏi được mã hóa theo từng lãnh vực nội dung và mục tiêu giảng dạy, cũng như những dữ liệu được thu thập qua thực nghiệm như những số đo về độ khó và độ phân cách của từng câu hỏi”(McCallon & Schumacker 2002) [4]. Các câu hỏi, tương ứng với các chuẩn kiến thức, kĩ năng nào đó, được sắp xếp theo một trình tự logic, thay đổi theo mức độ nhận thức. Các câu hỏi này, theo nguyên tắc phải được phân tích, định cỡ về độ khó, độ phân biệt, độ tin cậy...nhằm kiểm tra kết quả học tập của học sinh (HS) so với các tiêu trí đánh giá đã được xác định. Ngân hàng CHTNcần được phân tích, thử nghiệm sửa đổi, bổ sung đáp ứng các yêu cầu mới của kiểm tra đánh giá. Từ hệ thống CHTN, có thể ra các đề kiểm tra phù hợp với các kì đánh giá khác nhau. Hệ thống ngân hàng CHTN có thể giúp giáo viên giảm bớt việc thực hiện các quy trình xây dựng đề kiểm tra và nâng cao được chất lượng kiểm tra đánh giá một cách hệ thống, khoa học.

Lí thuyết khảo thí. Trong đo lường giáo dục, có hai hệ lý thuyết đánh giá cơ bản là Lý thuyết đánh giá cổ điển (Classical Test Theory) và Lý thuyết ứng đáp câu hỏi hay còn gọi là lý thuyết đánh giá hiện đại (Item Resonse Theory). Phát triển từ khoảng đầu thế kỉ XX cho đến thập niên 1970, Lí thuyết khảo thí cổ điển đã đạt được nhiều thành tựu to lớn, tạo cơ sở khoa học để thiết kế các phép đo tương đối chính xác. Tuy nhiên lí thuyết này còn nhiều hạn chế, nhất là không tách biệt các đặc trưng của thí sinh độc lập với các đặc trưng đề thi [5]

Từ sau những năm 1970, một lý thuyết phân tích câu hỏi trắc nghiệm hiện đại ra đời dựa trên lí thuyết ứng đáp câu hỏi của nhà toán học Đan Mạch -Georg Rasch.Lí thuyết IRT được phát triển rất nhanh nhờ những ưu điểm vượt trội của bản thân nó và nhờ khả năng tính toán của máy tính.IRT chỉ ra điều kiện cốt yếu để thí sinh trả lời được câu hỏi phụ thuộc mối quan hệ giữa hai đại lượng: năng lực của thí sinh và độ khó của câu hỏi. Theo đó, xác suất trả lời đúng đối với một câu hỏi là một hàm số (một, hai, ba tham biến...) của năng lực thí sinh và độ khó câu hỏi và có thể có thêm một số tham biến khác. Mô hình IRT một tham số được thể hiện qua biểu thức (1)[6,7]:

Hầu hết các mô hình Lý thuyết đánh giá hiện đại sử dụng xác suất như một hàm số của sự khác nhau giữa tham số năng lực q và tham số độ khó d, tức là q - d. Việc tính toán theo lý thuyết IRT được đơn giản hoá bằng các phần mềm ứng dung, trong đó phải kể đến phần mềm Conquest.

Phần mềm Conquest là phần mềm phân tích và đánh giá câu hỏi được xây dựng dựa trên lí thuyết ứng đáp câu hỏi IRT, nó cung cấp một phạm vi linh hoạt và toàn diện về các mô hình ứng đáp câu hỏi đến người phân tích, cho phép chúng ta khảo sát các thuộc tính về đánh giá năng lực, đánh giá truyền thống. Conquest sử dụng phương pháp đo lường tâm lí hiện đại bậc nhất về các mô hình ứng đáp câu hỏi đa biến, đa chiều, mô hình hồi quy tiềm ẩn và mô tả các giá trị tin cậy. Conquest cung cấp cho ta [8]:

• Thông số cơ bản của việc phân tích câu hỏi dựa trên mô hình ứng đáp câu hỏi IRT: độ ước đoán, lỗi của các câu hỏi và các chỉ số chuẩn đoán về sự phù hợp của câu hỏi và đề kiểm tra với mô hình Rasch và sự phù hợp của các câu hỏi với nhau.
• Thông số về độ khó, độ phân biệt theo lí thuyết cổ điển, các tham số liên quan đến độ khó, độ phân biệt, độ phỏng đoán theo lí thuyết trắc nghiệm hiện đại, số thí sinh lựa chọn từng phương án trả lời, độ tin cậy của đề thi.
• Sự phân bố độ khó của câu hỏi với năng lực của HS qua biểu đồ phân bố thống kê tương quan giữa năng lực của HS với sự phân bố độ khó của các câu hỏi.
• Đường cong đặc trưng câu hỏi (ICC). Đường cong đặc trưng câu hỏi (ICC) biểu thị xác suất trả lời đúng câu hỏi với năng lực của HS (Hình 1).
• Khảo sát các chức năng khác nhau của câu hỏi với mô hình đa yếu tố và các ràng buộc tuyến tính
• Khám phá những tác động của người chấm với các tiêu trí trả lời khác nhau và nghiên cứu sự phụ hợp của cá nhân người chấm và các người chấm khác
• Trường hợp bất thường của người trả lời câu hỏi. Ví dụ, câu trắc nghiệm vượt qua khả năng mà HS vẫn làm đúng, câu dưới khả năng HS làm sai?

3. Quy trình đánh giá KQHT môn Vật lý lớp 12

Trên cơ sở khoa học đánh giá, lý thuyết khảo thí, chúng tôi đã tiến hành xây dựng ngân hàng CHTNtheo quy trình sau(đánh giá KQHT môn Vật lý 12 – học kì I và áp dụng tại trường THPT Phương Sơn – Bắc Giang) (hình 2):

Theo đó, việc đánh giá kết quả học tập môn Vật lý lớp 12 được bắt đầu từ việc xây dựng các tiêu chí đánh giá trên cơ sở chuẩn kiến thức kĩ năng của môn học. Bước hai, tiến hành lập kế hoạch đánh giá dựa trên phân phối chương trình giảng dạy. Bước ba, xây dựng bảng đặc tả chi tiết cho từng bài kiểm tra (hay còn gọi là ma trận đánh giá). Bước bốn, dựa trên bảng đặc tả đã được xác định, tiến hành biên soạn câu hỏi thi; việc này có thể được phân công cho nhiều giáo viên trong tổ bộ môn biên soạn.

Sau khi được biên soạn, các câu hỏi được đem ra phân tích bằng phương pháp chuyên gia. Theo đó, các chuyên gia (giáo viên) chuyên môn đưa ra các nhận định, đánh giá, nhận xét phản biện cho từng câu hỏi thi. Những câu hỏi được nhận xét không đạt chuẩn (về kỹ thuật viết và về nội dung giảng dạy trong chương trình) sẽ được loại bỏ, thay thế hoặc viết lại trước khi sử dụng. Ngân hàng câu hỏi thi sau khi được hoàn tất sẽ được đưa vào thi thử và phân tích kết quả. Bước phân tích này chính là phân tích lần hai bằng phương pháp khảo thí hiện đại dựa trên mô hình ứng đáp câu hỏi và phần mềm Conquest. Bước cuối cùng là hoàn thiện ngân hàng, dựa trên kết quả phân tích, chúng tôi tiến hành điều chỉnh, bổ sung và cập nhật bộ câu hỏi kiểm tra.

Chúng tôi đã tiến hành thiết kế được bảng đặc tả (bảng 1) và biên soạn ngân hàng câu hỏi theo chương trình giảng dạy cho các đề kiểm tra: 3 bài kiểm tra 15 phút, 2 bài kiểm tra 45 phút, 1 bài thi học kì 1. Các câu hỏi được biên soạn bám sát các tiêu chí đánh giá về từng chủ đề/ nội dung (theo chương trình) và về các cấp độ năng lực nhận thức (theo thang Bloom). Chúng tôi đã tiến hành thử nghiệm các đề kiểm tra 15 phút và 45 phút, sau đó phân tích kết quả thu được trên mô hình Rasch và bằng phần mềm Conquest 1.0. Kết quả phân tích giúp lựa chọn những câu hỏi tốt và chỉnh sửa, loại bỏ những câu hỏi chưa tốt và kém chất lượng; đồng thời chỉ ra những lỗi cần tránh khi biên soạn câu hỏi.

Bảng 1: Ma trận đề kiểm tra 45 phút số 1

4. Kết quả đánh giá đề thi

Trong khuôn khổ bài báo này, chúng tôi trình bày kết quả phân tích bài kiểm tra 45 phút số 1 với 30 câu hỏi trắc nghiệm khách quan với 4 phương án lựa chọn. Đề kiểm tra được thử nghiệm trên tổng số 92 học sinh lớp12, nhằm kiểm tra 3 mức năng lực nhận thức: Nhận biết (9 câu), Thông hiểu (12 câu), Vận dụng (9 câu).

4.1.Mức độ phù hợp với mô hình IRT.

Kết quả khi phân tích đề kiểm tra được liệt kê trong file SHW cho thấy tất cả các câu hỏi có UNWEIGHTED FIT nằm trong khoảng (0.71, 1.29), chỉ số  Weighted MNSQ của tất cả các câu hỏi xấp xỉ bằng 1 cho thấy dữ liệu dùng để phân tích là phù hợp với mô hình IRT.

Bảng 2. Mức độ phù hợp của các câu hỏi thi với mô hình

Như vậy các câu hỏi của đề kiểm tra hoàn toàn phù hợp, cả 30 câu hỏi trong đề kiểm tra này đều đo đúng nội dungkiến thức cần kiểm tra. Hệ số tin cậy Separation Reliability = 0.970 cho thấy kết quả của bài kiểm tra có độ tin cậy cao.

4.2. Đặc tính các câu hỏi thi

Câu hỏi tốt là những câu hỏi phù hợp với mô hình Rasch, có độ khó, độ phân biệt chấp nhận được, các phương án nhiễu của các câu hỏi có tỷ lệ chọn tương đương nhau. Với những câu không đạt yêu cầu, cần được loại bỏ, điều chỉnh sao cho phù hợp với mô hình, phù hợp với các tiêu chí đánh giá.Dưới đây chúng tôi phân tích một số nhóm câu hỏi tốt, chưa tốt và nhóm câu hỏi cần điều chỉnh.

• Nhóm các câu hỏi tốt (các câu số 3, 4, 12, 14) là các câu hỏi có độ phân biệt, độ khó phù hợp, các phương án nhiễu có giá trị. Chỉ số dưới đây là kết quả phân tích của câu hỏi số 3 (Item 3)

Độ khó của câu hỏi p = 0.61, nằm trong khoảng có giá trị 0,25-0,75, có 61%HS trả lời đúng câu hỏi này.Độ phân biệt (Discrimination)rất tốt D = 0.5, câu hỏi có giá trị phân biệt nhóm thí sinh có năng lực cao và nhóm thí sinh có năng lực thấp.Hệ số tương quan (Pt Bis) cho ta thấy các phươngán nhiễu có chỉ số âm, phương án đúng có chỉ số dươngcho thấy các phương án gây nhiễu có giá trị trong việc đánh giá năng lực của thí sinh.

Đối chiếu với nội dung câu hỏi số 3 trong đề kiểm tra:

Câu 3:  Vật dao động điều hòa khi đi từ biên độ dương về vị trí cân bằng thì

A. li độ vật giảm dần nên gia tốc của vật có giá trị dương.

B. li độ vật có giá trị dương nên vật chuyển động nhanh dần.

C. vật đang chuyển động nhanh dần vì vận tốc của vật có giá trị dương.

D.vật đang chuyển động ngược chiều dương và vận tốc có giá trị âm.

Theo phân tích của chuyên gia, câu hỏi số 3 được thiết kế để kiểm tracấp độthông hiểu, do đó, độ khó p=0.61 là rất phù hợp, độ phân biệt D = 0.5 là câu hỏi có độ phân biệt chấp nhận được. Kết quả này cũng có thểđược khẳng định thông qua đường cong đặc trưng của câu hỏi (hình 3): Đường cong thực tế của câu hỏi (đường nét đứt) bám sát đường cong kỳ vọng của câu hỏi, xuất phát từ điểm xác suất gần gốc tọa độ đi lên, cho thấy câu hỏi thiết kế phù hợp để kiểm tra năng lực của thí sinh.

Hình 3. Đường cong đặc trưng câu hỏi số 3

• Nhóm các câu hỏi cân nhắc điều chỉnh (câu số 8, 18, 21, 23) là các câu hỏi có độ phân biệt rất thấp, các phương án nhiễu không hiệu quả hoặc có độ khó không phù hợp, không đánh giá chính xác theo mục tiêu đề ra.

Ví dụ phân tích câuhỏi số 8 (Item8): Độ khó của câu hỏi p = 0.94 cho thấy đây là câu hỏi dễ, hầu hết học sinh làm đúng nên độ phân biệt khá nhỏ D = 0.09. Do vậy,câu không thể phân biệt được nhóm học sinh học lực thấp và nhóm học sinh học lực cao. Đồng thời, phương án nhiễu D không có tác dụng do không có HS lựa chọn. Để giải thích kết quả này, chúng tacần đối chiếu với các kết quả phân tích bằng phương pháp chuyên gia.Câu hỏi số 8 thiết kế ở mức độ nhận biết – mức độ thấp nên câu hỏi khá dễ, hầu hết học sinh đều làm đúng câu hỏi. Trong một đề kiểm tra nên có một số câu hỏi ở cấp độ này, nhưng không nên có quá nhiều.

Hình 4. Đường cong đặc trưng câu hỏi 8

• Nhóm các câu hỏi chưa tốt (câu số 5,6,22, 24,28, 29,30) là các câu hỏi có độ phân biệt hoặc độ khó hoặc các phương án nhiễu không phù hợp. Ví dụ câu số 5 (Item 5)

Hình 5. Đường cong đặc trưng câu hỏi 5

Với độ khó p = 0.71, câu hỏi có độ khó trung bình. Với độ phân biệt chấp nhận được (D = 0.25), câu hỏi có khả năng phân biệt được học sinh có năng lực cao và học sinh có năng lực thấp. Hệ số tương quan Pt Bis cho ta thấy các phươngán nhiễu có chỉ số âm, phương án đúng có chỉ số dương. Như vậy các phương án gây nhiễu là phù hợp. Tuy nhiên cần xem lại phương án nhiễu A do không có HS lựa chọn.

Đối chiếu với các phân tích bằng phương pháp chuyên gia cho câu hỏi số 5 trong đề kiểm tra: Câu 5 kiểm tra mức độ thông hiểu, do đó, độ khó p=0.71 là phù hợp, độ phân biệt D = 0.25 là câu hỏi có độ phân biệt chấp nhận được. Do đó cần điều chỉnh lại phương án nhiễu A để câu hỏi có giá trị hơn.

Câu 5. Một vật dao động điều hoà theo phương trình x = -4cos(5pt - π/3) cm. Biên độ dao động và pha ban đầu của vật tương ứng là

A.- 4cm và π/3 rad.                                      B. 4cm và 2π/3 rad.

C. 4cm và 4π/3rad                                        D. 4cm và π/3 rad.

Ta sẽ sửa phương án A, (A.- 4cm và π/3 rad.), ta điều chỉnh gây nhiễu tiếp pha ban đầu theo đúng dạng phương trình,  sửa thành  (A. -4cm và –π/3 rad.)

4.3. Thang phân bố độ khó câu hỏi và năng lực của thí sinh

Để đưa ra quyết định cuối cùng về câu hỏi ta sẽ xem tiếp về sự phân bố độ khó của câu hỏi với năng lực của học sinh. Hình 6 biểu diễn thang phân bố độ khó của CHTN và khả năng của HS nằm trong khoảng từ -1 đến 3 theo đơn vị logic. Kết quả cho thấy, các câu hỏi được phân bố thành 3 nhóm riêng rẽ, và có thể cho rằng 3 nhóm câu hỏi này kiểm tra 3 vùng kiến thức/ năng lực khác nhau, cụ thể:

- Nhóm 1: câu số 1, 2, 7, 8, 10, 15,16, 19, 28, 30

- Nhóm 2: câu số 3, 5, 6, 9, 11, 13, 22, 24, 25, 26, 27

- Nhóm 3: câu số 4, 12, 14, 17, 18, 20, 21, 23, 29

Ngoài việc so sánh các câu hỏi với nhau, biểu đồ cũng cho phép ta so sánh khả năng làm bài TNcủa HS với độ khó của CHTN, có 3 HS (Each 'X' represents 0.2 cases) có khả năng cao hơn độ khó của tất cả các CHTN.          

Hình 6. Biểu đồ sự phân bố độ khó của câu hỏi so với năng lực của HS

Như vậy, xét trên biểu đồ này ta thấy đây là đề thi vừa sức với năng lực thí sinh tham gia trả lời, có ít thí sinh (top trên) có năng lực cao mà không có câu hỏi nào đánh giá (3 HS). Tuy nhiên, đề thi lại có nhiều câu hỏi ở mức quá dễ (câu 8, 28, 10, 15, 19) mà năng lực của HS vượt quá độ khó của những câu hỏi này.

5. Kết luận về câu hỏi và đề kiểm tra

Kết hợp các kết quả phân tích bằng phương pháp chuyên gia và phân tích các chỉ số về đặc tính câu hỏi bằng lý thuyết ứng đáp câu hỏi (sự phù hợp với mô hình Rasch, độ tin cậy, độ giá trị, độ khó, độ phân biệt, thang phân bố năng lực HS và độ khó câu hỏi, đường cong đặc trưng câu hỏi), ta có thể đưa ra kết luận để điều chỉnh,giữ lại hoặc thay thế các câu hỏi trong Đề kiểm tra 45 phút số 1 như sau: Đề kiểm tra có chất lượng tương đối tốt, phù hợp với mô hình IRT, là một đề kiểm tra có giá trị, có độ tin cậy cao.

Đề kiểm tra không xảy ra tình trạng các câu hỏi có khả năng nhầm đáp án hoặc cách giảng dạy, cách hiểu bài của học sinh còn một số nhầm lẫn. Tuy nhiên, một số câu có phương án nhiễu chưa phát huy giá trị gây nhiễu, hoặc một số câu cần điều chỉnh lại để có độ khó, độ phân biệt cho phù hợp trước khi nhập ngân hàng đề.

Do vậy, có thể kết luận rằng đề kiểm tra có giá trị để đánh giá năng lực của học sinh lớp 12 trong môn Vật lý. Hướng tới việc xây dựng ngân hàng câu hỏi thi môn Vật lý, chúng tôi cho rằng, qua một số lần biên soạn đề kiểm tra theo đúng quy trình đã nêu trong bài, chúng tôi có thể định cỡ được các câu hỏi đã xây dựng và thử nghiệm để nhập vào ngân hàng các câu hỏi tốt và điều chỉnh lại các câu hỏi chưa tốt. Đây cũng là quy trình sẽ giúp chúng tôi có được bộ câu hỏi thi môn Vật lý đã được chuẩn hóa.

6. Đề xuất và khuyến nghị

Qua việc phân tích đề kiểm tra bằng phần mềm Conquest, ta có thể chọn được các câu hỏi tốt vào ngân hàng câu hỏi dùng để đánh giá kết quả học tập môn Vật lí lớp 12 THPT.Bên cạnh đó, kết quả phân tích cũng giúp chúng ta sửa chữa và loại bỏ các câu hỏi không tốt ra khỏi ngân hàng câu hỏi.

Phần mềmchuyên dụng Conquest hỗ trợ chúng ta phân tích đề kiểm tra, đề thi một cách nhanh chóng, tiện lợi. Nó phát huy hiệu quả cao trong việc phân tích các số liệu của CHTN và đánh giá được kết quả học tập môn Vật lí lớp 12 của HS theo lí thuyết khảo thí hiện đại (lí thuyết ứng đáp câu hỏi IRT).

Chúng tôi cho rằng với ngân hàng câu hỏi đủ lớn, được biên soạn theo các tiêu chí đánh giá và phân tích cẩn thận, chính xác trong toàn bộ chương trình học tập môn Vật lí 12 THPT thì các đề kiểm tra luôn được cập nhật, thay đổi, sẽ có tác dụng rất tốt đến quá trình tự học, làm giảm rủi ro, việc học tủ, học lệch của HS. Đồng thời, việc xây dựng ngân hàng câu hỏi cũng giúp hạn chế được tình trạng tiêu cực (chép bài) khi kiểm tra, tạo động lực cho học sinh tích cực hơn trong học tập.

Việc xây dựng ngân hàng câu hỏi đánh giá kết quả học tập của học sinh cũng là một cách thức để đổi mới phương pháp kiểm tra đánh giá, góp phần tích cực đổi mới giáo dục.Đây là phương tiện hữu ích cho các thầy cô giáo nói riêng, các nhà quản lý chất lượng đào tạo và các phòng ban khảo thí và kiểm định chất lượng giáo dục nói chungnhằm đánh giá chính xác hơn kết quả học tập và nghiên cứu của người học.

TÀI LIỆU THAM KHẢO

1. Dương Thị Anh, Phạm Xuân Thanh (2014), Competence Based Assessment of Listening Skill for ESL Students, VNU Journal of Science: Education Research, Vol. 30, No. 4 (2014) 7-16
2. Nguyễn Bảo Hoàng Thanh (2008),Sử dụng phần mềm Quest để phân tích câu hỏi trắc nghiệm khách quan. Tạp chí Khoa học và Công nghệ. Đại học Đà Nẵng. số 2(25).
3. Lâm Quang Thiệp, Lâm Ngọc Minh, Lê Mạnh Tấn, Vũ Đình Bổng (2007),Phần mềm Vitesta và việc phân tích số liệu trắc nghiệm. Tạp chí giáo dục. Số 176. 11/2007.
4. McCallon, E. L. & Schumacker, R. E. (2002),Developing and maintaining an item bank, ELM Metrics Inc. Available online at: www.elmmetrics.com
5. Lâm Quang Thiệp (2012), Đo lường và đánh giá hoạt động học tập trong nhà trường. Nxb Đại học Sư phạm, Hà Nội
6. Rasch, G. (1960),Probablistic Models for Some Intelligence and Attainment Tests. Copenhagen, Denmark: Danish Institute for Educational Research,
7. Crocker, Linda/ Algina, James (2006), Introduction to Classical and Modern Test Theory, Wadsworth Pub Co
8. Margaret L. Wu Raymond J. Adams Mark R. Wilson Samuel A. Haldane (2007), ACER ConQuest version 2.0 : generalised item response modelling software, ACER Press

Nguồn: Lê Thái Hưng, Nguyễn Văn Tuân, Dương Thị Anh (2015), Xây dựng ngân hàng câu hỏi đánh giá kết quả học tập môn vật lý học kì 1 lớp 12: vận dụng IRT và phần mềm conquest, tạp chí Quản lý giáo dục số 79.12/2015, 40 - 46