Đánh giá chương trình đào tạo: Khái niệm, Nguyên tắc, Quy trình, Loại hình, Phương pháp Print E-mail
24-03-2008

Bài viết được lấy ra từ kỷ yếu hội thảo "XÂY DỰNG TIÊU CHUẨN CHẤT LƯỢNG CHO CÁC TRƯỜNG SƯ PHẠM VIỆT NAM" do Trung tâm Đánh giá và Kiểm định Chất lượng Giáo dục, Viện Nghiên cứu Giáo dục, Trường Đại học Sư phạm TPHCM tổ chức ngày 26/08/2007.

Tóm tắt: Đánh giá chương trình đào tạo là một hoạt động quan trọng và thường xuyên trong các trường đại học. Bài viết này đề cập đến các câu trả lời cho các câu hỏi: lúc nào thì thực hiện đánh giá chương trình; đánh giá như thế nào, ai đánh giá và tại sao chúng ta phải đánh giá chương trình.

Đánh giá chương trình đào tạo là một hoạt động quan trọng và thường xuyên trong các trường đại học. Ở nhiều nước, đánh giá chương trình là một phần không thể thiếu trong quá trình kiểm định nhà trường và kiểm định chương trình đào tạo. Thí dụ ở Mĩ hay Canada cùng với kiểm định chất lượng nhà trường, hầu hết các chương trình đào tạo đều được kiểm định để đảm bảo rằng nhà trường đã đào tạo nguồn nhân lực có các kiến thức, kĩ năng và phẩm chất đạo đức đáp ứng chuẩn nghề nghiệp do các hiệp hội kiểm định nghề nghiệp đề ra và đáp ứng các yêu cầu của các ngành nghề trong xã hội. Trong quá trình kiểm định chương trình thì các hoạt động và tiến trình đánh giá chương trình đóng vai trò quan trọng  cung cấp các bằng chứng cần thiết cho việc kiểm định.

Chương trình được định nghĩa là một loạt các hoạt động được thực hiện với sự hỗ trợ của các nguồn lực nhằm đạt được những mục tiêu cụ thể cho các nhóm khách hàng đã được định sẵn (Guiding Principles for Program Evaluation in Ontario Health Units, 1997).  

Đánh giá chương trình là sự thu thập cẩn thận các thông tin về một chương trình hoặc một vài khía cạnh của một chương trình để ra các quyết định cần thiết đối với chương trình (Guiding Principles for Program Evaluation in Ontario Health Units, 1997).

Như vậy, đánh giá chương trình là những hoạt động có tính hệ thống, nằm trong một tiến trình; các hoạt động này nhằm kiểm tra toàn bộ các khía cạnh hay một khía cạnh của chương trình: đầu vào của chương trình, các hoạt động thực hiện chương trình, các nhóm khách hàng sử dụng chương trình, các kết quả (các đầu ra) và làm thế nào để sử dụng có hiệu quả các nguồn lực (Guiding Principles for Program Evaluation in Ontario Health Units, 1997).

Một trong những trọng tâm của việc đánh giá chương trình là: a) đ¸nh gi¸ viÖc nhà trường thùc hiÖn các mục tiêu, làm cách nào để đạt mục tiêu và làm thế nào để biết liệu nhà trường có đạt được mục tiêu hay không? b) иnh gi¸ hiệu quả cña chương trình để áp dụng ở những nơi khác. c) Đưa ra các so sánh hợp lý giữa các chương trình để quyết định xem chương trình nào nên được tiếp tục ...khi chưa quyết định giảm ngân sách. d) Cải tiến chương trình và các dịch vụ cung cấp chương trình (Carter Mc Namara, 1998).

Để việc đánh giá chương trình được chính xác thì cần tuân thủ một số các nguyên tắc. Các tổ chức kiểm định nghề nghiệp khác nhau quy định nguyên tắc đánh giá chương trình tùy thuộc vào hoàn cảnh, mục đích của tổ chức của họ. Sau đây là một số nguyên tắc do tổ chức kiểm định chương trình đào tạo cán bộ y tế của tỉnh Ontario (Canada) đưa ra mà trong một chừng mực nào đó  chúng tôi cho rằng những nguyên tắc này đã thể hiện đầy đủ những nguyên tắc cơ bản của việc đánh giá chương trình (Guiding Principles for Program Evaluation in Ontario Health Units, 1997).

Các nguyên tắc này trả lời cho các câu hỏi: lúc nào thì thực hiện đánh giá chương trình; đánh giá như thế nào, ai đánh giá và tại sao chúng ta phải đánh giá chương trình. Nội dung cụ thể của các nguyên tắc này như sau:

LÚC NÀO:

Kết nối chặt chẽ kế hoạch thực hiện chương trình với việc đánh giá chương trình

• Đánh giá phải là một phần của việc quản lí chương trình và xảy ra trong suốt thời gian thực hiện chương trình.

• Trong kế hoạch thực hiện chương trình luôn luôn chỉ rõ: lúc nào sẽ đánh giá chương trình và đánh giá như thế nào? 

NHƯ THẾ NÀO:

Mô tả chương trình một cách rõ ràng

• Cần mô tả rõ ràng chương trình sẽ được đánh giá: các đầu vào, các hoạt động, các đầu ra và các nhóm khách hàng sử dụng chương trình. Mô hình logic của chương trình cần được sử dụng khi thích hợp.  

• Những mục tiêu không cụ thể cần được làm rõ trước khi thực hiện các hoạt động đánh giá.

Xác định mục đích rõ ràng dựa trên các nhu cầu ra quyết định

Xác định các câu hỏi đánh giá một cách cụ thể, rõ ràng

• Câu hỏi đánh giá cần rõ ràng và cụ thể.

• Câu hỏi đánh giá cần dựa trên nhu cầu trả lời các vấn đề quản lí chương trình.

• Câu hỏi đánh giá cần liên quan đến các giai đoạn phát triển của chương trình, tính phức tạp của nó và lí do để đánh giá.  

• Các câu hỏi đánh giá cần phản ánh một cách trực tiếp các hoạt động của chương trình, các khách hàng chính và các đầu ra của chương trình. 

Đạo đức nghề nghiệp

• Các thành viên của nhóm đánh giá cần xem xét các ảnh hưởng đạo đức của vấn đề đánh giá chương trình để đảm bảo các quyền được tôn trọng và được bảo vệ của những người tham gia vào quá  trình đánh giá chương trình.

Sử dụng một cách hệ thống các phương pháp đánh giá

• Các câu hỏi đánh giá cần quyết định các phương pháp đánh giá.

• Việc xem xét các tài liệu và scan các hoạt động đánh giá trong các lĩnh vực khác nhau của chương trình cần được đặt ra ngay từ khi mới bắt đầu.

• Không nhất thiết phải sưu tập những thông tin mới nếu các thông tin hiện hữu không trả lời được các câu hỏi đánh giá. 

• Các phương pháp đánh giá phải giúp tiết kiệm thời gian và nguồn lực.

• Đánh giá cần cung cấp thông tin cả định tính và định lượng từ các nguồn khác nhau.

Báo cáo chính xác và rõ ràng

• Báo cáo đánh giá cần mô tả các thông tin về chương trình và hoàn cảnh tồn tại của nó, các nguồn thông tin được sưu tập hay sử dụng, phương pháp xử lí thông tin, những kết quả tìm được và những vấn đề hạn chế. 

• Các báo cáo đánh giá cần được trình bày rõ ràng, chính xác và hoàn thiện. 

Tuyên truyền thông tin một cách rộng rãi và kịp thời.

• Việc cung cấp thông tin cho những người liên quan cần kịp thời.

• Các kết quả đánh giá cần được chia sẻ với các cơ quan có liên quan.

AI?

Tiếp cận đa dạng thành phần của nhóm đánh giá

• Nhóm đánh giá cần có thành phần đa dạng gồm các thành viên là những người am hiểu về chương trình, những người tham gia chương trình và có kiến thức, kĩ năng đánh giá chương trình.   

• Cần phân công rõ ràng trách nhiệm cho mọi thành viên ngay từ ban đầu. 

• Nhóm đánh giá cần tìm kiếm các hỗ trợ kĩ thuật hay đào tạo khi cần thiết.

• Các thành viên của nhóm cần tiếp tục nâng cao kĩ năng đánh giá chương trình và các chuyên gia đánh giá của nhóm cần tạo điều kiện hỗ trợ cho các thành viên của nhóm.  

Sự tham gia của các lực lượng liên quan

• Những người liên quan có thể tham gia trực tiếp vào quá trình đánh giá hoặc được hỏi ý kiến trong quá trình đánh giá.

• Quyền lợi, mong đợi, các ưu tiên và sự cam kết của những người liên quan cần được xem xét ngay từ đầu.

• Giao tiếp của các thành viên trong nhóm cần chân thực và cởi mở.

• Đánh giá cần xem xét khía cạnh nhạy cảm của chương trình đối với môi trường văn hóa và xã hội và hoàn cảnh của những người liên quan.

TẠI SAO

Sử dụng các kết quả đánh giá:

• Những người quản lí chương trình cần hình thành kế hoạch hành động tương thích với các kết quả đánh giá.

• Các kết quả đánh giá cần được sử dụng cho việc ra các quyết định.

Nhìn chung đây là những nguyên tắc có tính chỉ dẫn và bao trùm lên toàn bộ các hoạt động đánh giá chương trình.

Tương đương với các nguyên tắc chỉ dẫn đánh giá trên, Peter F.OLiva (1997), Bộ phân đánh giá và đồi mới chương trình của trường đại học Austin đưa ra chín bước cần thực hiện khi đánh giá chương trình sau đây:   (Division of instructional innovation and assessment , 2007)

1. Mô tả chương trình

Mô tả sứ mạng và các mục tiêu của các hoạt động giảng dạy, các đổi mới mà chương trình giảng dạy sẽ được đánh giá hoặc đo lường. Các mô tả này cung cấp tư liệu tham khảo cho việc đưa ra các quyết định đánh giá sau đó. Các mô tả này bao gồm:

a.       Tuyên ngôn về nhu cầu: mô tả vấn đề hay cơ hội mà các hoạt động giảng dạy, các đổi mới trong chương trình cần phải tập trung chú ý.

b.       Hiệu quả giảng dạy mong muốn: xác định các hoạt động giảng dạy, các đổi mới mà chương trình cần hoàn thành để quá trình giảng dạy có được những thành công mong muốn.

c.       Các hoạt động giảng dạy bao gồm các bước tiến hành cụ thể, các giải pháp hoặc các hành động và những kết quả tương ứng.

d.       Các nguồn lực sẵn có: bao gồm thời gian, con người và kiến thức, công nghệ, dữ liệu, tiền và các phương tiện khác để thực hiện các hoạt động giảng dạy.

e.       Các giai đoạn phát triển chương trình: giúp các nhà đánh giá xác định hoạt động giảng dạy nào là phù hợp và thiết kế việc học tập như thế nào.

f.         Điều kiện giảng dạy: bao gồm khung cảnh và môi trường giảng dạy (ví dụ: số lượng sinh viên, hoàn cảnh xã hội, điều kiện tài chính, và các mối quan hệ tổ chức) trong đó diễn ra hoạt động giảng dạy.

2. Xác định nhu cầu của những người liên quan.

Những người liên quan là những cá nhân hay tổ chức chịu ảnh hưởng của các kết quả đánh giá. Những cá nhân và tổ chức này có thể bao gồm cả những cá nhân điều hành hoạt động của chương trình, tham gia và chịu ảnh hưởng của chương trình, và những người sử dụng kết quả đánh giá chương trình. Người tài trợ cho chương trình bao giờ cũng là người liên quan.

Nhu cầu của những người liên quan phản ánh những câu hỏi trọng tâm của họ về hoạt động, việc đổi mới chương trình giảng dạy. Xác định được các nhu cầu của những người liên quan giúp cho các kết quả đánh giá được sử dụng tốt nhất.

3. Xác định mục đích đánh giá

Đưa ra một mục đích rõ ràng sẽ tránh được việc đưa ra các quyết định nóng vội về cách thực hiện việc đánh giá. Ba mục đích phổ biến cho việc đo lường và đánh giá chương trình giảng dạy là:

a. Đánh giá bản chất: Làm rõ các hoạt động giảng dạy cần được thiết kế như thế nào để mang lại những thay đổi mong muốn.

b. Thay đổi việc thực hành: Nhằm cải thiện chất lượng, hiệu quả và hiệu suất của hoạt động giảng dạy.

c. Đo lường hiệu quả: kiểm tra mối quan hệ giữa hoạt động giảng dạy và kết quả.

4. Xác định các dự định sử dụng kết quả đánh giá

Các dự định sử dụng kết quả đánh giá là các cách cụ thể để ứng dụng kết quả đánh giá. Các dự định sử dụng kết quả đánh giá nên được lên kế hoạch, ưu tiên và gắn kết với các vấn đề nghiên cứu trọng tâm. Các vấn đề trọng tâm là những khía cạnh cụ thể của hoạt động, các đổi mới sẽ được xem xét trong chương trình giảng dạy.

5. Thiết kế một kế hoạch đánh giá

Một kế hoạch đánh giá là bản mô tả cụ thể quá trình đánh giá sẽ được thực hiện như thế nào bao gồm: mục đích, mục tiêu đánh giá, các nguồn lực sẵn sàng cho việc thực hiện, cần thu thập những thông tin nào, các phương pháp đánh giá nào được sử dụng, mô tả vai trò, trách nhiệm của những người tài trợ và người đánh giá, dự kiến khoảng thời gian hoàn thành nhiệm vụ.

6. Thu thập dữ liệu

Các nhà đánh giá cố gắng thu thập dữ liệu (thông tin) và chuyển chúng một thành một bức tranh toàn diện về hoạt động giảng dạy, các đổi mới chương trình một cách đáng tin cậy cho những người sử dụng chính. Các khía cạnh sau đây của việc thu thập dữ liệu là hết sức quan trọng:

a. Các chỉ số cụ thể mô tả những khái niệm phổ biến về việc giảng dạy, hoàn cảnh của nó, và các hiệu quả mong đợi thành những đơn vị đo lường cụ thể hoặc các biến số giải thích được. Các chỉ số đo lường cung cấp cơ sở cho việc thu thập các bằng chứng hợp lý và đáng tin cậy cho người sử dụng.

b. Nguồn dữ liệu bao gồm các tài liệu (Các bài soạn, giáo trình, sổ sách hành chính, thời gian họp, mẫu đăng ký, báo cáo nội bộ, sổ sách ghi dữ liệu, các trang Web, ảnh, băng hình, băng âm thanh), con người (sinh viên, người tham gia làm chương trình, các khách hàng, các nhân viên, các nhà quản lý, các nhân viên tài chính, thành viên hội đồng quản trị của trường đại học, những nhà lập pháp, những người phản biện) hoặc các quan sát (các cuộc họp, các sự kiện, các hoạt động của chương trình, hoàn cảnh giảng dạy, hoàn cảnh công việc) tất cả những điều đó sẽ cung cấp thông tin định lượng hoặc định tính về  bản chất của vấn đề cho quá trình đánh giá.

c. Phương pháp đánh giá: Luôn luôn liên hệ với đối tượng giảng dạy và phù hợp với nguồn dữ liệu sẵn có. Các phương pháp sử dụng trong đo lường và đánh giá giảng dạy thường là: điều tra thực trạng, phỏng vấn, nghiên cứu nhóm, quan sát, thông tin phản hồi, nghiên cứu sản phẩm, phân tích tài liệu.

d. Chất lượng dữ liệu: liên quan đến sự thích hợp và tính trung thực của thông tin được sử dụng trong đo lường và đánh giá. Các yếu tố ảnh hưởng đến chất lượng dữ liệu  gồm các chỉ số được sử dụng, loại dụng cụ thiết kế, quá trình thu thập, năng lực của những người sưu tầm dữ liệu, lựa chọn nguồn dữ liệu...

e. Số lượng dữ liệu: liên quan đến khối lượng thông tin thu thập được cho đo lường và đánh giá. Khối lượng thông tin cần thiết nên được thu thËp dùa trªn các tiêu chí ®· được thiết kế vµ cÇn quyết định khi nào thì dừng việc thu thập các dữ liệu. Chỉ nên sưu tầm những dữ liệu cần thiết mà thôi.

f. Sự nhạy cảm đối với đặc điểm văn hóa: cần ý thức rằng những con người và những tổ chức tham gia vào quá trình đánh giá có các truyền thống văn hóa của họ để có cách đặt câu hỏi và thu thập tài liệu phù hợp.

7. Phân tích dữ liệu

Phân tích dữ liệu liên quan đến việc tổ chức, phân loại, liên hệ, so sánh, trình diễn thông tin. Trong suốt giai đoạn phân tích dữ liệu cần xác định được các loại dữ liệu, tách biệt những phát hiện quan trọng (phân tích) hoặc kết hợp các nguồn thông tin để có thể hiểu một cách khái quát hơn (sự tổng hợp).

8. Kết luận và kiến nghị

Kết luận có giá trị nhất khi chúng liên hệ với những bằng chứng được thu thập, những nhận xét đối chiếu với chuẩn mà những người liên quan đã đồng ý và thiết lập trước đó. Kết luận phải dựa trên nền tảng của những bằng chứng bao gồm các yếu tố dưới đây:

a. Sự chuẩn hóa: xác định các chỉ số đo lường, thiết lập phép so sánh sử dụng để đánh giá việc giảng dạy.

b. Sự giải thích: là xác định những phát hiện có ý nghĩa và giá trị gì từ những bằng chứng thu thập được. Báo cáo đơn giản các sự kiện liên quan đến sự thể hiện của một hoạt động, sự đổi mới chương trình giảng dạy thì không giống như đưa ra kết luận.

c. Đánh giá là những nhận định liên quan đến bản chất, giá trị hoặc ý nghĩa của hoạt động, của việc đổi mới chương trình giảng dạy và được hình thành bởi sự so sánh giữa những phát hiện và sự đối chiếu các kết quả giảng dạy với một hoặc nhiều chuẩn mực.

d. Kiến nghị là những cân nhắc rút ra từ kết quả đo lường, đánh giá về hiệu quả của các hoạt động, của việc đổi mới chương trình giảng dạy. Việc đề xuất các kiến nghị đòi hỏi có các thông tin liên quan đến hoàn cảnh, điều kiện ... Kiến nghị cũng có thể bao gồm cả những gợi ý về sự thay đổi hay duy trì những hoạt động giảng dạy hiện thời và kế hoạch cho việc đánh giá tiếp theo.

9. Phổ biến các kết quả

Phổ biến các kết quả là một quá trình trao đổi thông tin thu thËp được vÒ ch­¬ng tr×nh thông qua đo lường hoặc đánh giá với những đối tượng thích hợp trong một thời gian nhất định, công bằng và theo một kiểu nhất quán. Việc báo cáo các phát hiện tạm thời đôi khi hữu ích đối với các nhà giáo hoặc các cán bộ nghiên cứu để đưa ra các đánh giá chương trình và giảng dạy tức thời. Các yếu tố cần cân nhắc khi viết báo cáo là việc thiết kế nội dung báo cáo phù hợp với đối tượng, giải thích tập trung vào vấn đề đánh giá và phạm vi của nó, liệt kê những điểm mạnh và điểm hạn chế của chương trình.

Các hoạt động tiếp theo: là quá trình nhắc nhở những nhà tài trợ về kế hoạch sử dụng các kết quả nghiên cứu nhằm đảm bảo rằng các bằng chứng thu thập được đã được hiểu đúng và được ứng dụng vào những vấn đề đã được xác định là trọng tâm chính trong quá trình đánh giá.

Carter Mc Namara, (1998) cho rằng khi thiết kế một đánh giá chương trình, hãy xem xét các câu hỏi chính sau:

1. Đánh giá nhằm mục đích gì? Bạn mong muốn đưa ra quyết định gì từ kết quả của đánh giá?

2. Ai là người cần nghe các thông tin về kết quả của đánh giá?

3. Loại thông tin nào cần để đưa ra các quyết định nhằm cung cấp thêm kiến thức cho các khách hàng đang dùng chương trình, điểm mạnh điểm yếu của chương trình, lợi ích đối với các khách hàng hoặc chương trình đã thất bại như thế nào và tại sao? ...

4. Thông tin nên đuợc thu thập từ những nguồn nào? 

5. Làm thế nào để các thông tin đó có thể được thu thập theo cách hợp lý, ví dụ bảng câu hỏi, phỏng vấn, tài liệu kiểm tra, quan sát các hoạt động giảng dạy...

6. Khi nào thì thông tin cần được thu thập? (khi nào thì buộc phải có?)

7. Nguồn lực nào cần có sẵn để thu thập các thông tin?

Theo Carter Mc Namara (1998) và Peter F.OLiva (1997) có một số loại hình đánh giá chương trình sau đây:

a) Đánh giá dựa vào các mục tiêu: Các chương trình thông thường được thiết kế để đáp ứng một hay nhiều mục tiêu cụ thể. Các mục tiêu này thường được mô tả trong kế hoạch đánh giá chương trình ban đầu.

Đánh giá dựa vào mục tiêu là đánh giá việc chương trình đáp ứng những mục tiêu và mục đích đã được xác định trước như thế nào. Các câu hỏi đặt ra khi thiết kế một đánh giá chương trình theo loại hình này là:

1.       Mục tiêu chương trình được thiết kế như thế nào? Quá trình thực hiện đã hiệu quả hay chưa?

2.       Các quá trình thực hiện chương trình theo cách tiếp cận mục tiêu là gì?

3.       Đã xác định khung thời gian cho việc thực hiện các mục tiêu chưa? Nếu không thì tại sao?

4.       Giáo viên, cán bộ viên chức đã có các nguồn lực tương xứng (tiền bạc, trang thiết bị, phương tiện, trình độ đào tạo...) để tiếp cận mục tiêu chưa?

5.       Các ưu tiên nên có sự thay đổi như thế nào để tập trung nhiều hơn vào việc tiếp cận các mục tiêu? (phụ thuộc vào hoàn cảnh, câu hỏi này có lẽ cần được xem xét kỹ bởi quyết định của ban quản lý chương trình, hơn là một câu hỏi đánh giá)

6.       Khoảng thời gian nên được thay đổi như thế nào?

7.       Các mục tiêu nên được thay đổi như thế nào? (cẩn thận khi đưa ra sự thay đổi này - cần hiểu được tại sao các nỗ lực không mang lại sự đạt được  mục tiêu trước khi thay đổi mục tiêu?). Các mục tiêu nào nên được thêm vào? Và mục tiêu nào nên được thay đổi và tại sao?

8.       Các mục tiêu nên được thiết kế như thế nào trong tương lai?

b) Đánh giá dựa vào kết quả: Đánh giá chương trình tập trung vào kết quả ngày càng trở quan trọng. Một đánh giá dựa trên kết quả tạo điều kiện cho việc trả lời câu hỏi liệu tổ chức nhà trường có đang thực sự thực hiện chương trình phù hợp nhằm mang lại những kết quả mong muốn không. Kết quả là lợi ích đối với sinh viên  thường thể hiện ở việc các em được nâng cao kiến thức, nhận thức, thái độ hoặc kỹ năng.

Các bước phổ biến để thực hiện một đánh giá dựa vào kết quả gồm có:

1. Xác định kết quả chính cần kiểm tra hoặc xác minh đối với chương trình thông qua đánh giá. Để làm điều đó các nhà đánh giá cần xem xét mục đích tổng thể của nhà trường và việc chương trình giúp thực hiện mục đích đó như thế nào?  Xác định hoạt động đánh giá chính sẽ thực hiện và lí do tại sao phải thực hiện hoạt động đó và cái gì cần đạt?

2. Lựa chọn các kết quả cần xem xét, chọn các kết quả ưu tiên cần đạt, nếu thời gian và nguồn lực hạn chế.

3. Đối với mỗi kết quả, ghi rõ những gì đo lường quan sát được hoặc các chỉ số. Đây là bước làm sáng tỏ và quan trọng nhất trong đánh giá dựa vào kết quả. Tuy nhiên đây cũng là bước có nhiều nhầm lẫn và thách thức nhất nếu đánh giá xuất phát từ một khái niệm mơ hồ.

4. Nhận ra thông tin gì là cần thiết để diễn tả những chỉ số này... Nếu chương trình mới, thì cần đánh giá để chứng minh rằng chương trình được thực hiện theo kế hoạch đã lập ban đầu.

5. Quyết định thông tin đó có thể được thu thập một cách hiệu quả và thực tiễn với các phương pháp phù hợp: xem xét các tài liệu liên quan đến chương trình, quan sát các quá trình thực hiện chương trình, các bảng hỏi và phỏng vấn các sinh viên, khách hàng về lợi ích mà họ nhận được từ chương trình, nghiên cứu tình huống về thành công và thất bại của chương trình...

 6. Phân tích và báo cáo các kết quả

c) Đánh giá quá trình: Đánh giá quá trình thực hiện chương trình bao gồm sự thu thập một cách có hệ thống các dữ liệu, sử dụng các phương pháp phân tích phù hợp để đưa ra các kết luận và khuyến nghị về các hoạt động giảng dạy, các sáng kiến và chương trình. Hoạt động giảng dạy bao gồm các hoạt động tương tác giữa sinh viên, giảng viên, và nội dung với mục tiêu học tập. Đánh giá quá trình được khớp nối để hiểu đầy đủ chương trình đã thực thi như thế nào, nó đã mang lại những kết quả mà nó cần phải có ra sao, điểm mạnh và điểm yếu của nó? Những đánh giá này rất hữu ích nếu chương trình được sử dụng lâu dài và có thay đổi hàng năm. Ngoài ra những phàn nàn về chương trình, sự không hiệu quả trong khi chuyển giao các dịch vụ của chương trình là những thông tin hữu ích để cải tiến chương trình, làm thế nào để một chương trình thực sự hoạt động (Peter F.OLiva, 1997)

Các câu hỏi khi thiết kế một đánh giá để hiểu hoặc kiểm tra chặt chẽ các quá trình thực hiện chương trình là:

1.       Dựa vào đâu mà sinh viên cho rằng kiến thức, môn học hay dịch vụ chương trình đó là cần thiết?

2.       Khách hàng có yêu cầu gì trong việc phân phối chương trình hoặc các dịch vụ thực hiện chương trình?

3.       Sinh viên tiếp cận chương trình như thế nào?

4.       Yêu cầu của sinh viên và các khách hàng khác đối với chương trình là gì?

5.       Các khách hàng và sinh viên suy nghĩ gì về điểm mạnh, điểm yếu của chương trình?

6.       Sinh viên và khách hàng có gợi ý gì nhằm cải thiện chương trình?

7.       Dựa vào đâu mà sinh viên quyết định rằng chương trình hoặc một số khía cạnh nào đó của chương trình là không cần thiết nữa?

d) Đánh giá tổng thể quá trình giảng dạy: là kiểm tra toàn diện một chương trình giảng dạy bao gồm điều kiện thực hiện chương trình, nhu cầu khách hàng, quá trình, và kết quả giảng dạy. Đánh giá tổng kết được thực hiện ở giai đoạn cuối của một chương trình giảng dạy hoặc một chu kỳ thực hiện chương trình nhằm cung cấp thông tin cho những người ra quyết định đánh giá giá trị của chương trình từ đó có thể đưa ra quyết định tiếp tục sử dụng, chấm dứt, mở rộng hay chấp nhận chương trình. Thông tin thu thập trong đánh giá quá trình có thể được sử dụng trong đánh giá tổng kết (Peter F.OLiva, 1997)

e) Đánh giá một khía cạnh của quá trình giảng dạy: là kiểm tra một cách hệ thống một khía cạnh đặc thù của hoạt động giảng dạy (ví dụ: Phương pháp truyền tải nội dung, phương pháp kiểm tra, cải tiến công nghệ) để xác định hiệu quả của nó và làm thế nào để cải thiện khía cạnh đó.

Đánh giá chương trình cần có các phương pháp phù hợp. Carter Mc Namara đã đưa ra một số gợi ý về việc lựa chọn, sử dụng phương pháp đánh giá như sau:  

Lựa chọn, sử dụng phương pháp đánh giá (Carter Mc Namara, 1998)

Mục tiêu của việc lựa chọn các phương pháp đánh giá là nhằm thu được thông tin hữu ích, thực tế, hiệu quả và ít tốn kém nhất cho những người ra quyết định chủ chốt. Cân nhắc các câu hỏi dưới đây khi lựa chọn phương pháp đánh giá.

1. Những thông tin nào cần cho việc ra quyết định hiện thời về một chương trình?

2. Đối với loại thông tin này, có thể thu thập và phân tích bao nhiêu với chi phí thấp và có giá trị thực tế nhất, ví dụ sử dụng bảng hỏi, điều tra hay bảng liệt kê?

3. Tính chính xác của thông tin ra sao? (liên quan đến cột hạn chế trong bảng về phương pháp dưới đây)

4. Các phương pháp sử dụng có thu được tất cả những thông tin cần thiết không?

5. Cần sử dụng thêm các phương pháp nào để thu thập thêm được những thông tin cần thiết?

6. Những thông tin thu được có đáng tin cậy cho các nhà ra quyết định, nhà tài trợ hoặc các nhà quản lý cấp cao?

7. Các phương pháp có phù hợp với đối tượng điều tra không? Họ có điền đầy đủ các thông tin một cách cẩn thận trong bảng hỏi, có khớp với phỏng vấn và làm việc theo nhóm không..?

8. Hiện tại, ai có thể thực hiện các phương pháp hay cần được đào tạo?

9. Thông tin có thể được phân tích như thế nào?

Lý tưởng nhất là người đánh giá sử dụng phối hợp các phương pháp, ví dụ như một bảng an két để thu thập nhanh chóng một khối lượng lớn thông tin từ nhiều người, sau đó phỏng vấn để thu được các thông tin sâu sắc hơn từ một số người nhất định đã trả lời an két. Nghiên cứu tình huống có thể được sử dụng tiếp theo để phân tích sâu hơn những trường hợp riêng, đáng chú ý...thí dụ những người đã được hưởng lợi hoặc không từ chương trình hoặc những người từ bỏ chương trình.

Bảng dưới đây cung cấp tổng quan các phương pháp chính phục vụ cho việc thu thập các dữ liệu trong suốt thời gian đánh giá.

Bảng 1 Tổng quan các phương pháp thu thập thông tin đánh giá chương trình

pháp

Mục đích tổng thể

Những ưu điểm

Những hạn chế

An két, điều tra, Bảng liệt kê

Nhanh chóng và dễ dàng thu nhận được nhiều thông tin từ người được điều tra mà không gây căng thẳng cho họ

- Có thể hoàn toàn bí mật

- Chi phí thấp

- Dễ dàng so sánh và phân tích

- Thực hiện được với nhiều người

- Có thể thu được nhiều dữ liệu

- Nhiều mẫu ankét đã có sẵn

- Có thể không có phản hồi cẩn thận

- Từ ngữ có thể gây ra thành kiến

- Trong các điều tra, có thể cần có chuyên gia tiêu biểu

- Không thu được những sự kiện đầy đủ.

Phỏng vấn

Khi muốn hiểu đầy đủ về cảm xúc và kinh nghiệm của ai đó hoặc tìm hiểu sâu hơn về những câu trả lời cho bảng hỏi.

- Thu được  đầy đủ bề rộng và chiều sâu của thông tin

- Phát triển mối quan hệ với thân chủ

- Linh hoạt với thân chủ

- Có thể mất nhiều thời gian

- Có thể khó khăn khi phân tích và so sánh thông tin

- Tốn kinh phí

- Người phỏng vấn có thể có thành kiến với câu trả lời của người được phỏng vấn.

Nghiên cứu tài liệu

Khi muốn xem xét dấu ấn của chương trình hoạt động liên tục như thế nào, xem xét lại cách ứng dụng, tài chính, nhật kí, thời gian...

- Thu được các thông tin về lịch sử và toàn diện

- Không làm gián đoạn chương trình

- Thông tin đã có sẵn

- Ít có định kiến đối với thông tin

- Mất nhiều thời gian

- Thông tin có thể chưa hòan thiện

- Cần xác định rõ ràng về những gì mong muốn.

- Không có phương tiện linh hoạt để thu thập dữ liệu. Dữ liệu thu được bị hạn chế vì thông tin đã có rồi.

Quan sát

Thu thập thông tin chính xác về chương trình thực sự họat động như thế nào? Đặc biệt là về các quy trình

Xem xét họat động của chương trình khi chúng thực sự đang diễn ra.

Có thể khó giải thích những hành vi được quan sát.

Phức tạp trong việc  phân loại các quan sát.

- Ảnh hưởng đến hành vi của những người tham gia chương trình

- Chi phí cao

Nghiên cứu nhóm đặc trưng 

Khai thác một chủ đề theo chiều sâu thông qua thảo luận nhóm...

- Thu thập những suy nghĩ phổ biến nhanh chóng và đáng tin cậy

- Một cách hiệu quả để thu nhận nhiều thông tin theo chiều rộng và chiều sâu trong thời gian ngắn

- Chuyển tải được những thông tin quan trọng về chương trình

- Có thể sẽ khó khăn khi phân tích các câu trả lời

-  Cần phương tiện tốt để đảm bảo an toàn và bí mật

- Khó để lập kế hoạch cho 6 - 8 người thảo luận cùng nhau.

Nghiên cứu trường hợp

Hiểu đầy đủ hoặc mô tả kinh nghiệm của sinh viên trong một chương trình, và thực hiện kiểm tra toàn diện thông qua so sánh một chuỗi các trường hợp.

- Mô tả đầy đủ kinh nghiệm của sinh viên ở đầu vào, trong quá trình và ở các kết quả của chương trình.

- Có điều kiện tốt để miêu tả sinh động chương trình cho những người bên ngoài tổ chức.

- Mất thời gian để thu thập, tổ chức và mô tả.

- Giải thích chiều sâu của thông tin hơn là chiều rộng.

Trên đây là một số vấn đề của đánh giá chương trình. Trong quá trình kiểm định chương trình, việc đánh giá chương trình cần được thực hiện so sánh với các chuẩn nghề nghiệp yêu cầu chương trình cần đạt khi  đào tạo sinh viên làm việc trong lĩnh vực chuyên môn đó. Đánh giá chương trình đào tạo là một trong những phương tiện quan trọng để giúp nhà trường nâng cao chất lượng đào tạo, giáo dục của mình một cách thường xuyên và khẳng định uy tín của nhà trường trong xã hội.  

Tài liệu tham khảo:

Carter McNamara (1998), Basic Guide to Program Evaluation, www.managementhelp.org/evaluatn/fnl_eval.htm, last vision, 16/2

Division of instructional innovation and assessment (2007), Instructional Assessment and Evaluation Process - Summary, http://www.utexas.edu/academic/diia/assessment/process/

Guiding Principles for Program Evaluation in Ontario Health Units (1997),  Reprinted from Public Health and Epidemiology Report Ontario (PHERO),Volume 8, Number 3 (March 28) .www.ottawa.ca/city_services/grants/toolkit/guiding_principles_en.pdf

Peter F. OLiva (1997), Developing the curriculum, fourth edition, Longman

TS. Trần Thị Bích Liễu

Học viện Quản lý Giáo dục 

Cập nhật ( 10-04-2008 )
 
Trang chủ - Liên hệ - Webmail - Sitemap
Bản quyền © 2008 của Viện Nghiên Cứu Giáo Dục - Trường ĐH Sư Phạm Thành phố Hồ Chí Minh.
Ghi rõ nguồn www.ier.edu.vn khi sử dụng lại thông tin từ website này.
115 Hai Bà Trưng, Quận 1, TP. Hồ Chí Minh - Tel: 84-8-38224813, 38272891 - Fax: 84-8-38273833