יום רביעי, 18 ביוני 2008

על הפער שבין בחינות ממוחשבות לבחינות שנכתבו בדף ועפרון

נושא ההערכה של התחומים השונים שתלמידים מבצעים באמצעות הניידים מעסיק אותי הרבה. שאלות עקרוניות ומהותיות כגון איך מעריכים עבודות של תלמידים, ולא באמצעות מבחני נייר ועפרון, איך בוחנים את רמת השליטה שלהם במיומנויות ואת הרווחים ואולי גם את ההפסדים שלהם בתחומי התוכן או בתחומי הטכנולוגיה הנובעים בעקבות הלמידה המתוקשבת עם הניידים. השבוע נתקלתי תוך כדי חיפוש חומרים במאמרו של ראסל, שמתייחס לפער בציונים שנמצאו בין תלמידים שנבחנו באמצעות מחשבים לתלמידים שנבחנו באמצעות נייר ועפרון. מסתבר, שהיה פער גדול מאד לטובת הראשונים. הפער הזה נבדק במספר מקצועות ובמספר בתי ספר וחזר על עצמו.
במחקר מתייחס ראסל למבחני השוואה שנערכו ב- 1995 בשלושה תחומי דעת ( מתמטיקה, מדעים ושפה) בין שתי קבוצות של סטודנטים: קבוצה אחת נבחנה במבחני נייר ועפרון, שכללו שאלות רב ברירה ופריטים להשלמה וקבוצה אחרת של סטודנטים נבחנה במחשב. לפני מתן הציונים, התשובות שנכתבו ביד תועתקו, כך שלא ניתן היה להבחין בינן לבין תשובות שנכתבו במחשב.
היו שתי ממצאים עיקריים: האחד, לא היו הבדלים משמעותיים בשאלות הרב ברירה בין בקבוצה שנבחנה במחשב לקבוצה שנבחנה בנייר ועפרון. אבל לגבי הסטודנטים שהשלימו תשובות לשאלות פתוחות במחשב, לגבי כל הסטודנטים התשובות שנכתבו במחשב היו טובות יותר מהתלמידים שענו בכתב יד. הממצא הזה חזר בכל המבחנים בשלושת תחומי הדעת ובפריטי ההשלמה בין אם דרשו השלמה קצרה ובין אם דרשו השלמה מפורטת. ההבדל היה כל כך גדול, שרק 30% מבין הסטודנטים שנבחנו בנייר ועפרון קבלו ציון עובר, לעומת 67% מהסטודנטים שנבחנו במחשב שקבלו את הציון הזה.

כעבור שנתיים חזרו על המחקר, כשהפעם השתמשו בשאלות פתוחות ממבחני מדינת מסצ'וסטס. המבחנים נעשו בשלושה תחומי דעת : מתמטיקה, מדעים ואוריינות שפה. שוב חלקו סטודנטים מכיתות ח' מבית הספר בוורסטר לשתי קבוצות: קבוצה אחת שנבחנה במחשב וקבוצה שנייה שנבחנה בניר ועפרון. שתי הקבוצות קבלו את אותן השאלות ונאסף מידע על מהירות ההקלדה , שימוש במחשב ומיומנויות המחשב של הסטודנטים הנבחנים. לבסוף, כל התשובות שנכתבו ביד תועתקו למחשב.
כמו במבחן הראשון, נמצאו הבדלים משמעותיים במבחני השפה. לתלמידים שהקלידו במהירות ממוצעת יחסית של 20 מילים לדקה או יותר, הביצועים במחשב היו טובים הרבה יותר מהביצועים על הנייר. באופן כללי, ההבדלים הצביעו על התקדמות גדולה יותר מההתקדמות הממוצעת השנתית , והמשמעות היתה מעבר מציון של "טעון שיפור" לציון "עובר". בהנחה שעשרה מיליון תלמידים נבחנים בכל שנה בארה"ב, וכשמחציתם משתמשים בתמלילן לצורכי כתיבה, נראה שהתוצאות מצביעות על כך שלגבי מחצית מתלמיד ארה"ב מבחני נייר ועפרון פוגעים בממוצע ציוניהם.
יחד עם זאת, ממצאי המחקרים לא היו שיטתיים, בכל רמות השליטה במקלדת. ככל שמהירות ההקלדה ירדה, היתרון של מבחני המחשב נמחק. במהירות הקלדה נמוכה במיוחד, מבחני המחשב הפחיתו את יכולת הביצוע. זאת ועוד, במתמטיקה העובדה שהתלמידים נבחנו במחשב הורידה את ממוצע ציוניהם.

המחקרים הללו מצביעים על פער עצום בין שימוש במחשבים בבתי הספר לבין שימוש באסטרטגיות מבחן לצורך שיפור בתי ספר. הפער הזה ילך ויגדל ככל שיותר סטודנטים יתרגלו לכתיבה במחשבים.
ניתן להצביע על שלוש דרכים אפשריות לצמצום הפער הזה:

הדרך הראשונה שבית הספר יצמצם את זמן העבודה של הסטודנטים במחשב, על מנת שלא יתרגלו לכתוב במחשבים. אחרי הממצאים של המחקר הראשון בתי הספר הורו לתלמידים לכתוב יותר באמצעות נייר ועפרון ופחות במחשבים (Russell, 1999). בתי ספר אחרים (Russell, 1999) הגדילו את זמן הכתיבה באמצעות עפרונות ונייר על מנת לתת לתלמידים אפשרות להצליח טוב יותר בבחינות. ייתכן שפתרון מעין זה הוא פרגמאטי מאד, אבל בטווח הרחוק ומתוך הכוונה להכין את התלמידים לעולם ההי-טק של המחר, הפתרון הזה לוקה בחסר.

הדרך השנייה היא להפחית את מבחני הנייר והעפרון ולאפשר לתלמידים להבחן במחשב. זוהי דרך הגיונית אלא שהבעיתיות טמונה בעובדה שייקח זמן רב עד שכל בתי הספר במדינה ישלימו את בניית התשתיות הדרושות למבחנים כאלה. יתרה מזאת, מבחני מחשב שנעשו לאוכלוסיה הבוגרת הראו שבחינות ממוחשבות אינן תרופה לכל המחלות ואחת הבעיות הקשות הן העלויות הגבוהות של בחינות אלו והצורך באבטחת המידע שהן דורשות. מעבר לכך, בחינות ממוחשבות יפלו לרעה סטודנטים עם מיומנויות מחשב נמכוות והקלדה איטית.

הדרך השלישית, ואולי ההגיונית ביותר בטווח הקצר היא להכיר במוגבלויות הבחינות. ללא ספק, הן המחשבים והן בחינות הסטנדרטים יכולים לאפשר את העלאת איכות ההוראה. אבל עד שלא יאפשרו לסטודנטים להבחן בדרך שבה הם לומדים, צריך להכיר בעובדה שבחינות הסטנדרטים שהנן בעלות משמעות גבוהה לא תמיד מודדות את כל היכולות של התלמידים. לא שזה הופך את הציונים לחסרי משמעות, אבל חשוב לזכור שאסור לקבל החלטות לגבי התלמידים רק על סמך ציוני מבחנים.
וכאן נשאלת השאלה הגדולה: האם אנחנו עושים חסד או עוול לתלמידים שלומדים עם הנידיים ונבחנים במבחני מיצ"ב - והרי זו בדיוק השאלה שאותה שואלים גם מורים המלמדים עם הניידים.

2 תגובות:

אנונימי אמר/ה...

אסתי,
סקירה טובה מאד

עמי סלנט

אסתיד אמר/ה...

עמי
תודה רבה!