הבהרה משפטית: המחקרים שלמטה עוסקים בקורסים פתוחים וחינמיים של אוניברסיטאות (MOOC) ובנתוני פלטפורמה של ספק תוכנה אחד. הם לא מדגם של קורסים בתשלום בישראל, ולא מצאנו נתוני השלמה ישראליים פומביים. דוגמת המשפך בנויה על מספרים לדוגמה; החליפו אותם בשלכם.
מי שמחפש כמה אנשים מסיימים קורס אונליין פוגש שוב ושוב את אותם כמה מספרים: רק 5% עד 15% מסיימים, בקורסים עם מחזורים מסיימים 80% עד 90%, ותזכורת בזמן הנכון יכולה להעלות השלמה בכמעט שליש. מצטטים אותם כאילו הם נכונים לכל קורס. הם לא. הראשון בא מקורסים חינמיים של אוניברסיטאות, השני ממייסדים וחברות תוכנה, והשלישי מניסוי מוקדם אחד שבדיקות גדולות יותר לא שחזרו.
חזרנו למאמרים עצמם: שני סקרי ההשלמה של Katy Jordan, ניתוח של 12.67 מיליון הרשמות ל-HarvardX ול-MITx שפרסמו Justin Reich ו-José Ruipérez-Valiente ב-2019, מחקר על 44 קורסים שבודק מה הנרשמים באמת עושים, ארבעה ניסויים בהנחיות תכנון ותזמון, השוואה בין ניסויי ״דחיפה״ של גופים ממשלתיים לבין אלה שפורסמו בכתבי עת, והמאגר הפומבי היחיד של ספק על קורסים עם מחזורים. בקצרה: ההשלמה בקורסים פתוחים נמוכה באמת, רוב ההפסד קורה לפני שמישהו מתחיל ברצינות, תזכורות עוזרות פחות ממה שהכותרות אומרות, ואין מחקר עצמאי שיגיד לקורס בתשלום בישראל למה לצפות. מה שכן אפשר: לספור את המשפך שלכם לפי הגדרה אחת ברורה, ולשנות דבר אחד בכל פעם.
עיקרי הדברים
- ה-6.5% המפורסם של Jordan הוא חציון של 39 קורסים ב-Coursera, edX ו-Udacity (רשימה מ-22 ביולי 2013), כשההשלמה נספרת כתעודה מתוך כלל הנרשמים. מתוך הפעילים בלבד החציון היה 9.8% (33 קורסים). העדכון שלה מ-2015, על 129 קורסים שדיווחו השלמה, הראה חציון של 12.6%. ״השלמה״ פירושה תעודה ב-93 מ-129 הקורסים האלה.
- חלק גדול מההפסד הוא אנשים שלא התחילו בכלל. ב-44 קורסים ב-Coursera, בממוצע 54.4% מהנרשמים צפו לפחות בהרצאה אחת, וב-16 מ-44 הקורסים רובם לא צפו באף אחת (Evans, Baker ו-Dee). בנתוני HarvardX ו-MITx, 52% מהנרשמים אפילו לא נכנסו לחומרי הקורס.
- שש שנים של השקעה ב-MOOC לא שיפרו את ההשלמה. בקרב מי שנרשמו וצפו בקורס, שיעור ההשלמה ירד מ-4.95% ב-2013/14 ל-3.13% ב-2017/18; בקרב מי שאמרו שהתכוונו לסיים, הוא עלה מ-11.51% ל-15.42% (Reich ו-Ruipérez-Valiente, טבלה משלימה).
- הממצא ש״הנחיית תכנון מעלה השלמה ב-29%״ הגיע משלושה קורסים ב-HarvardX. בניסוי ששייך 269,169 לומדים ב-247 קורסים להתערבויות שונות או לקבוצת ביקורת, הנחיות תכנון לא שיפרו השלמה אצל לומדים מחויבים שדוברים אנגלית (Kizilcec ושותפיו, PNAS, 2020). דחיפה לתזמון שנבדקה בניסוי עם 18,043 לומדים לא השפיעה בטווח הקרוב, ובטווח הארוך השפעתה הייתה שלילית חלשה.
- תוצאות של ״דחיפות״ מצטמצמות ככל שהמחקרים גדלים. 126 ניסויים של שתי יחידות דחיפה בארה״ב, שהגיעו ל-23 מיליון איש, הניבו בממוצע 1.4 נקודות אחוז, לעומת 8.7 במאמרים אקדמיים שפורסמו (DellaVigna ו-Linos). הניסויים האלה מדדו הרשמה ופעולות דומות, לא השלמת קורס.
- אין מחקר עצמאי שמאשר ש״בקורסים עם מחזורים מסיימים 80%-90%״. ה-96% של altMBA הם דיווח עצמי של אחת ממייסדות Maven, בלי הגדרה ובלי נתונים. המאגר הפומבי היחיד, של הספק Ruzuku, מראה 53.4% במחזורים מתוזמנים לעומת 42.9% בקורסי ״טפטוף״ לפי דרישה; הוא לא עבר ביקורת עמיתים ולא מנטרל מחיר, נושא ואורך.
מהו שיעור ההשלמה האמיתי של קורסים אונליין?
זה תלוי באיזה מחקר בוחרים, וכל מספר עונה על שאלה אחרת. המקור המצוטט ביותר הוא המאמר של Katy Jordan על מגמות ההרשמה וההשלמה בקורסים מקוונים פתוחים (IRRODL, 2014). היא אספה נתונים פומביים על קורסים של Coursera, edX ו-Udacity מתוך רשימה של 279 קורסים מ-22 ביולי 2013. נתוני השלמה היו זמינים רק ל-39 מהם. כשסופרים את מי שעמדו בקריטריונים לתעודה מתוך כלל הנרשמים, השיעורים נעו בין 0.9% ל-36.1% עם חציון של 6.5%. בתקציר כתוב ״ממוצע״, אבל גוף המאמר מדווח חציונים.
Jordan עצמה מצביעה על בעיית המכנה. הרבה אנשים נרשמים בלי להתחיל, ולכן היא חישבה גם השלמה מתוך תלמידים ״פעילים״ (מי שנכנסו, ניסו בוחן או צפו בסרטון). ב-33 הקורסים שהיו להם נתונים כאלה החציון היה 9.8%, בטווח של 1.4% עד 50.1%. היא גם מציינת ש-67.4% מהקורסים שהיו כשירים לניתוח לא פרסמו שום נתון, ולכן ייתכן שהקורסים שכן פרסמו לא מייצגים.
במחקר ההמשך שלה מ-2015 היו 221 קורסים, ו-129 מהם עם נתוני השלמה. החציון, כשההשלמה מוגדרת כחלק מהנרשמים שסיימו, היה 12.6% (טווח 0.7% עד 52.1%). היא מדווחת שההרשמות ירדו ושיעורי ההשלמה עלו. בגלל זה, מי שמצטט היום 6.5% מצטט מדגם מ-2013.
העמודות האלה אינן סדרה אחת. הן מערבבות חציונים וממוצעים, קבוצות קורסים שונות ומכנים שונים. קראו אותן כמפה שמראה כמה ההגדרה מזיזה את התשובה, לא כמגמה.
למה ״שיעור השלמה״ יכול להיות חמישה דברים שונים?
כי אין הגדרה אחידה. מתוך 129 הקורסים במדגם של Jordan מ-2015 שדיווחו השלמה, ב-93 ההגדרה הייתה קבלת תעודה; בשאר נעשה שימוש ב״סיים את הקורס״ (14), ״עבר את הקורס״ (10), ״השלים מטלות״ (6) ובכמה הגדרות בודדות, כמו ביצוע המבחן הסופי. האזהרה שלה, מהמאמר מ-2014, היא שאין מקום להשוות השלמה ב-MOOC להשלמה בקורסים בקמפוס.
המכנה חשוב לא פחות מההגדרה. Brent Evans, Rachel Baker ו-Thomas Dee בדקו 44 קורסים ב-Coursera, יותר מ-2.1 מיליון תצפיות על תלמידים. בממוצע 54.4% מהנרשמים צפו לפחות בסרטון הרצאה אחד, וב-16 מ-44 הקורסים רוב הנרשמים לא צפו אפילו באחד. רק כ-10% צפו ביותר מ-80% מההרצאות, ותעודות הגיעו בממוצע לכ-5% מהנרשמים. המחברים כותבים ששימוש בכלל הנרשמים כמכנה לחישוב שיעור השלמה ״מטעה מאוד״; גם כשמגבילים את החישוב למי שצפו בסרטון אחד, שיעור התעודות הממוצע עלה רק מ-5% ל-8.5%.
הניתוח של Reich ו-Ruipérez-Valiente ב-Science (2019) על כל הקורסים של HarvardX ו-MITx ב-edX עד מאי 2018 (565 מופעי קורס, 261 קורסים, 12.67 מיליון הרשמות של 5.63 מיליון לומדים) מגיע לאותה נקודה: 52% מהנרשמים לא נכנסו לחומרי הקורס אף פעם. כלומר שיעור השלמה שמחושב מתוך נרשמים מודד בחלקו כמה אנשים סתם נרשמו.
54.4%
מהנרשמים צפו לפחות בסרטון הרצאה אחד, בממוצע על פני 44 קורסים ב-Coursera. ב-16 מתוך 44 הקורסים, רוב הנרשמים לא צפו באף אחד.
מקור: Evans, Baker ו-Dee, Persistence Patterns in Massive Open Online Courses (MOOCs), Journal of Higher Education, 2016, נספח מקוון
קורס חינמי שכל אחד נרשם אליו בלחיצה אחת אוסף סקרנים. קורס בתשלום עם תאריך פתיחה אוסף אנשים ששילמו. אלה שתי אוכלוסיות שונות, ולכן אי אפשר להשוות ישירות את שיעורי ההשלמה שלהן.
האם ההשלמה השתפרה ככל שהקורסים השתפרו?
לא במאגר הגדול ביותר שהצלחנו לאמת. Reich ו-Ruipérez-Valiente כותבים ש״שש שנים של השקעה בפיתוח קורסים ובמחקר על למידה לא הניבו שיפור משמעותי במספרים האלה״. הטבלה המשלימה שלהם מורכבת יותר מהכותרת. בקרב מי שנרשמו וצפו בקורס, שיעור ההשלמה ירד מ-4.95% (2013/14) ל-3.13% (2017/18). בקרב מי שאמרו בהרשמה שהתכוונו לסיים, הוא עלה מ-11.51% ל-15.42%, אחרי שיא של 17.74% ב-2014/15. לומדים ששילמו על מסלול התעודה המאומתת סיימו בכ-44% עד 56%, והמאמר מציין שגם בקרב משלמים ההשלמה נשארת נמוכה.
מכאן שתי מסקנות. ראשית, ״ללא שינוי״ הוא פישוט: מי שהתכוונו לסיים השתפרו מעט בזמן שהקבוצה הרחבה נשחקה, כנראה מפני שקבוצת הנרשמים המזדמנים גדלה. שנית, תשלום לא גורם לאנשים לסיים. גם קבוצה שבחרה בעצמה והוציאה כסף סיימה בערך בחצי מהמקרים.
2013/14
2014/15
2015/16
2016/17
2017/18
השיעורים כאן מחושבים מתוך משתתפים ומתוך מי שהתכוונו לסיים, בסיס אחר מזה של Jordan. אל תערבבו בין השניים.
מתי לומדים עוזבים בפועל?
מוקדם. הממצא היציב ביותר בין המחקרים הוא לא עקומת שחיקה חלקה אלא מצוק בתחילת הדרך. Evans ועמיתיו מצאו שרבים ״צופים בסרטון אחד או שניים ואז מתנתקים״. Jordan מדווחת במאמר מ-2015 ששני השבועות הראשונים קריטיים למעורבות. בקורס MOOC אחד בפסיכולוגיה, באורך 12 שבועות, שניתח Marius Kloft עם עמיתיו, 11,607 משתתפים היו פעילים בשבוע הראשון ו-3,861 נשארו עד השבוע האחרון, כשליש. המחברים מצאו שההסתברות לנשירה ״גבוהה במיוחד בשבועיים הראשונים״, ושוב לקראת סוף הקורס.
לא נבנה מכאן עקומה כללית של נשירה לפי שבועות. העקומות השבועיות האלה נובעות מקורסים מסוימים, והעקומה של קורס אחד היא לא חוק טבע. מה שמשותף לכמה מאגרים עצמאיים הוא שההפסד הבודד הגדול ביותר קורה לפני תחילת הקורס או בשבוע-שבועיים הראשונים, ושחלק גדול מהנרשמים לא מתחיל בכלל.
בשביל מי שמוכר קורס, זה משנה את נקודת המבט. אם חלק גדול מההפסד קורה לפני השיעור הראשון או המפגש החי הראשון, אז ההזמנה, האישור, הודעת הגישה והתזכורת הראשונה הם הקורס, ככל שזה נוגע להשלמה. שם הכי זול לבדוק תיקון, ושם יש הכי הרבה מה להרוויח.
33%
ממשתתפי השבוע הראשון בקורס MOOC אחד (3,861 מתוך 11,607) עדיין היו פעילים בשבוע האחרון של קורס בן 12 שבועות (החישוב שלנו לפי המספרים במאמר). קורס אחד, לא אמת מידה.
מקור: Kloft, Stiehler, Zheng ו-Pinkwart, סדנת EMNLP 2014 על MOOC
נשירה במאמר הזה פירושה היעדר פעילות בשבוע הזה או בכל שבוע אחריו. לומד שדילג על שבוע וחזר עדיין נחשב פעיל.
האם תזכורות והנחיות תכנון מעלות השלמה?
התוצאה הראשונה מעודדת ומצוטטת בהרחבה. בניסוי שדה טבעי בשלושה קורסים ב-HarvardX, Michael Yeomans ו-Justin Reich (LAK 2017) מצאו שהנחיית תכנון, שביקשה מהלומדים לקבוע מתי ילמדו, העלתה את ההשלמה ב-29% ואת התשלום על תעודה ב-40%. שימו לב: 29% הם עלייה יחסית מבסיס נמוך, לא 29 נקודות אחוז, והמחקר היה קטן בהשוואה למה שבא אחריו.
מה שבא אחריו היה צנוע בהרבה. Kizilcec ושמונה שותפים (PNAS, 2020) שיבצו 269,169 לומדים ב-247 קורסים להתערבויות שונות או לקבוצת ביקורת של Harvard, MIT ו-Stanford. הם מדווחים שהנחיות תכנון ארוכות טווח ״לא שיפרו השלמה אצל לומדים מחויבים שדוברים אנגלית״, ושהתערבות של אחריותיות חברתית לא שיפרה השלמה במדינות לא אינדיווידואליסטיות. התערבות אחת, שעזרה ללומדים לקשר את הקורס לערכים שלהם, העלתה את ההשלמה בכ-2.79 נקודות אחוז, אבל רק אצל לומדים במדינות פחות מפותחות, בקורסים עם פער הישגים עולמי. המחברים מזהירים שפריסה רחבה של התערבות יכולה להקטין את האפקטיביות הממוצעת שלה בסדר גודל.
ארבעה ניסויים אקראיים בקורסים של openHPI ו-openSAP (Andor ועמיתיו, 2018) דיווחו על אפקט אפסי בסך הכול של הנחיות תכנון על השלמה בארבעה קורסים, כשבקורס אחד נרשמה עלייה של 19%. ודחיפה לתזמון, שנבדקה בניסוי אקראי עם 18,043 לומדים ואיפשרה לתת-קבוצה אקראית לבחור מתי לצפות בהרצאה הראשונה, ״לא השפיעה על מעורבות בטווח הקרוב והשפיעה שלילית באופן מובהק חלש על מעורבות, התמדה והישגים בטווח הארוך״ (Baker, Evans ו-Dee, AERA Open 2016).
| מחקר | מה נבדק | תוצאה |
|---|---|---|
| Yeomans ו-Reich, LAK 2017 (3 קורסי HarvardX) | הנחיית תכנון | השלמה +29% (יחסי), תשלום על תעודה +40% |
| Kizilcec ואחרים, PNAS 2020 (269,169 לומדים, 247 קורסים) | תכנון, חיבור לערכים, אחריותיות חברתית | אין עלייה בהשלמה מתכנון אצל לומדים מחויבים דוברי אנגלית; חיבור לערכים +2.79 נק׳ אחוז בהקשר מסוים |
| Andor ואחרים, 2018 (openHPI ו-openSAP, 4 קורסים) | הנחיית תכנון, ארבעה ניסויים אקראיים | אפקט אפסי בסך הכול; +19% בקורס אחד |
| Baker, Evans ו-Dee, AERA Open 2016 (18,043 לומדים) | בחירה מתי לצפות בהרצאה הראשונה | אין השפעה בטווח הקרוב; שלילית חלשה בטווח הארוך |
כל השורות עוסקות בקורסים פתוחים, ברובם חינמיים. אף אחת לא בודקת תזכורת שלקוח משלם מקבל מהעסק שממנו קנה, וזו מערכת יחסים אחרת.
למה תוצאות של ״דחיפות״ מצטמצמות בקנה מידה גדול?
כי מחקרים קטנים ומוקדמים מגזימים, ובדיקות שעובדות במקום אחד לא תמיד עובדות במקום אחר. Stefano DellaVigna ו-Elizabeth Linos (Econometrica, 2022) ריכזו 126 ניסויים אקראיים מבוקרים של שתי יחידות דחיפה בארה״ב, שהגיעו ל-23 מיליון איש. האפקט הממוצע היה 1.4 נקודות אחוז, עלייה של 8.0%, ״ניכר ומובהק סטטיסטית מאוד״, אבל רחוק מ-8.7 נקודות האחוז, הממוצע במאמרי דחיפה שפורסמו בכתבי עת אקדמיים. בגרסה שפורסמה הם מוצאים שהטיית פרסום מסבירה כ-70% מהפער, ושהבדלים בדחיפות עצמן מסבירים את רוב היתר. המדדים שם היו מימוש הטבות ושירותים מנהליים, לא השלמת קורס.
ניסויי דחיפה בחינוך מראים אותו דפוס. שני קמפיינים להגשת בקשות סיוע (FAFSA) הגיעו ליותר מ-800,000 סטודנטים ולא מצאו ״השפעה על קבלת סיוע או על רישום ללימודים, לא בסך הכול ולא באף תת-קבוצה״ (Bird ושותפיו, Journal of Economic Behavior and Organization, 2021), והמחברים דנים בשאלה למה אסטרטגיות שעובדות מקומית מתקשות להתרחב. Philip Oreopoulos ו-Uros Petronijevic הריצו חמש שנים של דחיפות אונליין והודעות טקסט לכמעט 25,000 סטודנטים בשלושה קמפוסים, ומצאו שאף התערבות לא שיפרה באופן מובהק הישגים אקדמיים (נייר עבודה 26059 של NBER, 2019). אלה היו סטודנטים בקמפוס, לא לומדים אונליין.
הספרות הרחבה יותר שנויה במחלוקת, לא סגורה. מטא-אנליזה שפורסמה ב-PNAS ב-2022 על יותר מ-200 מחקרים מצאה אפקט דחיפה כולל של d של Cohen = 0.45 והטיית פרסום מתונה לטובת תוצאות חיוביות. ניתוח חוזר באותו כתב עת הסיק שאחרי תיקון הטיית הפרסום לא נשארת ראיה ליעילות הדחיפות. מחבריו אמרו אחר כך שהתוצאה פתוחה ולא ראיה נגד דחיפות, ומבקרים טוענים שממוצע של דחיפות שונות מאוד הופך את שני המספרים לקשים לפרשנות. סיכום הוגן: תזכורות כנראה עושות משהו, כנראה פחות ממה שהמאמר הראשון שקראתם מבטיח, והאפקט תלוי בהודעה המדויקת, בקהל ובמדד.
שתי העמודות מודדות התנהגויות כמו הרשמה והגשת בקשה. קראו אותן כאזהרה לגבי גודל אפקט בפרסומים בכלל, לא כתחזית לתזכורות שלכם.
האם בקורסים עם מחזורים באמת מסיימים 80%-90%?
לא מצאנו מקור עצמאי. המספר מקורו במפעילים (יוצרי קורסים וספקים) שמתארים את התוכניות של עצמם. Wes Kao, אחת ממייסדות Maven שייסדה גם את ה-altMBA יחד עם Seth Godin, כתבה במאמר שהתפרסם ב-2021 באתר Future של a16z ש״ראינו שיעור השלמה של 96 אחוז״ ב-altMBA, ושבקורסים בשיטת המקרים של Harvard שיעור ההשלמה ״עלה ל-85 אחוז״. המאמר לא מגדיר מהי השלמה, לא מציין מקור נתונים ולא מכנה. דפים אחרים של ספקים חוזרים על 85% עד 90% למחזורים ו-10% עד 20% ללמידה בקצב עצמי, בלי מחקר שהצלחנו לפתוח.
המאגר הפומבי היחיד עם שיטה מוצהרת הוא של פלטפורמת הקורסים Ruzuku. מחבר הניתוח בדק 27,156 קורסים שפורסמו ו-1,316,272 הרשמות (הנתונים הועתקו ב-20 באוגוסט 2026), וספר הרשמה כהשלמה כשהפלטפורמה רשמה לה תאריך השלמה. קורסים עם מחזורים מתוזמנים (גישה לפי לוח זמנים; הפלטפורמה לא מסווגת אם ההעברה חיה) הראו 53.4% השלמה, קורסי ״טפטוף״ לפי דרישה 42.9%, וקורסים פתוחים ללמידה בקצב עצמי 41.9%. קורסים עם דיון בשיעורים הראו 50.9% לעומת 37.3% בלי, וקורסים עם מטלות הערכה 59.1% לעומת 42.4% בלי.
המחבר עצמו מציין את המגבלות: צילום מצב אחד של מסד נתונים, נתוני תצפית שאינם מוכיחים סיבתיות, בלי תיקון למחיר, אורך הקורס, נושא או בית ספר, בלי ביקורת עמיתים, והוא מייסד ומנהל את החברה שמוכרת את היכולות שהושוו. נוסיף שהסימון ״הושלם״ בפלטפורמה לא כפוף לתקן משותף, ולכן אי אפשר להשוות אותו לשיעור תעודות ב-MOOC. אם קוראים זאת כדפוס, הנתונים מראים שבקורסים עם מחזורים מתוזמנים סיימו יותר אנשים מאשר בקורסים פתוחים בקצב עצמי, בכ-11.5 נקודות, בנתונים של ספק אחד. הוא לא תומך ב-80% עד 90%.
חלק מהפער נובע מבחירה עצמית. לומדים שמתחייבים לתאריך פתיחה ולקבוצה אינם אותם אנשים שלוחצים ״הרשמה״ בקורס חינמי ללמידה בקצב עצמי, ויוצרי קורסים קטנים מפרסמים את המספרים הטובים שלהם.
מה כדאי למי שמוכר קורס לספור?
התחילו מהגדרה אחת כתובה וארבע או חמש ספירות מהקורס שלכם, כי זו הראיה היחידה שמתארת את הקהל שלכם. בחרו הגדרה לפני שהמחזור מתחיל (למשל, הגיע למפגש החי האחרון או עבר את המשימה הסופית) והשתמשו בה בכל המחזורים. אחר כך ספרו כל שלב מול אותם נרשמים.
הנה איך זה נראה, עם מספרים לדוגמה למחזור של 200 נרשמים. מה שחשוב הוא סדר הגודל של כל הפסד, לא הערכים.
- אפשר לקרוא את זה בשתי דרכים: 60 מתוך 200 הם 30% מהנרשמים, אבל 60 מתוך 130 הם 46% ממי שהתחילו. המספר הראשון מודד את ההזמנה ואת השבוע הראשון; השני מודד את הקורס עצמו.
- הירידה הגדולה ביותר היא 70 אנשים בין ההרשמה להתחלה, וזה המקום שבו המחקרים אומרים שההפסד בדרך כלל מתרכז. שינוי שם (הודעת גישה מהירה יותר, תזכורת יום לפני המפגש הראשון) שווה יותר משינוי בשבוע השישי.
- היו ריאליסטיים לגבי ניסויים. כדי לזהות עלייה משיעור השלמה של 30% ל-33% בעוצמה סטטיסטית של 80% וברמת מובהקות של 5%, צריך כ-3,760 לומדים בכל קבוצה (החישוב שלנו). מחזור של 200 לא יכול להוכיח שדחיפה עבדה. השוו בין מחזורים רק כסימן גס, שנו דבר אחד בכל מחזור, ושפטו לפי אפקטים גדולים ומבניים.
- שמרו על מכנה ישר כשאתם מדווחים מספרים לעצמכם או ללקוחות: ציינו אם הכוונה לנרשמים, למי שהתחילו או למי ששילמו.
אל תיקחו שיעור השלמה ממחקר MOOC או מבלוג של ספק כיעד לקורס שלכם. המחזור הקודם שלכם הוא אמת המידה שחשובה.
איך oToK עוזרת למדוד ולתקן את השבועות הראשונים?
oToK היא לא פלטפורמה לאירוח קורסים, והיא לא עוקבת אחרי התקדמות שיעור אחר שיעור בתוך קורס וידאו. היא מנהלת את מה שסביב הקורס: הרשמה, מחזורים, נוכחות במפגשים חיים, ההודעות שסביבם והכסף. אם השיעורים שלכם יושבים בפלטפורמה אחרת, אירוע של סיום יכול להגיע ל-oToK דרך Webhook נכנס או דרך ה-API, ואז להפעיל אוטומציה כמו כל אירוע אחר.
בשלב שהמחקרים מצביעים עליו, ההרשמה והמפגשים הראשונים, אלה הכלים שמוכרי קורסים משתמשים בהם:
- מחזורי מוצר: לכל מחזור תאריכים, מחיר ומספר מקומות משלו; מחזור מלא מקבל תווית ״מלא״, ולכל מחזור יש רשימת נרשמים, רשימת המתנה ונוכחות משלו
- טריגרים להרשמה, ביטול, נוכחות ורשימת המתנה, כך שאישורים, תזכורות ומעקב אחרי מי שלא הגיעו רצים בלי שמישהו צריך לזכור לשלוח
- אוטומציית אירוע אחת יכולה לכוון למוצר שלם, כך שאותו תהליך מכסה כל מחזור עתידי במקום להיבנות מחדש לכל מחזור
- חשבון Zoom מחובר רושם אנשי קשר למפגש ומסנכרן נוכחות חזרה לאירוע
- קמפייני WhatsApp, SMS או אימייל למשתתפי אירוע, לפי סטטוס נוכחות, עם החרגות לפי אירוע וסטטוס
- אוטומציות מושהות בשבת ובחגים וממשיכות לפי כלל, וזה חשוב כשמחזור רץ לאורך הלוח העברי
- אפשר לפלח דוחות לפי מחזור, ולהשוות את המשפך של המחזור הנוכחי לקודם
שום דבר מזה לא מעלה השלמה בכוחות עצמו. הוא מאפשר לספור כל שלב לפי הגדרה אחת, להגיע לאנשים ברגעים שבהם לפי המחקרים רוב ההפסד קורה, ולהשוות מחזור אחד לבא אחריו.
שאלות נפוצות
- מהו שיעור ההשלמה הממוצע של קורסים אונליין?
- אין ממוצע אחד. בקורסים פתוחים וחינמיים של אוניברסיטאות, Katy Jordan מצאה חציון של 6.5% ב-2014 (39 קורסים, תעודות מתוך הנרשמים) ו-12.6% ב-2015 (129 קורסים). מחקר על 44 קורסים מצא שתעודות הגיעו בממוצע לכ-5% מהנרשמים. לקורסי יוצרים בתשלום לא מצאנו מספר פומבי עצמאי, רק מספרים של פלטפורמות וספקים.
- האם ״5%-15% משלימים״ ב-MOOC נכון?
- זה סיכום רופף של מחקרים על קורסים חינמיים בשנים 2012 עד 2015, והמספר המדויק תלוי בהגדרה ובמכנה. החציונים של Jordan היו 6.5% ו-12.6% מהנרשמים; החציון שלה מתוך פעילים היה 9.8%. ניתוח מ-2019 של נתוני HarvardX ו-MITx העמיד את ההשלמה בקרב מי שנרשמו וצפו על 3.13% עד 5.85% לפי השנה. זו לא אמת מידה לקורס בתשלום.
- האם לקורסים עם מחזורים יש שיעור השלמה גבוה יותר מלמידה בקצב עצמי?
- כנראה במידה מסוימת, אבל הגודל לא הוכח. הנתונים של ספק אחד (Ruzuku, 27,156 קורסים) מראים 53.4% למחזורים מתוזמנים לעומת 41.9% לקורסים פתוחים ללמידה בקצב עצמי, בלי תיקון למחיר או לנושא ובלי ביקורת עמיתים. המספרים של 85% עד 96% מגיעים ממפעילים שמתארים את התוכניות של עצמם בלי הגדרה ובלי נתונים. חלק מהפער נובע מהבדלים בין הלומדים.
- האם הודעות תזכורת באימייל או ב-WhatsApp מעלות השלמה של קורס?
- הראיות מעורבות. מחקר קטן על הנחיות תכנון בשלושה קורסי HarvardX מצא עלייה של 29% (יחסית) בהשלמה, אבל ניסוי שכלל 269,169 לומדים ב-247 קורסים לא מצא עלייה בהשלמה אצל לומדים מחויבים דוברי אנגלית, וארבעה ניסויים אקראיים נוספים מצאו אפקט אפסי בסך הכול. לא מצאנו מחקר שעבר ביקורת עמיתים על תזכורות ב-WhatsApp או ב-SMS והשלמת קורס אונליין, ולכן את ההשפעה על הקורס שלכם צריך למדוד.
- מתי לומדים נושרים מקורס אונליין?
- בעיקר בהתחלה. ב-44 קורסים ב-Coursera, בממוצע רק 54.4% מהנרשמים צפו אפילו בהרצאה אחת, ובקורס MOOC אחד בן 12 שבועות כשליש ממשתתפי השבוע הראשון עדיין היו פעילים בשבוע האחרון. Jordan מדווחת ששני השבועות הראשונים קריטיים. העקומה המדויקת לפי שבועות משתנה בין קורסים, ולכן מדדו את שלכם.
- האם תשלום על קורס גורם לאנשים לסיים אותו?
- לא בכוחות עצמו. בקורסי HarvardX ו-MITx, לומדים במסלול התעודה המאומתת בתשלום סיימו בכ-44% עד 56% לאורך חמישה מחזורים שנתיים. זה הרבה יותר מהקבוצה הרחבה, אבל זה אומר שבערך חצי ממי ששילמו עדיין לא סיימו. תשלום בוחר מראש לומדים בעלי מוטיבציה גבוהה יותר; הוא לא מבטיח השלמה.
- כמה גדולה צריכה להיות בדיקה כדי להוכיח שתזכורת עובדת?
- גדולה יותר ממחזור קורס טיפוסי. כדי לזהות עלייה משיעור השלמה של 30% ל-33% בעוצמה של 80% וברמת מובהקות של 5%, צריך כ-3,760 לומדים בכל קבוצה, לפי הנוסחה הרגילה להשוואת שני שיעורים. עם כמה מאות לומדים, התייחסו להבדל שלפני ואחרי כאל רמז, לא הוכחה, והעדיפו שינויים שצפוי להם אפקט גדול.
- האם יש נתונים ישראליים על השלמת קורסים אונליין או וובינרים?
- חיפשנו נתונים פומביים של גופי סטטיסטיקה וחינוך בישראל ולא מצאנו כאלה שאפשר לאמת לגבי קורסים קצרים אונליין או וובינרים. כל מה שלמעלה מגיע ממחקר בינלאומי ומנתוני פלטפורמה של ספק אחד, ולכן המחזורים שלכם הם אמת המידה הישראלית.
- האם oToK יכולה לעקוב אחרי כמה רחוק לומדים מגיעים בקורס וידאו?
- לא בתוך השיעורים. oToK מנהלת הרשמה, מחזורי מוצר, נוכחות במפגשים חיים, אוטומציות, הודעות, תשלומים ודוחות סביב הקורס. אם פלטפורמת הווידאו שלכם יכולה לשלוח אירוע, Webhook נכנס או ה-API יכולים להכניס סיום שיעור ל-oToK ולהשתמש בו כטריגר לאוטומציה.




