עקרונות המחקר יישומי - חיבור שאלות [פריטים]
לביצוע הערכה ומדידה במסגרת העבודה ובכלל יש להתייחס כאל מחקר לכל דבר ועניין כפי שמקובל במסגרת המדע. בניית תהליך הערכה ומדידה המיישם מספר כללים פשוטים יסייע בקבלת תמונת מצב מהימנה ברמת הפרט והארגון ויאפשר לגבש מסקנות מבוססות ממצאים - מסקנות הנתמכות אמפירית בממצאי המחקר.
בסדרה של שלושה מאמרים נתייחס לאבני דרך בתהליך הערכה ומדידה במחקר יישומי. נציג את הדברים בהתאם לסדר הכרונולוגי שבו דברים אמורים להתבצע, נביא דוגמאות לטעויות שכיחות ונסכם כל נושא 'בעשה ואל תעשה'. המאמר הראשון התייחס לגיבוש מטרות וגזירת תחומים מאמר זה עוסק בחיבור שאלות [פריטים] וסקלות תשובה והמאמר האחרון במבנה הכלי.
רלוונטיות מיצוי והעדר חפיפה
השאלות צריכות להיות רלוונטיות לתחום, קשורות לתחום. לדוגמא, אם אחד התחומים שהגדרנו בהערכת עובדים הינו יחסי עבודה, עתה יש לחבר שאלות הקשורות לתחום, עובד בשיתוף, נכונות לסייע, נכונות להסתייע וכיו"ב. ניתן להקל על חיבור השאלות ולהתייחס תחילה אל נושא השאלה בלבד ולהתרכז בניסוח רק לאחר סגירת רשימת נושאי השאלות.
כדאי לשקול להכניס בסוף כל תחום שאלה המייצגת את התחום בכללותו. לדוגמא, 'הערכה כללית לתחום יחסי העבודה'. הכנסת שאלה מסכמת תאפשר לבדוק אלו שאלות רלוונטיות לתחום ואלו פחות ע"י בדיקה סטטיסטית פשוטה של מתאם [קורולציה] בין כל שאלה לשאלה המסכמת.
לאחר שסיימנו את רשימת השאלות הרלוונטיות נבדוק את מידת המיצוי. האם הצלחנו להקיף את התחום, האם השאלות שחיברנו אכן מייצגות את התחום בכללותו. במסגרת מחקר והערכה פנים ארגוני חשיבה מעמיקה וסיעור מוחות עם אנשים הקרובים לתחום הנמדד לרוב תספק.
נשארתם עם מספר רב של שאלות? זה הזמן לבדוק העדר חפיפה, האם השאלות חוזרות על עצמן ומהי התרומה הייחודית של כל שאלה במסגרת התחום שהיא מייצגת. ניתן להעזר כאן בניתוחים סטטיסטיים פשוטים [מתאמים בין השאלות] ומעט מורכבים יותר [מהימנות עקיבות פנימית, ניתוחי גורמים וטעינות פריטים] אולם, במסגרת של מדידה והערכה פנים ארגונית, לרוב גם חשיבה צוותית וניתוח תוכני, יספיקו. זכרו כי מעט חפיפה בין השאלות מצויה כיוון שהשאלות מייצגות את אותו התחום, ורצויה כיוון שהדבר מעלה את המהימנות והתוקף של הכלי.
חיבור וניסוח שאלות רב ברירתיות [סגורות]
חיבור וניסוח שאלות וסקלות התשובה הינו תחום רחב מאוד, נתייחס כאן רק לטעויות הנפוצות והבעייתיות ביותר.
שאלה חייבת לכלול נושא [היבט] אחד בלבד [למעט מקרים יוצאים מן הכלל], לא ניתן להשיב על שני נושאים בשאלה אחת וגם בניתוח התוצאות לא ניתן יהיה לשחזר לאיזה נושא המשיב התייחס בתשובתו. לדוגמא שאלה כגון 'עד כמה אתה שבע רצון מהתנאים הפיזיים והסוציאליים במקום העבודה' יש לפצל לשתי שאלות 'עד כמה אתה שבע רצון מהתנאים הפיזיים במקום העבודה' ו – 'עד כמה אתה שבע רצון מהתנאים הסוציאליים במקום העבודה'. באופן דומה יש להיזהר ממשמעויות כפולות.
לאופן ניסוח השאלה, לחיוב או לשלילה, יכולה להיות השפעה רבה על אופן התשובה. ברוב המקרים ראוי לנסח את השאלות באופן חיובי או נטרלי ולהימנע משאלות המנוסחות לשלילה. שאלות המנוסחות לשלילה קשות להבנה, יתר על כן, לעיתים קרובות המשיב אינו שם לב להיפוך ומשיב באופן שגוי. השיקולים להפוך את השאלון למעניין יותר או 'לחייב' את המשיב לשים לב ולהשיב בעיון אינם מהווים משקל נגד לשיקול של בהירות והשבה נכונה. יוצא מן הכלל אלו שאלוני בקרה וניטור, כגון שאלונים רפואיים, שאלונים בהם אין חשיבות למכלול אלא למשיב הספציפי, שאלונים בהם חשוב לאתר השבה 'פזיזה' וניתן לאתר ולפנות אל המשיב לבירור.
ניסוח השלכתי, כלומר הנבדק נשאל לגבי דעות או אמונות של אחרים, יכול 'לגרום למשיב לענות בכנות רבה יותר בנושאים רגישים. יחד עם זאת, הרציונאל כי התשובות שהמשיב משליך על אחרים נכונות גם ביחס לעצמו, לא בהכרח נכון. לכן, לרוב מומלץ להשתמש בשאלה ישירה המתייחסת אל הנבדק עצמו.
מעבר לכך, חשוב לשים לב כי אין הטיה ברורה בגוף השאלה, כגון הצגת נורמה או עמדה מסוימת כיותר מקובלת. הטיה שכיחה היא הכנסת סקלת התשובות לגוף השאלה. דוגמא לטעות, 'אני מרגיש מאוד אפקטיבי במקום העבודה' במקום לשאול 'באיזו מידה אתה מרגיש אפקטיבי במקום העבודה'.
מסופר על שני יהודים שחשקו לעשן בעת התפילה ביום טוב [בו מותר להעביר אש ממקום למקום]. ניגשו איש איש לרב. כשנפגשו, האחד טען כי הרב אסר עליו לעשן בעת התפילה ואילו השני נשבע כי הרב דווקא אישר לו לעשן ואף עודד אותו לעשות כן. אמר השני, מה שאלת את הרב? שאלתי 'האם מותר לי לעשן בעת התפילה?' אהה, השיב השני, אני שאלתי את הרב 'האם מותר להתפלל בעת שמעשנים?'
ישנן סוגי טעויות שכיחות נוספות אולם דיינו שניזהר מסתם חוסר בהירות כללי לגבי הנשאל.... השאלה. על מנת להימנע מחוסר בהירות רצוי לשמור על מבנה פשוט, מבנה שחוזר על עצמו בכל שאלה כאשר רק נושא השאלה משתנה משאלה לשאלה. הדבר לא רק ימנע טעויות, הטיות [ושונות טעויות], הוא יקל על המשיב ויקצר את משך ההשבה. השבה על השאלות, טרם ההעברה בפועל, ע"י אנשים שאינם מעורים במחקר ובבניית השאלון ותחקור קצר לאחר ההשבה, יסייע לאתר שאלות שנוסחו באופן לא ברור או רב משמעי ולתקנן.
עשה ואל תעשה בחיבור שאלות רב ברירתיות:
√ רלוונטיות – השאלות שייכות לתחום הנמדד.
√ ממצות - השאלות מקיפות ומייצגות את התחום הנמדד.
√ העדר חפיפה – לכל שאלה צריכה להיות תרומה ייחודית. השאלות יכולות להיות דומות במידה מסוימת אבל לא זהות.
√ מנוסחות באופן בהיר קצר ולקוני.
√ נושא / היבט אחד בלבד בכל שאלה.
√ מומלץ להכניס שאלה מסכמת בסוף כל תחום.
X להימנע מהטיות וחוסר בהירות.
סקלת תשובות
בהתייחס לסקלת התשובות בשאלות כמותיות טעות נפוצה הינה סקלת תשובות לא סימטרית ו/או בעלת מרווחים לא שווים. דוגמא לטעות, 'א. מצוין, ב. טוב מאוד, ג. טוב, ד. בינוני, ה. לא טוב'. מעבר לכך שסקלה כזו מטה את התשובות, כל העיבודים הסטטיסטיים המקובלים ביותר, כגון ממוצע וסטיית תקן, שגויים (התרגום ממלל למספר שגוי). בנוסף, חשוב שהמלל בסקלה יבטא עד כמה שניתן את המרווחים בין המספרים, כלומר, מרווחים שווים גם בין הקטגוריות המילוליות ונקודת האמצע מבחינה מספרית הינה נקודת האמצע גם מבחינה מילולית. לדוגמא '5 רבה מאד, 4 רבה, 3 בינונית, 2 מועטה, 1 מועטה מאוד'.
בהתייחס לסקלת תשובות נומינלית (קטגוריאלית / איכותית) השגיאה הנפוצה ביותר הינה סקלת תשובות לא ממצה. כלומר, לא כוללים את כל אופציות התשובות לשאלה. אם קשה להעריך ו/או לכלול את כל אופציות התשובה האפשריות יש מקום להכניס אופציה 'אחר', רצוי עם מקום למלל פתוח לכתוב מהו 'האחר'.
איזו סקלה לבחור לשאלה, רחבה וכמותית (רבה מאוד, רבה...), נומינלית קטגוריאלית (כן / לא) או אחרת? תלוי במציאות שמעוניינים למדוד, אם המציאות הנמדדת רחבה אזי מתאימה סקלה כמותית, לדוגמא, 'באיזו מידה אתה שבע רצון ממקום העבודה?' תתאים סקלה רחבה וכמותית, 'רבה מאוד, רבה...' ולא 'כן / לא', סקלה המאפשרת להשיב באופן מדויק. בכל מקרה, אסור לחבר סקלות מסולמות שונים. דוגמא לטעות, 'עד כמה אתה שבע רצון מהמראה הכללי של מכשיר הסלולארי? א. במידה רבה מאוד, ב. במידה רבה, ג. במידה בינונית, ד. הייתי מעוניין להחליף את המכשיר'.
רצוי כי סקאלת התשובות תופיע ביחס לכל שאלה או לפחות בראשית כל עמוד. אין להסתפק במספרים בלבד, יש 'להצמיד' טקסט לכל ערך מספרי. הנטייה להרחיב את סקלת התשובות מיותרת, אינה תורמת לדיוק ופוגעת במהימנות הכלי. סקלה של 1 עד 5 מספיקה ומקלה על המשיב. נטייה נוספת היא לסקלה זוגית (ללא נקודת אמצע) המחייבת כיוון מסוים מצד המשיב, יש לכך יתרונות, הנבדק חייב להחליט, אולם גם חסרונות, לעיתים המציאות היא אכן האמצע, הנטייה שלי... לא להכריע בנושא.
עשה ואל תעשה בחיבור סקלת תשובה:
√ סקלה סימטרית.
√ סקלה עם רובד [סולם] אחיד.
√ סקלה ממצה וזרה [כוללות את כל אופציות התשובה מחד וללא חפיפה באופציות התשובה מאידך].
√ לא להסתפק בסקלה מספרית, יש לתת ערך מילולי לכל מספר.
√ מומלץ להסתפק בסקלת תשובות של 1 עד 5. סקלה רחבה יותר פוגעת במהימנות ואינה תורמת לדיוק.
חיבור וניסוח שאלות פתוחות
לשאלות הפתוחות ערך רב אם נותנים להן את היחס הראוי ואם מסייעים למשיב לענות עליהן באמצעות מיקוד השאלה. לעיתים קרובות מידי אנו נתקלים בסוף השאלון ב 'הערות___________'. יחידי סגולה, נחמדים אך לא מיצגים, עונים על שאלה פתוחה זו וגם הם, בדרך כלל, באופן דל ביותר. אז מה ערכן, מה התוספת של השאלות הפתוחות? שלוש מטרות מרכזיות לשאלות הפתוחות: א. הרחבת היריעה וקבלת אינפורמציה מעמיקה יותר ביחס לתחום הנמדד. ב. משנה תוקף לממצאים שעלו מהשאלות הסגורות. ג. אפשרות להתייחס לדברים שאף החוקר או המעריך לא שיער מראש.
את היחס הראוי לשאלות הפתוחות נשיג באמצעות בקשה נפרדת להתייחס גם לשאלות הפתוחות ונדגיש את החשיבות שאנו מייחסים לתשובות שיתקבלו בשאלות אלו. נקל על המאמץ הנדרש על מנת להשיב לשאלות אלו בכך שנמקד אותן. מיקוד בסיסי ניתן להשיג ע"י התייחסות קונקרטית לנושא מסוים וע"י חלוקה לחיובי ושלילי. לדוגמא, 'מהן העוצמות של החברה בתחום השירות: ___________'. רצוי למקם את השאלה הפתוחה בקונטקסט שלה. כלומר, הכניסו את השאלה או השאלות הפתוחות בסוף הנושא או התחום הרלוונטי ולא בסוף הכלי.
השאלות הפתוחות דורשות מאמץ רב יותר משאלות סגורות, אל תפריזו בשאלות הפתוחות, מספר רב מידי של שאלות פתוחות יצמצם את אחוזי ההשבה ואת אחוזי המילוי [של השאלות]. קיבלתם אינפורמציה איכותית בשאלות הפתוחות? אל תסתפקו בהצגה גולמית ואין סופית של תשובות שהתקבלו, בצעו ניתוח תוכן פשוט.
עשה ואל תעשה בחיבור שאלות פתוחות:
√ מקדו את השאלה הפתוחה. שאלות פתוחות דורשות מאמץ רב יותר מצד המשיב מיקוד השאלה יקל על המשיב.
√ הדגשו את החשיבות המיוחסת לשאלות הפתוחות במחקר הנוכחי, הקדם לשאלות הפתוחות פתיח קצר המעיד על החשיבות ועל ההתייחסות הרצינית של העורך לשאלות אלו. לשאלות הפתוחות 'יצא שם רע' כיוון שלרוב לא נעשה איתן דבר, התייחסות רצינית של העורך תוביל להתייחסות רצינית של המשיב.
√ מקמו את השאלה הפתוחה בקונטקסט ולא בסוף השאלון.
X אל תפריזו בשאלות פתוחות, הן דורשות מאמץ רב מהמשיב.
X אל תשתמשו בשאלה פתוחה כללית מידי או ב 'הערות'.
X אל תסתפקו בהצגה גולמית של התשובות שהתקבלו לשאלות הפתוחות, בצעו ניתוח תוכן.
יוסי פריאר דרור מנכ”ל משב מחקר יישומי
משב מחקר יישומי הינה חברת מחקר רב תרבותית ורב לשונית, המתמחה במתן שירותי מחקר וסטטיסטיקה למגזר השלישי, העסקי, הפרטי ולאקדמיה. החברה דוגלת באיכות מקצועית גבוהה, מספקת שירות מהיר וממוקד ומפתחת קשר אישי עם לקוחותיה.
