הצגת המקור של הדף "תוקף (מחקר)"

'''תוקף''' הוא מונח ב[[שיטות מחקר]], המסמל את המידה שבה [[כלי מדידת חברה פורמליים|כלי מדידה פורמלי]] מודד את מה שהוא נועד למדוד במסגרת ה[[מחקר]], וכן המידה שבה [[הסקת מסקנות|המסקנות]] והפעולות הננקטות על סמך [[מדידה והערכה|ההערכה]] אכן מתאימות ומדויקות.
בהתאם לכך, התקפות היא השיקול החשוב ביותר בפיתוח ובשימוש של [[כלי]] [[מדידה]] או הערכה. זאת במיוחד עבור מקרים שבהם היא משמשת לצורך [[קבלת החלטות]] חשובות{{הערה|שם=חלופות|מנוחה בירנבוים (1997). חלופות בהערכת הישגים. רעננה: רמות.}}. 

התוקף נמדד לאחר ה[[מהימנות (שיטות מחקר)|מהימנות]] של המחקר, כאשר המהימנות מהווה חסם עליון לתוקף ותנאי מקדים לו. אופן אמידת תוקפו של מבחן הוא מצטבר, כלומר הוא מבטא איסוף מדדים שונים לגבי המבחן אשר יוצרים תמונה כוללת לגבי המידה שבה המדד מודד את הדבר אשר הוא נועד למדוד{{הערה|שם=קמבפלפיסק1959}}.  

== תהליך התיקוף ==
התיקוף הוא תהליך של בניית [[טיעון]] [[מדע]]י מבוסס, התומך בפרשנות ה[[נתונים]] המופקים באמצעות כלי המדידה ובפעולות המוצעות בהתבסס עליהם. בנוסף, תהליך התיקוף שולל את כל ההסברים החלופיים [[משתנה מתערב|והמשתנים המתערבים]] שיכולים להתקבל על הדעת{{הערה|שם=חלופות}}.
משום שתהליך התיקוף נעשה עבור ההיסקים והפעולות המבוססות על הנתונים ולא על כלי המדידה עצמם, יש לתקף כל סוג של שימוש אשר רוצים לעשות בכלי הערכה נתון{{הערה|שם=חלופות}}. כלומר, גם אם נמצא שכלי מסוים תקף עבור מטרה מסוימת אין זה מבטיח שהוא יהיה תקף למטרות אחרות שעבורן ניתן לעשות בו שימוש.

לצורך יצירת התיקוף יש לקבוע באופן ברור את ה[[היסק]]ים שמעוניינים בהם והפעולות שמבקשים לבצע על סמך הנתונים שיופקו מהכלי. בנוסף, יש לבנות מסגרת [[תאוריה|תאורטית]] ברורה שתשמש לקביעת [[הנחה (לוגיקה)|הנחות]] היסוד או לניסוח [[השערה (מדע)|השערות]]{{הערה|שם=חלופות}}.

==סוגי תוקף ממצאי מחקר==
בפרק בספר על [[פסיכולוגיה ארגונית]]-תעשייתית משנת 1979 פרסו החוקרים [[דונלד ט' קמפבל]] ו[[תומאס ד' קוק]]{{הערה|Cook, T.D., & Campbell, D.T. (1979). The design and conduct of quasiexperiments
and true experiments in field settings. In M. Dunnette (Ed.),
Handbook of Industrial and Organizational Psychology. Skokie, IL:
Rand–McNally.|כיוון=שמאל}}, ארבעה קריטריונים לשיפוט תוקף מחקרים [[סיבתיות|סיבתיים]]: התוקף הסטטיסטי, התוקף הפנימי, תוקף המבנה והתוקף החיצוני. מונחים אלו הפכו לאבן דרך לבחינה של תוקף מחקרים במדעי החברה בכלל, ובפרט בפסיכולוגיה. 

התוקף הסטטיסטי מספק את הבחינה המדוקדקת של קיום הקשר בין המשתנה התלוי למשתנה הבלתי תלוי, אשר מהווה את התופעה הנצפית. תוקף זה נבחן באמצעות בחינת ה[[מתודולוגיה]] הסטטיסטית שבה השתמשו החוקרים כדי לתמוך את טענותיהם. בהקשר זה ישנו שימוש רחב במונח [[ערך-p|p value]] (מילולית: ערך ה-p) אשר מבטא את ה[[הסתברות]] לקבלת הממצאים תחת השערה שבה לא מתקיים הקשר אותו רוצים החוקרים להראות. השערה זו נהוג לכנות בעגה מקצועית [[השערת האפס]], ולסמנה <math>H_0</math>, כאשר את השערת החוקרים נהוג לסמן ב-<math>H_1</math>. נהוג לומר שקשר קיים או במילים אחרות [[מובהקות סטטיסטית|מובהק]] או תקף, אם הסתברות זו קטנה מ-5%, כלומר ערך ה-p קטן מ-0.05. נוהג זה מקיים [[שמרנות]] מחקרית בכך שהוא מעדיף את השערת האפס כל עוד לא התקבלו נתונים המראים שהנתונים שנאספו מאוד לא סבירים אם היא נכונה. מונח נוסף אשר עם התפתחות כוח המחשוב נהיה יותר ויותר פופולרי במחר הוא [[גורם בייס]] (BAYES FACTOR). גורם זה, המבוסס על [[סטטיסטיקה בייסיאנית]] מחשב את ההסתברות לקבלת הנתונים <math>H_1</math> חלקי הסתברות קבלת הנתונים תחת <math>H_0</math>. 

התוקף הפנימי דן במידה שבה קיימים הסברים אחרים לתופעה הנצפית, השונים מזה שמנסים החוקרים להראות. לדוגמה בוחנים האם קיימים משתנים נוספים המשפיעים על התופעה בניסוי, אשר החוקר לא חשב עליהם בתכנון הניסוי. 

תוקף המבנה דן במידת ה[[הכללה (מתמטיקה)|הכללה]] של התופעה מעבר למימוש של המונחים התאורטיים שהשתמשו בו החוקרים. בהקשר זה נפוץ השימוש במושג תוקף מבנה '''מתכנס''' (Convergent) – מושג המתאר מצב בו קיימים [[מתאם|מתאמים]] גבוהים בין ההגדרות התצפיתיות המודדות את אותו המושג. באופן דומה, נפוץ השימוש במושג תוקף מבנה '''מבחין''' (Discriminant) מתאר מצב שבו [[הגדרה|הגדרות]] תצפיתיות שונות מההגדרות תצפיתיות אחרות המודדות מושג תאורטי אחר. כלומר התוקף המבחין בוחן את השאלה האם ההגדרה התפעולית גולשת לתופעות נוספות שאינן קשורות. על מנת לתקף את הניסוי מצופה מן החוקרים להראות כי המתאם בין המשתנים הרלוונטיים להשערה לבין משתנים המודדים משתנה אחר (אך דומה) יהיה נמוך{{הערה|שם=LTR-Campbell|Campbell, D. T. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. (56). Psychological Bulletin. pp. 81–105|כיוון=שמאל}}. 

התוקף החיצוני דן במידת ההכללה לאנשים השונים מן האנשים שנבחנו במחקר. בהקשר זה נהוג לבחון עד כמה אוכלוסיית המחקר שונה מהאוכלוסייה לגביה רוצים להסיק את מסקנות המחקר. לדוגמה מחקר על אוכלוסייה מאוד ייחודית, כמו חולים לאחר [[אוטם שריר הלב|התקף לב]], יהיה בעל תוקף חיצוני נמוך לגבי השערה הנוגעת לכלל אוכלוסיית העולם.

מעבר לארבעת המושגים שטבעו קמפבל וקוק, נפוץ השימוש במונח תוקף תוכן. תוקף זה מתאר את המידה שבה התוכן של המבחן משקף ומייצג את ההיבטים השונים של [[תחום ההערכה]]. ככל ש[[תחום ההערכה]] מיוצג יותר בניסוי, כך תוקף התוכן גבוהה יותר. לרוב תוקף זה נבחן באמצעות פרוטוקול פיתוח קפדני, ובאמצעות שיפוטי מומחה.

=== מטריצה רב-מתודית-רב-משתנית ===
מטריצה רב-מתודית-רב-משתנית (Multitrait-multimethod matrix) או בקיצור MMTM היא גישה לבחינת תוקף המבנה אשר פותחה על ידי קמפבל ופיסק ופורסמה בשנת 1959{{הערה|Campbell, D.T., & FiskeD.W. (1959) Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56, 81-105 "|כיוון=שמאל|שם=קמבפלפיסק1959}}. מטריצה זו מסדרת את ציוני המהימנות, התוקף המבחין והתוקף המתכנס בצורה המאפשרת בחינה נוחה של תוקף המבנה הכללי של המדד אותו מעוניינים לתקף.

ב-MMTM נמדדים לפחות שני מושגים פסיכולוגים, לפחות בשתי שיטות. המטריצה מסודרת בצורה סימטרית כלפי האלכסון, כך שהעמודות או השורות מסודרות כפי המוצג בטבלה הבאה: 
{| class="wikitable"
!Test
!מושג 1 שיטה 1
!מושג 1 שיטה 2
!מושג 2 שיטה 1
!מושג 2 שיטה 2
|-
!מושג 1 שיטה 1
!מהימנות (מצפים שיהיה קרוב ל-1)
|
|
|
|-
!מושג 1 שיטה 2
|מתאם בין אופרציונליזציות שונות של אותו מושג
[מצפים שיהיה הכי גבוה בטבלה למעט מהימנות]
!מהימנות (מצפים שיהיה קרוב ל-1)
|
|
|-
!מושג 2 שיטה 1
|מתאם בין מושגים שונים הנמדדים באותה שיטה
[מצפים שיהיה נמוך יותר ממדידה של אותו מושג בשיטות שונות]
|מתאם בין מושגים שונים הנמדדים בשיטות שונות
[מצפים שיהיה הנמוך ביותר בטבלה]
!מהימנות (מצפים שיהיה קרוב ל-1)
|
|-
!מושג 2 שיטה 2 
|מתאם בין מושגים שונים הנמדדים בשיטות שונות
[מצפים שיהיה הנמוך ביותר בטבלה]
|מתאם בין מושגים שונים הנמדדים באותה שיטה
[מצפים שיהיה נמוך יותר ממדידה של אותו מושג בשיטות שונות]
|מתאם בין אופרציונליזציות שונות של אותו מושג
[מצפים שיהיה הכי גבוה בטבלה למעט מהימנות]
!מהימנות (מצפים שיהיה קרוב ל-1)
|-
|}

==הקשר בין תוקף למהימנות==
המשמעות של כלי מחקר אשר אינו מהימן, היא שהוא אינו מודד תכונה יציבה. על מנת שכלי ימדוד את מה שהוא אמור למדוד, עליו למדוד תכונה יציבה. מכאן נובע כי [[מהימנות (שיטות מחקר)|מהימנות]] מהווה תנאי הכרחי לתוקף. עם זאת, אם מבחן הוא מהימן תוצאותיו לא בהכרח גם תקפות. ייתכן למשל כי כלי ימדוד תכונה יציבה אך היא אינה התכונה המבוקשת.

== תוקף של תחום מקוצץ ==
במקרים רבים בחינת תוקפו של כלי באמצעות קריטריון נעשית על מדגם משתתפים אשר נופו על סמך ציונם באותו הכלי. במקרה זה נאמר כי מבחן התוקף הוא מבוסס מדגם בעל קיצוץ תחום (range restriction). דוגמה לכך היא תיקוף ציון הפסיכומטרי כמנבא לסיום תואר ראשון. במקרה זה, סיפי הקבלה לתואר הראשון עלולים להיות מבוססים על ציון הפסיכומטרי, בין היתר. בכך, מדגם של בעלי ציון פסיכומטרי שהחלו את התואר הראשון יכיל טווח מצומצם או שונה של ציון הפסיכומטרי בהשוואה למדגם הבוחן את טווח הציונים של כל האוכלוסייה. בחינת תוקף על מדגם מקוצץ תחום ללא התייחסות לקיצוץ התחום, עלולה להביא למסקנות שגויות לגבי גודלו של תוקף הכלי{{הערה|ד. נבון, י. כהן וש. ברונר (2008), הגורמים המשפיעים על אומדן מקדם תקפות החזאי המשמש לבררת מועמדים להשכלה גבוהה, דוח 347, המרכז הארצי לבחינות והערכה.}}. לשם התמודדות עם בעיה זו, הוצעו בספרות מספר פתרונות אשר שונים בין היתר בהנחותיהם לגבי האופן בו קוצץ התחום, כמו גם לגבי המידע הזמין לחוקר אשר מבצע את מבחן התוקף. ביצועי התיקונים תלויים ביחס הברירה, כלומר ביחס בין כמות הדגימות שיש לחוקר לאחר הקיצוץ לבין כמות הדגימות לפני הקיצוץ. ככל שיחס הברירה גבוה יותר, כך ביצועי התיקונים טובים יותר, זאת משום שיש לחוקר יותר מידע ככל שיחס הבירה גבוה יותר.

לדוגמה עבור משתנה רציף X המנבא מתנה רציף Y המשמש כקריטריון, ניתן להגדיר את התוקף באמצעות עוצמת הקשר הנמדדת על ידי [[מתאם פירסון]]. 

אם קיצוץ התחום מתבצע על בסיס ציוני X בלבד, נאמר כי תחום זה מקוצץ באופן ישיר (Direct). קיצוץ מסוג זה תואר בספרו של [[אדוארד לי תורנדייק|אדוארד לי ת'ורדנדייק]] "Personnel selection: Test and measurement techniques" כמקרה מספר 2, ומאז נהוג בעגה המקצועית להתייחס למקרה זה גם בשם 'מקרה ת'ורנדייק 2'. [[קובץ:Restricted sample.png|ממוזער|287x287px|דוגמה לקיצוץ תחום ישיר כאשר <math>x>0.25</math>.

איור זה נבנה באמצעות דגימה אקראית של 1000 צמדי ערכים (X, Y) כאשר <math>x \backsim U(-1,1)</math>, <math>y_i= x_i + \varepsilon</math> ו-<math>\varepsilon \sim N (\mu=0, \sigma = 0.5 )</math>]]

לתיקון קיצוץ תחום זה ניתן להשתמש בנוסחה אותה הציע ת'ורנדייק:

<math>\tilde{R}_{XY}=\frac{r_{xy}\times\biggr(\frac{S_x}{s_x}\biggl)}
\sqrt{1-r^2_{xy}+\biggr(\frac{S_x}{s_x}\biggl)\times r^2_{xy}}</math>{{הערה|Held, J. D., & Foley, P. P. (1994). Explanations for accuracy of the general multivariate formulas in correcting for range restriction. Applied Psychological Measurement, 18(4), 355-367.
בהתאם ל- Case 1 from Guilford, 1965, p. 343 
ול- Case A from Thorndike, 1982, p. 210|כיוון=שמאל}}

כאשר <math>\frac{S_x}{s_x}
</math> מבטא את היחס בין שונות המשתנה המנבא <math>x
</math> לפני הקיצוץ לבין שונות אותו המשתנה אחרי הקיצוץ, ו-<math>r_{xy}
</math> זה תוקף המשתנה על המתחם המקוצץ.

דוגמה גרפית לסוג קיצוץ זה ניתן לראות בתמונה משמאל. בתמונה זו המתאם באוכלוסייה שווה ל - 0.76, המתאם <math>r_{xy}
</math> בקטע המקוצץ הוא 0.28, היחס בין השונויות 2.73=<math>\frac{S_x}{s_x}
</math>,  ולפיכך לפי התיקון <math>\tilde{R}_{XY}
</math> שווה ל-0.63.  

אם קיצוץ התחום מתבצע על בסיס ציוני z, אשר מתואם עם x, y או עם שניהם אזי נאמר כי תחום זה מקוצץ באופן עקיף. מקרה זה ידוע בשם 'מקרה ת'ורנדייק 3'. נוסחת התיקון שהציע ת'ורנדייק למקרה זה היא:  

<math>\tilde{R}_{XY}=\frac{r_{xy}+r_{zx}\cdot r_{zy}\biggr(\frac{S^2_z}{s^2_z}-1\biggl)}
\sqrt{1+r^2_{zx}\biggr(\frac{S^2_z}{s^2_z}-1\biggl)\sqrt{1+r^2_{zy}\biggr(\frac{S^2_z}{s^2_z}-1\biggl)}}</math>{{הערה|Pfaffel, A., Kollmayer, M., Schober, B., & Spiel, C. (2016). A missing data approach to correct for direct and indirect range restrictions with a dichotomous criterion: A simulation study. PloS one, 11(3), e0152330.|שם=פפפל-2016|כיוון=שמאל}}  

עם התפתחות יכולת החישוב כיום משמשות גם טכניקות מבוססות השלמה של [[ערכים חסרים]] ([[אימפיואיטציה]] - Imputation).  בפרט, כאלה המסכמות סימולציות ממוחשבות רבות של הנתונים החסרים על מנת להתמודד עם קיצוץ התחום{{הערה|שם=פפפל-2016}}, תוך התחשבות במידת אי-הוודאות שיש לחוקר לגבי ההשלמה{{הערה|שם=וואן-בורן2011}}. לדוגמה שימוש באלגוריתם MICE - multiple imputation by chained equations{{הערה||שם=פפפל-2016}}{{הערה|Van Buuren, S., & Groothuis-Oudshoorn, K. (2011). mice: Multivariate imputation by chained equations in R. Journal of statistical software, 45, 1-67.|כיוון=שמאל|שם=וואן-בורן2011}}. שימוש בשיטות אלו מאפשרות להתמודד עם מצבים בהם הנחות היסוד הסטטיסטיות עליהן מבוססות השיטות הפרמטריות הקלאסיות אינן מתקיימות{{הערה|Zimmermann, S., Klusmann, D., & Hampe, W. (2017). Correcting the predictive validity of a selection test for the effect of indirect range restriction. BMC Medical Education, 17(1), 1-10.|כיוון=שמאל}} כמו גם עם ניבוי מידע שאינו רציף{{הערה||שם=פפפל-2016}}.  

==ראו גם==
* [[שיטות מחקר - מונחים]]
* [[הערכה פורמלית - מונחים]]
* [[תורת המבחנים]]

== לקריאה נוספת ==
[[רות בייט-מרום|ר' בייט-מרום]] (2005), "שיטות מחקר במדעי החברה עקרונות המחקר וסגנונותיו", תל אביב : האוניברסיטה הפתוחה.

Sackett, P. R., & Yang, H. (2000). Correction for range restriction: an expanded typology. ''Journal of Applied Psychology'', ''85''(1), 112.

==הערות שוליים==
{{הערות שוליים}}

{{בקרת זהויות}}

[[קטגוריה:שיטות מחקר במדעי החברה]]