Geçerlilik ve güvenilirlik nedir? Farkı nedir?

Geçerlilik bir ölçme aracının ölçmek istediği şeyi ölçüp ölçmediğidir; güvenilirlik ise aynı ölçümü tutarlı biçimde tekrarlayıp tekrarlamadığıdır. İkisi farklı sorulardır ve tezde ayrı ayrı kanıtlanır.

Klasik benzetme şudur: sürekli 3 kilo fazla gösteren bir tartı güvenilirdir ama geçersizdir — her seferinde aynı sonucu verir, ama yanlış sonucu verir. Her ölçümde başka bir sayı gösteren tartı ise ne güvenilir ne geçerlidir.

Buradan çıkan kural: güvenilirlik geçerliliğin ön koşuludur ama yeterli koşulu değildir. Güvenilir olmayan bir araç geçerli olamaz; güvenilir olan bir araç ise geçerli olabilir de olmayabilir de.

Geçerlilik türleri

Kapsam (içerik) geçerliliği

Ölçeğin, ölçmek istediği kavramın bütün yönlerini temsil edip etmediğidir. Bir "matematik başarısı" testi yalnızca dört işlem sorusundan oluşuyorsa geometri ve cebir alanlarını kapsamıyor demektir.

Nasıl kanıtlanır: Alan uzmanlarına maddeler değerlendirilir. Her uzman her maddeyi "gerekli / yararlı ama gerekli değil / gereksiz" biçiminde puanlar. Bu puanlardan kapsam geçerlilik oranı ve kapsam geçerlilik indeksi hesaplanır. Tezde genellikle "X uzmanın görüşüne başvurulmuş, geri bildirimler doğrultusunda N madde çıkarılmıştır" cümlesiyle raporlanır.

Görünüş geçerliliği

Ölçeğin, onu dolduran kişiye "ilgili bir araç" gibi görünüp görünmediğidir. Teknik olarak en zayıf geçerlilik türüdür — istatistiksel bir dayanağı yoktur — ama katılımcının ciddiye alması açısından pratik önem taşır. Konuyla ilgisiz görünen maddeler yanıt oranını düşürür.

Yapı geçerliliği

Ölçeğin, kuramsal olarak beklenen iç yapıyı taşıyıp taşımadığıdır. Beş boyutlu olduğu iddia edilen bir ölçek, veride de beş boyut veriyor mu?

Nasıl kanıtlanır:

• Açımlayıcı faktör analizi (AFA) — boyut yapısı veriden çıkarılır. Yeni geliştirilen ölçeklerde kullanılır.
• Doğrulayıcı faktör analizi (DFA) — önceden bilinen yapı test edilir. Uyarlanan ya da daha önce doğrulanmış ölçeklerde kullanılır. Uyum indeksleri yazımızda eşik değerleri anlattık.
• Ayrışma (discriminant) geçerliliği — ölçek, farklı olması gereken kavramlardan gerçekten ayrışıyor mu? İki ayrı boyut arasındaki korelasyon aşırı yüksekse (örneğin .85 üzeri) o iki boyut aslında aynı şeyi ölçüyor olabilir.
• Yakınsama (convergent) geçerliliği — aynı kavramı ölçen başka bir araçla yüksek korelasyon gösteriyor mu?

Ölçüt (kriter) geçerliliği

Ölçeğin, dış bir ölçütle ilişkisidir. İkiye ayrılır:

• Eşzamanlı geçerlilik: Aynı anda ölçülen bir ölçütle ilişki. Yeni geliştirilen depresyon ölçeğinin, kabul görmüş bir depresyon ölçeğiyle yüksek korelasyon vermesi gibi.
• Yordayıcı geçerlilik: Gelecekteki bir sonucu öngörme gücü. Üniversite giriş sınavı puanının birinci sınıf not ortalamasını yordaması gibi.

Güvenilirlik türleri

İç tutarlılık

En sık kullanılanı. Ölçeğin maddelerinin birbiriyle tutarlılığıdır; Cronbach alfa ve McDonald omega ile ölçülür. Ayrıntısı için Cronbach alfa yazımıza bakın.

Test-tekrar test güvenilirliği

Aynı ölçek aynı gruba iki-üç hafta arayla uygulanır, iki ölçüm arasındaki korelasyona bakılır. Kişilik, tutum gibi kısa sürede değişmemesi beklenen özelliklerde anlamlıdır. Ara çok kısa olursa katılımcı yanıtlarını hatırlar, çok uzun olursa özellik gerçekten değişmiş olabilir.

Paralel form güvenilirliği

Aynı kavramı ölçen iki ayrı formun tutarlılığı. Sınav güvenliği gereken durumlarda kullanılır; sosyal bilimler tezlerinde nadirdir.

Değerlendiriciler arası güvenilirlik

Nitel içerik analizinde veya gözlem çalışmalarında iki bağımsız kodlayıcının aynı veriye verdiği kodların uyumu. Cohen kappa veya sınıf içi korelasyon katsayısı kullanılır.

Tezde nasıl raporlanır?

Yöntem bölümünde "Veri Toplama Araçları" başlığı altında her ölçek için şunlar verilir:

1. Ölçeğin adı, geliştiren yazar ve yıl, Türkçeye uyarlayan yazar ve yıl
2. Madde sayısı, alt boyutlar, derecelendirme türü (5'li Likert vb.)
3. Puanlama biçimi ve ters maddeler
4. Orijinal çalışmadaki geçerlilik ve güvenilirlik bulguları
5. Sizin çalışmanızdaki güvenilirlik katsayıları
6. Kullanım izni alındığına dair ifade

Örnek bir paragraf:

Ölçek Yılmaz (2015) tarafından geliştirilmiş, 18 madde ve üç alt boyuttan oluşmaktadır. Beşli Likert tipi derecelendirme kullanılmaktadır (1 = Kesinlikle katılmıyorum, 5 = Kesinlikle katılıyorum). Orijinal çalışmada açımlayıcı faktör analiziyle üç faktörlü yapı elde edilmiş ve toplam varyansın %61'i açıklanmıştır. Ölçeğin geliştirme çalışmasındaki Cronbach alfa katsayısı .89'dur. Bu araştırmada ölçeğin genel güvenilirlik katsayısı .86, alt boyutlar için .74 ile .88 arasında hesaplanmıştır. Ölçeğin kullanımı için yazardan e-posta yoluyla izin alınmıştır.

Yeni ölçek mi geliştiriyorsunuz?

Yeni ölçek geliştirmek başlı başına bir tez konusudur. Kabaca akış şöyledir:

1. Kavramsal çerçeve ve madde havuzu oluşturma
2. Uzman görüşüyle kapsam geçerliliği
3. Pilot uygulama ve dil sadeleştirme
4. Birinci örneklemde AFA
5. İkinci ve bağımsız bir örneklemde DFA
6. Güvenilirlik analizleri
7. Ölçüt geçerliliği için dış değişkenlerle ilişki

Buradaki en sık hata, AFA ve DFA'nın aynı veri setinde yapılmasıdır. Bu, aynı veriyle hem hipotez üretip hem test etmek anlamına gelir ve yöntem açısından kabul edilmez. İki ayrı veri toplayın ya da tek büyük örneklemi rastgele ikiye bölün.

Nitel araştırmalarda karşılıkları

Geçerlilik ve güvenilirlik nicel araştırmanın kavramlarıdır. Nitel çalışmalarda bunların yerini dört ölçüt alır:

• İnandırıcılık (credibility): Bulguların katılımcıların gerçekliğini yansıtması. Uzun süreli etkileşim, katılımcı teyidi (bulguları katılımcılara okutup doğrulatmak), uzman incelemesi ve veri çeşitlemesi ile sağlanır.
• Aktarılabilirlik (transferability): Bulguların başka bağlamlara aktarılabilirliği. Ayrıntılı betimleme ve amaçlı örnekleme ile desteklenir; okuyucunun kendi bağlamına uyup uymadığına karar verebilmesi için ortamı ve katılımcıları zengin biçimde anlatmanız gerekir.
• Tutarlılık (dependability): Sürecin tutarlılığı. Kodlayıcılar arası uyum ve dış denetim (audit trail) ile gösterilir.
• Teyit edilebilirlik (confirmability): Bulguların araştırmacının önyargısından değil veriden çıktığı. Ham veri, kodlar ve temaların kaydını saklamak bunu sağlar.

Nitel bir tezde "ölçeğin güvenilirlik katsayısı" aramak yöntem tutarsızlığıdır; bu dört ölçütü kullanın ve her biri için ne yaptığınızı somut olarak yazın.

Sık sorulan sorular

Geçerlilik mi önce gelir güvenilirlik mi? Mantıksal olarak güvenilirlik ön koşuldur, ama uygulamada kapsam geçerliliği (uzman görüşü) en başta yapılır. Analiz sırasında ise önce faktör yapısı, sonra güvenilirlik hesaplanır.

Hazır ölçek kullanıyorum, yine de geçerlilik analizi yapmalı mıyım? Güvenilirlik katsayısını kendi örnekleminizde mutlaka hesaplayın. Yapı geçerliliği için DFA yapmak da giderek standart hâle geliyor; danışmanınıza sorun. Farklı bir kültürde ya da farklı bir yaş grubunda uyguluyorsanız DFA neredeyse zorunludur.

Örneklemim küçük, faktör analizi yapabilir miyim? AFA için genel öneri madde başına 5-10 katılımcıdır ve toplamda 150-300 arası bir alt sınır sıkça anılır. Örneklem küçükse DFA'nın kestirim değerleri kararsız olur. Gerekli sayıyı örneklem hesaplayıcımızdan planlayabilirsiniz.

Bu analizleri kim yapıyor? Kendiniz yapabilir ya da veri analizi hizmetimizden destek alabilirsiniz. AFA, DFA ve güvenilirlik analizlerini APA biçiminde tablolar ve yorum metniyle birlikte teslim ediyoruz.