Anket verisinde kalite kontrolü: özensiz yanıtlar nasıl ayıklanır?

Anket verisinde kalite kontrolü, analize başlamadan önce dikkatsiz, hızlı geçilmiş ya da tutarsız yanıtları önceden belirlenmiş ölçütlerle ayıklama işlemidir.

Bir anketi dolduran herkes onu dikkatle okumaz. Bazı katılımcılar soruları okumadan her satırda aynı seçeneği işaretler, bazıları yirmi dakikalık bir anketi iki dakikada bitirir. Bu yanıtlar analize girdiğinde ilişkileri zayıflatır, güvenilirlik katsayılarını düşürür ve bazen tamamen yanıltıcı sonuçlar üretir. Bu yazıda özensiz yanıtları yakalamanın en yaygın beş yöntemini ve bunları yöntem bölümünde nasıl raporlayacağınızı anlatıyoruz.

Neden önceden plan yapmalısınız?

Kalite ölçütlerini veriyi gördükten sonra belirlemek, "işime gelen yanıtları silme" riskini doğurur. Bu, bilimsel açıdan sorunludur. Doğru yaklaşım, ölçütleri anketi yayınlamadan önce belirlemek ve verinin tamamına aynı biçimde uygulamaktır.

1. Dikkat kontrol soruları

En basit ve en etkili yöntemdir. Anketin ortasına, doğru yanıtı açıkça belirtilmiş bir soru eklenir:

• "Bu soruda lütfen 'Katılmıyorum' seçeneğini işaretleyiniz."
• "Bu maddeyi okuduğunuzu göstermek için 3'ü seçiniz."

Soruyu yanlış yanıtlayan katılımcının diğer soruları da okumadığı varsayılır ve yanıtı analiz dışında bırakılır.

İyi uygulamalar:

• Uzun anketlerde bir değil iki kontrol sorusu kullanın; biri anketin ortasında, biri sonuna yakın.
• Soruyu ölçek maddelerinin arasına, aynı biçimde yerleştirin ki dikkat etmeyen fark etmesin.
• Kontrol sorusunu analize dâhil etmeyin ve ölçeğin güvenilirlik hesabından çıkarın.

2. Doldurma süresi

Anketi makul olmayan bir hızla bitirenleri belirlemek için tamamlama süresine bakılır. Google Forms süreyi doğrudan vermez, ancak birçok anket aracı ve site içi anket motorları başlangıç ve bitiş zamanını kaydeder.

Eşik belirlemenin yaygın yolu, kendi anketinizi dikkatle doldurduğunuzda geçen süreyi ölçmek ve bunun belirgin biçimde altında kalan yanıtları işaretlemektir. Literatürde ortanca sürenin yarısı ya da üçte biri gibi eşikler kullanılır. Hangi eşiği kullandığınızı ve neden seçtiğinizi raporlamanız yeterlidir.

3. Düz çizgi yanıtlar

Katılımcının bir ölçeğin bütün maddelerine aynı seçeneği işaretlemesine düz çizgi (straightlining) denir. Özellikle ters kodlu maddeler içeren ölçeklerde bu tutarsızdır: "Bu işi seviyorum" maddesine 5 veren birinin "Bu işten nefret ediyorum" maddesine de 5 vermesi mantıklı değildir.

SPSS'te her katılımcı için ölçek maddelerinin standart sapmasını hesaplayarak bunu kolayca bulabilirsiniz. Standart sapması sıfır olan, yani her maddeye aynı yanıtı veren katılımcılar incelenir. Likert ölçeği yazımızda ters madde kullanımının neden önemli olduğunu anlattık.

4. Tutarlılık kontrolleri

Bazı yanıtlar birbiriyle mantıksal olarak çelişir:

• Yaşını 19 yazıp 15 yıllık iş deneyimi belirtmek
• "Çalışmıyorum" deyip iş yerindeki pozisyonunu doldurmak
• Aynı soruyu farklı biçimde iki kez sorduğunuzda zıt yanıt vermek

Bu tür çelişkiler veri girişindeki bir hatadan ya da özensizlikten kaynaklanabilir. Her birini inceleyin; açık bir çelişki varsa yanıtı dışarıda bırakın.

5. Uç değerler ve tekrarlı katılım

Toplam puanlarda aşırı uç değerler, z puanı ya da kutu grafiğiyle belirlenebilir. Çok değişkenli analizlerde Mahalanobis uzaklığı yaygın olarak kullanılır. Uç değerin hata mı, yoksa gerçek ama sıra dışı bir yanıt mı olduğuna karar vermek gerekir; her uç değer silinmez.

Aynı kişinin anketi birden fazla doldurması da veriyi bozar. Aynı e-posta, aynı zaman damgası ya da birebir aynı yanıt örüntüsü taşıyan kayıtları kontrol edin. Ayrıntılar için SPSS veri girişi ve temizleme ve kayıp veriyle başa çıkma yazılarımıza bakabilirsiniz.

SPSS'te adım adım uygulama

Yukarıdaki kontrolleri SPSS'te birkaç komutla yapabilirsiniz:

1. Dikkat kontrolü: Kontrol sorusu için yeni bir değişken oluşturun; doğru yanıt verene 1, vermeyene 0 yazın (Transform → Recode into Different Variables).
2. Düz çizgi: Ölçek maddelerinin katılımcı bazında standart sapmasını hesaplayın (Transform → Compute Variable, SD fonksiyonu). Sıfır olanları işaretleyin.
3. Süre: Başlangıç ve bitiş zamanından süre değişkeni üretin ve belirlediğiniz eşiğin altında kalanları işaretleyin.
4. Tek bir eleme değişkeni: Üç işareti birleştiren "analize_dahil" adlı bir değişken oluşturun.
5. Filtreleme: Data → Select Cases ile yalnızca dahil edilecek katılımcıları seçin.

Yanıtları silmek yerine filtrelemek, gerektiğinde kararınızı geri almanızı ve kaç yanıtın hangi nedenle elendiğini raporlamanızı kolaylaştırır.

Kaliteyi anket tasarımında başlatın

En iyi kalite kontrolü, özensiz yanıtı baştan azaltandır. Anketi gereksiz sorulardan arındırın, soruları kısa ve net yazın, uzun ölçekleri birkaç sayfaya bölün ve anketin sonunda katılımcıya teşekkür edin. Kısa ve anlaşılır bir anket hem tamamlanma oranını artırır hem de dikkatsiz yanıtları azaltır. Anket sorusu yazarken kaçınılacak hatalar yazımız bu konuda pratik öneriler sunuyor.

Ne kadar eleme normaldir?

Elenen yanıt oranı anketin uzunluğuna, kitlesine ve dağıtım kanalına göre değişir. Kısa anketlerde oran düşük, uzun ve yorucu anketlerde daha yüksek olur. Oran beklenmedik derecede yüksekse anketin kendisini sorgulayın: çok mu uzun, sorular anlaşılır mı, mobilde rahat dolduruluyor mu?

Eleme sonrası örneklemin yetersiz kalmaması için hedeflediğiniz sayının bir miktar üzerinde veri toplayın. Bu planlamayı tez anketi için kaç katılımcı gerekir yazımızda ele aldık.

Açık uçlu sorular da ipucu verir

Anketinizde açık uçlu bir soru varsa, yanıtlar özensizliği yakalamak için iyi bir kaynaktır. Soruyla ilgisiz metinler, anlamsız harf dizileri ya da birçok katılımcıda birebir tekrarlanan kalıp cümleler dikkatsiz ya da otomatik yanıtlara işaret edebilir. Açık uçlu yanıtları tek tek okumak zaman alır, ama küçük bir örneklemde bile birkaç sorunlu kaydı yakalamanızı sağlar.

Yöntem bölümünde nasıl raporlanır?

Kalite kontrolünü raporlamak, verinize güveni artırır. Bir paragrafta şunları belirtin:

1. Hangi ölçütleri kullandığınız
2. Her ölçütle kaç yanıtın elendiği
3. Analize alınan son örneklem sayısı

Örnek: "Toplanan 412 yanıttan dikkat kontrol sorusunu hatalı yanıtlayan 18, anketi 3 dakikanın altında tamamlayan 9 ve tüm ölçek maddelerine aynı yanıtı veren 6 katılımcı analiz dışında bırakılmıştır. Analizler 379 katılımcının verisiyle yürütülmüştür."

Sık sorulan sorular

Dikkat kontrol sorusu katılımcıyı rahatsız eder mi? Genelde hayır. Tek bir açık talimat içeren soru, dikkatli katılımcı için bir saniyelik iştir ve özensiz yanıtları ayıklamanın en güvenilir yoludur.

Kaç dikkat kontrol sorusu kullanmalıyım? Kısa anketlerde bir, uzun anketlerde iki soru yeterlidir. Daha fazlası anketi gereksiz uzatır.

Uç değerleri silmek zorunda mıyım? Hayır. Önce uç değerin bir hata mı yoksa gerçek bir yanıt mı olduğuna bakın. Gerçek yanıtları silmek yerine parametrik olmayan testler ya da dönüşümler kullanılabilir.

Ölçütleri veriyi gördükten sonra belirleyebilir miyim? Bu önerilmez. Ölçütleri önceden belirleyip tüm veriye aynı biçimde uygulamak, seçici silme şüphesini ortadan kaldırır.

Satın alınan katılımcılarda da bu kontroller gerekli mi? Evet, veri kaynağı ne olursa olsun gereklidir. İyi bir katılımcı hizmeti kendi doğrulamasını yapar, ama kendi kontrollerinizi eklemek verinizin kalitesini raporlayabilmenizi sağlar.

Eleme oranı çok yüksek çıkarsa ne yapmalıyım? Önce anketi sorgulayın: uzunluk, soru dili ve mobil uyum. Sorun ankette değilse veri kaynağını gözden geçirin ve eksik kalan örneklemi tamamlamak için ek veri toplayın.