Çalışan Anketi: Bir Görüşü mü Ölçüyoruz, Sorunun Ürettiği Yanıtı mı?
Bir çalışan anketinde “Yöneticim fikirlerimi dinler” ifadesine yüzde 78 katılım çıktığını düşünelim. Kurum bu oranı yöneticilerin dinleme becerisine dair açık bir kanıt olarak sunuyor. Anketin başka bir yerinde “Yöneticime katılmadığımda bunu rahatça söyleyebilirim” ifadesi bulunsaydı aynı kişiler nasıl yanıt verirdi? Dinlenmek ile itiraz edebilmek aynı deneyim sayılmaz. İlk soru dikkati yöneticinin davranışına yöneltir. İkinci soru çalışanın üstlendiği ilişki riskini görünür kılar.
İki sorudan birinin doğru, diğerinin yanlış olması gerekmiyor. Her biri başka bir şeyi yokluyor. Sorun, tek bir yanıtı kişinin ya da kurumun sabit bir özelliğinin doğrudan ölçümü saydığımızda başlıyor.
Scott Plous, The Psychology of Judgment and Decision Making kitabının ikinci kısmına “Sorular yanıtları nasıl etkiler” başlığını verir. Bu kısmın ilk bölümü “Plasticity”, ikincisi soru ifadesinin ve çerçevelemenin etkileri üzerinedir [1]. Kitabın ilginç bir kurgusu da var: Okur birinci bölüme geçmeden önce bir anket doldurur ve ilerleyen sayfalarda bu soruların karar psikolojisindeki bilinen deneylerden alındığını fark eder [1]. Okur, kendi yanıtının koşullarını kendi üzerinde görür.
Bu bölümlerdeki deneylerin çoğu Plous’a ait değil. Katkısı, farklı araştırmaları bir araya getirip bir ölçme sorununu görünür kılmasında yatıyor: İnsan bir görüşü yanıt verirken ifade eder, fakat yanıtın aldığı biçim sorudan bağımsız değildir. Plous’un kitabında belirttiği üzere, bir araştırma sonucunu yorumlamadan önce soru sırasına, sorunun açık mı kapalı mı olduğuna, yanıt seçeneklerine ve kazanç ya da kayıp çerçevesine bakmak gerekir. Aynı yargıyı farklı yollardan alıp sonuçları karşılaştırmak da onun önerdiği pratik yöntemdir [1].
Düşünmek için bir şema ve sınırı
Bu ölçme sorununu akılda tutmak için şöyle bir şema kullanılabilir:
Gözlenen yanıt = kişinin o andaki eğilimi + sorunun dili + sunulan seçenekler + önceki soruların etkisi + bağlam ve referans noktası
Bu bir istatistik denklemi sayılmamalı. Plous’a ait de değil. Onun derlediği bulguları bir arada düşünmeye yarayan bir kısaltma. Toplama işareti de yanıltıcı, çünkü öğeler birbirine sabit miktarlar eklemez, birbirinin etkisini büyütüp küçültür. Kişinin konuya dair eğilimi güçlüyse sorunun dili az şey değiştirir. Eğilim zayıfsa ya da hiç yoksa, aşağıda göreceğimiz gibi, yanıtın neredeyse tamamını soru mimarisi belirleyebilir. Daha dürüst bir ifade şu olurdu: Gözlenen yanıt, kişinin eğilimi ile soru mimarisinin etkileşimidir.
Plous’un kullandığı “plasticity” sözcüğünü Türkçede yanıtların şekillenebilirliği diye karşılamak yerinde. Kavram, insanların ilkesiz ya da keyfî olduğunu iddia etmez. Aynı kişilerin benzer bir konuda farklı soru düzenlerinde başka yanıtlar verebilmesini anlatır. Plous şekillenebilirliği tutarsızlıktan da ayırır. İlki aynı sorunun iki biçimine verilen yanıtlar arasındaki farkla ilgilidir. İkincisi iki ilgili tutumun ya da tutum ile davranışın uyuşmamasıyla [1]. Bu ayrım kaybolduğunda her yanıt farkına “insanlar ne düşündüğünü bilmiyor” demek kolaylaşır.
Bir çalışanın ankette “Yöneticim beni dinler” ifadesine katılıp bir sonraki görüşmede “İtirazımı söylersem performans değerlendirmeme yansımasından çekiniyorum” demesi tutarsızlık olmak zorunda değil. Yönetici gerçekten dinliyor, ama itiraz etmenin bedelini belirsiz bırakıyor olabilir. Anket bu iki durumu ayıracak sorular içermiyorsa kurum elindeki olumlu oranla yetinir. Ölçülen şeyin sınırını fark etmeden verilen karar, ölçümün kendi hatasından daha büyük bir hata üretir.
Sözcük: Çerçeve mi değişti, kavram mı?
Donald Rugg’ın 1941’de Public Opinion Quarterly’de yayımladığı iki sayfalık not, soru dilinin etkisine dair en çok atıf alan örneklerden biri. Örneklemin rastgele seçilmiş yarısına ABD’nin demokrasi karşıtı konuşmalara izin vermesi gerekip gerekmediği, diğer yarısına bu konuşmaları yasaklaması gerekip gerekmediği soruldu. Mantık açısından iki soru aynı şeyi soruyor. Rugg’ın raporladığı dağılıma göre “izin” sorusunda katılımcıların yüzde 62’si izin verilmemesinden yana oldu. “Yasak” sorusunda ise yasağı destekleyenler yüzde 46’da kaldı. İki versiyonda da katılımcıların yüzde 15-17’si kararsızdı [2]. Plous bu çalışmayı soru sözcüklerinin etkisine örnek olarak inceler [1].
Hans-Jürgen Hippler ve Norbert Schwarz 1986’da aynı asimetriyi farklı konularla yeniden buldu ve bir açıklama önerdi: Orta görüşlü kişiler hem “evet, yasaklansın” hem de “evet, izin verilsin” yanıtını fazla uç buluyor ve iki soruda da “hayır” demeyi tercih ediyor [3]. “Yasaklamamak” ile “izin vermek” mantıkta eşdeğer, dilde aynı ağırlığı taşımıyor. Asimetri sonraki çalışmalarda her konuda ve her dönemde aynı büyüklükte ortaya çıkmadı. Bu yüzden bu fiillerin her bağlamda sabit bir fark yaratacağını düşünmek yanlış olur.
Rugg’ın deneyi, sözcük etkisinin yanında raporlamaya dair ikinci bir ders de taşıyor. Aynı deney literatürde iki farklı rakam setiyle dolaşır. Bazı kaynaklar yasak sorusuna yüzde 46, bazıları yüzde 54 “evet” dendiğini yazar. İkisi de doğru. İkinci rakam, kararsızlar paydadan çıkarılınca elde ediliyor (46’nın 85’e oranı). Aynı veri, “fikrim yok” diyenlerin rapora dâhil edilip edilmemesine göre farklı bir kamuoyu tablosu çiziyor. Bu noktaya henüz oluşmamış görüşler bölümünde döneceğim.
Kelimenin etkisi görüşle sınırlı kalmıyor, belleğe kadar uzanıyor. Elizabeth Loftus ve John Palmer’ın 1974’teki deneyinde katılımcılar bir trafik kazası filmi izledi, ardından arabaların birbirine “vurduğu” ya da “paramparça ettiği” anda ne hızla gittiklerini tahmin etti. Araştırma sonuçlarına göre “paramparça” sorusunu alanlar ortalama 40,8 mil/saat, “vurdu” sorusunu alanlar 34 mil/saat tahmin etti. Bir hafta sonra filmde bulunmayan kırık camı görüp görmedikleri soruldu. “Paramparça” grubunun yüzde 32’si kırık cam gördüğünü söyledi, “vurdu” grubunda bu oran yüzde 14’tü [4]. Soru, bir hafta sonra hatırlanacak olanı da yeniden yazmıştı.
Rugg ve Loftus’un örneklerinde iki ifade aynı olguyu anlatıyor. Başka bir tür sözcük farkı daha var ve ikisini ayırmak bu yazının belki en önemli noktası. Pew Research Center Ocak 2019’da katılımcıları rastgele iki gruba ayırdı. Bir gruba bölgelerinde yeterince “iş” olup olmadığını, diğerine yeterince “iyi iş” olup olmadığını sordu. İlk soruda “bol iş var” diyenler yüzde 60, ikincisinde “bol iyi iş var” diyenler yüzde 48’di [5]. “İyi” sözcüğü küçük bir eklenti gibi görünür. Oysa ücreti, güvenceyi, çalışma koşullarını ve ilerleme olanağını soruya taşır. Burada sorulan şey gerçekten değişmiştir.
Bu ayrım, çerçeveleme çalışmalarını sahaya taşırken belirleyici. Bazı durumlarda iki ifade aynı olgusal durumu farklı yönden anlatır ve yanıt farkı bir yanlılığa işaret eder. Bazı durumlarda yeni bir sözcük ölçülen kavramı değiştirir ve yanıt farkı yeni bir bilgidir. Her farklı yanıtı bilişsel yanlılık diye etiketlemek, soru tasarımındaki gerçek içerik farkını görmezden gelir.
Bir yönetim toplantısında “Ekibimiz değişime hazır mı?” sorusuna çoğu kişinin olumlu yanıt vermesi mümkün. “Bu değişim için hangi mevcut işi bırakmaya hazırız?” sorusu kaynak tahsisini ve kaybı gündeme getirir. İkinci soruya daha az coşkulu yanıt gelmesi, ilk yanıtın sahte olduğunu kanıtlamaz. İlki genel bir tutumu, ikincisi belirli bir fedakârlığa hazırlığı yokluyor. Karar için çoğu zaman ikisine de ihtiyaç var.
Sıra: Önceki sorunun bıraktığı iz
Hiçbir soru tek başına sorulmaz. Ondan önce gelen soru, kişinin hangi bilgiyi hazırda tuttuğunu ve hangi normun devrede olduğunu belirler.
Herbert Hyman ve Paul Sheatsley’nin 1950’de yayımladıkları çalışmada katılımcılara iki soru soruldu: Amerikan muhabirleri komünist ülkelere gidip serbestçe haber yazabilmeli mi? Komünist ülkelerin muhabirleri ABD’de aynı serbestliğe sahip olmalı mı? Komünist muhabirler sorusu ilk sırada geldiğinde destek yüzde 36,5’ti. Amerikan muhabirleri sorusundan sonra geldiğinde yüzde 73,1’e çıktı. Sıra tersine döndüğünde bu kez Amerikan muhabirlerine verilen destek yüzde 89,8’den 65,6’ya indi [6].
Howard Schuman ve Stanley Presser, soru biçimi, ifadesi ve bağlamı üzerine yürüttükleri deney dizisinde bu çalışmayı otuz yıl sonra tekrarladı. Plous’un aktardığına göre bu tekrarda Amerikan muhabirleri sorusu önce sorulduğunda ona destek yüzde 82, ardından gelen komünist muhabirler sorusuna destek yaklaşık yüzde 75 oldu. Komünist muhabirler sorusu önce sorulduğunda destek yüzde 55’e, ardından gelen Amerikan muhabirleri sorusuna destek yüzde 64’e indi [1, 7].
İki veri seti yan yana konduğunda tek bir deneyden çıkmayacak bir şey görünüyor. Sıra etkisi otuz yıl sonra da aynı yönde ortaya çıktı, ama büyüklüğü azaldı. Soğuk Savaş’ın başında 37 puan olan fark, sonraki tekrarda 20 puan civarına indi. Bu değişimin nedenini veriden kesin olarak okuyamayız. Dönemin siyasal atmosferi, örneklem ve uygulama farkları olası açıklamalar. Kesin olan şu: Plastisite kalıcı bir olgu, ama boyutu tarihsel bağlama duyarlı.
Mekanizmayı şöyle yorumlamak mümkün: Önce kendi muhabirinin özgürlüğünü savunan kişi hemen ardından karşılıklılık normuyla yüzleşiyor. Önce yabancı muhabirin ülkeye girişi sorulduğunda ise güvenlik ve tehdit düşüncesi öne çıkıyor. Kişinin zihninde iki değer de var. Soru sırası hangisinin sahneye önce çıkacağını belirliyor.
Aynı etki bugün de ölçülüyor. Pew Research Center 2013 sonunda yayımladığı bir yöntem notunda, Sosyal Güvenlik ve Medicare harcamalarına dair sorunun yerini inceledi. Soru, askerî harcamalar ve yoksullara yardım sorularından önce sorulduğunda mevcut yardımların korunmasını bütçe açığını azaltmaya tercih edenler yüzde 63’tü. Aynı soru daha sonra sorulduğunda bu oran yüzde 72’ye çıktı. Pew bu sıralama etkisi nedeniyle, bir önceki ölçümden bu yana gerçek bir görüş değişimi olup olmadığının şüpheli hâle geldiğini açıkladı [8]. Bir kurumun kendi verisindeki belirsizliği yayımlaması, raporlama disiplininin iyi bir örneği.
Sıra etkisi kişisel yargılarda da çalışır. Fritz Strack, Leonard Martin ve Norbert Schwarz 1988’de üniversite öğrencilerine genel yaşam memnuniyetlerini ve ne sıklıkla flört ettiklerini sordu. Genel memnuniyet sorusu önce geldiğinde iki yanıt arasındaki korelasyon -0,12’ydi, yani pratikte ilişki yoktu. Flört sorusu önce sorulduğunda korelasyon 0,66’ya çıktı [9]. Araştırmacılar iki soruyu “hayatınızın iki yönü” diye birlikte sunduklarında etkinin zayıfladığını da raporladı. Katılımcı, gündelik konuşma kurallarına göre, az önce söylediğini ikinci soruda yeniden hesaba katmaması gerektiğini çıkarıyordu [9].
Bu çarpıcı bulgu üzerine bir uyarı gerekiyor. Ulrich Schimmack ve Shigehiro Oishi 2005’te daha büyük örneklemlerle yaptıkları çalışmalarda, soru sırası etkisinin yaşam doyumu yargılarında genellikle küçük kaldığını ve insanların bu yargıda büyük ölçüde süreklilik taşıyan bilgilere dayandığını raporladı [10]. Strack ve arkadaşlarının bulduğu uçurum, her ankette her konuda beklenecek bir etki büyüklüğü sayılmamalı.
Seçenekler: Anketin sessiz konuşması
Bir ankette “Haftada kaç saat fazla mesai yapıyorsunuz?” sorusunun altına şu seçenekleri koyduğumuzu varsayalım: “0”, “1-5”, “6-10”, “11-15”, “16 ve üzeri”. Çalışan bu seçeneklerden kurumun hangi aralığı olağan saydığına dair bir ipucu da alır. En üst seçenek “5 saat ve üzeri” olduğunda oluşan bağlam bambaşkadır.
Norbert Schwarz ve arkadaşları 1985’te günlük televizyon izleme süresi için verilen seçenek aralıklarını değiştirdi. Katılımcıların kendi davranışlarını bildiriş biçimi ve sonraki karşılaştırmalı değerlendirmeleri bu aralıklardan etkilendi [11]. Kişi izleme süresini dakikası dakikasına bilmediği için ölçeğin ortasını “normal” kabul ediyor ve kendini ona göre konumluyordu. Araştırmanın konusu televizyondu, bulguyu doğrudan her çalışan anketine taşımak doğru olmaz. Ölçme açısından uyarısı ise açık: Kişi kutucukları kendi davranışını yorumlamak için de kullanıyor.
Sayısal etiketler de bir anlam taşır. Schwarz ve arkadaşlarının 1991’de Almanya’da temsilî bir örneklemle yaptığı deneyde katılımcılardan hayatta ne kadar başarılı olduklarını 11 basamaklı bir ölçekte değerlendirmeleri istendi. Uç etiketler aynıydı: “Hiç başarılı değil” ve “son derece başarılı”. Ölçek 0’dan 10’a numaralandığında katılımcıların yüzde 34’ü 0 ile 5 arasını seçti. Ölçek -5’ten +5’e numaralandığında biçimsel olarak eşdeğer aralığı (-5 ile 0 arası) seçenler yüzde 13’te kaldı [12]. 0 ile başlayan ölçekte “hiç başarılı değil” başarının yokluğu gibi okunuyordu. Eksi değerlerle başlayan ölçekte aynı ifade başarısızlığın varlığı, yani daha ağır bir iddia gibi okunuyordu. Çalışan net tavsiye skoru gibi 0-10 ölçeklerinin İK’da ne kadar yaygın olduğu düşünülürse, ölçeğin numaralandırılma biçimi raporda kaç kişinin “düşük” kutusunda görüneceğini değiştirebilir.
Seçenek sunmak ile sunmamak arasındaki fark daha da büyük olabilir. Pew’in 2008 ABD başkanlık seçimi sonrasında yaptığı karşılaştırmada, oy kararında en önemli konu sorulduğunda, ekonomi seçenek olarak açıkça sunulan grupta yüzde 58 oranında seçildi. Açık uçlu versiyonda ise katılımcıların yalnızca yüzde 35’i ekonomiyi kendiliğinden söyledi. Kapalı versiyonda beş seçeneğin dışına çıkanlar yüzde 8’in altında kalırken açık uçlu versiyonda yanıtların yüzde 43’ü listede bulunmayan konulardı [13].
“Ekonomi gerçekte yüzde 35 mi, yüzde 58 mi önemliydi?” sorusuna tek sayıyla karşılık veremeyiz. Açık uçlu soru kendiliğinden akla gelen önceliği, kapalı uçlu soru verilen seçenekler arasındaki tercihi daha iyi yakalar. Bir takımın sorunlarını anlamaya çalışırken yalnızca önceden belirlenmiş “güven, roller, iletişim, hedefler” başlıklarını sunmak, araştırmacının dünyasını katılımcının önüne koyar. Önce açık sorularla katılımcının kendi başlıklarını toplamak, sonra yapılandırılmış ölçeklerle bunların ne kadar yaygın olduğunu sınamak daha dürüst bir sıralama.
Henüz oluşmamış görüşe şekil vermek
Plous’un plastisite bölümündeki en rahatsız edici konu, insanların hakkında hiçbir bilgileri olmayan konularda da görüş bildirmesidir. Plous bu bölümde uydurma topluluk adları ve var olmayan düzenlemeler üzerine yapılmış çalışmaları aktarır [1]. Bu türün erken bir örneği Eugene Hartley’in 1946’daki çalışması: Katılımcılardan gerçek milliyetlerin yanında “Danireanlar”, “Pireneanlar” ve “Wallonyalılar” gibi uydurma gruplar hakkında da tutum belirtmeleri istendi ve pek çoğu belirtti [14].
George Bishop ve arkadaşları 1980’de katılımcılara 1975 tarihli “Public Affairs Act”in yürürlükten kaldırılması gerekip gerekmediğini sordu. Böyle bir yasa yoktu. Soruya “bu konuda fikriniz yoksa belirtin” türünden bir filtre eklenmediğinde katılımcıların yaklaşık üçte biri görüş bildirdi. Schuman ve Presser da gerçek ama çok az bilinen bir yasayla benzer bir sonuç buldu. Filtre eklendiğinde görüş bildirenlerin oranı iki çalışmada da belirgin biçimde düştü [7, 15].
Bu bulgunun ilk okuması kolay: İnsanlar bilgisiz görünmemek için uyduruyor. Daha ilginç okuması, katılımcıların yalan söylemediği yönünde. Anketör bir soru sorduğunda katılımcı, sorunun anlamlı olduğunu ve kendisinden bir yanıt beklendiğini varsayar. Yasanın adındaki “kamu işleri” ifadesinden, devlete ve harcamalara dair genel tutumundan bir anlam çıkarır ve ona göre yanıt verir. Önüne konan dört seçenek, konunun var olduğu ve hakkında görüş sahibi olunması gerektiği izlenimini güçlendirir. Şemaya dönersek: Bu vakada “kişinin eğilimi” sıfıra yakın. Şema yine de bir sonuç üretiyor ve raporda o sonuç gerçek bir tutum gibi yüzdeye giriyor.
Plous, Schuman ve Presser’ın sonraki çalışmalarına dayanarak bu uç örneklerin bütün kamuoyu araştırmalarına genellenemeyeceğini de belirtir [1]. Az bilinen bir konuda verilen her görüş sahte sayılmaz. Kişi soruyu ilk kez görmüş ve mevcut değerlerinden hareketle o anda makul bir değerlendirme yapmış olabilir. Ama bu değerlendirme yerleşmiş bir tutumla aynı şey değil.
Kurum içinden bir örnek: Yönetim “yeni performans modeli” için destek soruyor, fakat çalışanlara modelin hangi davranışları değerlendireceği ve ücrete nasıl bağlanacağı henüz anlatılmamış. Bazıları “evet” diyerek mevcut sistemden rahatsızlığını, bazıları “hayır” diyerek bilinmeyen bir yönteme itirazını ifade eder. Ayrıntılar açıklanınca iki grubun da değerlendirmesi değişebilir. İlk anketi bir geri bildirim olarak saklamak mümkün. Onu modelin ayrıntılarına verilmiş bir onay ya da ret gibi okumak mümkün değil.
“Bu konuda karar verecek kadar bilgim yok” seçeneği bu yüzden bazı anketlerde gerekli. Ama Rugg’ın iki rakam seti gösteriyor ki bu seçeneğin kendisi de raporlamayı etkiler. Bilgisi olmayanları dışarıda bırakıp kalanlar arasında yüzde 80 destek bulmak, bütün çalışanların yüzde 80’inin desteklediği anlamına gelmez. Rapor hem görüş bildirenler içindeki oranı hem de görüş bildirmeyenlerin toplamdaki payını göstermeli.
Referans noktası: Aynı sonuç, iki karar
Plous’un kitabının altıncı bölümü soru ifadesinden çerçevelemeye geçer [1]. Buradaki klasik örnek, Amos Tversky ve Daniel Kahneman’ın 1981’de Science’ta yayımladığı salgın senaryosu. 600 kişinin ölmesi beklenen bir salgın için iki program arasında seçim yapılacak. Seçenekler kurtarılacak kişiler üzerinden anlatıldığında, kesin olarak 200 kişinin kurtulacağı programı katılımcıların yüzde 72’si seçti. Aynı sonuçlar ölecek kişiler üzerinden anlatıldığında, kesin olarak 400 kişinin öleceği program yüzde 22’de kaldı ve riskli seçenek yüzde 78’e çıktı. İki anlatım matematiksel olarak eşdeğer [16].
Tversky ve Kahneman bunu beklenti kuramıyla açıkladı: İnsanlar sonuçları mutlak düzeyleriyle değil, bir referans noktasına göre kazanç ya da kayıp olarak değerlendirir, kazançta riskten kaçar, kayıpta risk arar [16]. Deney “herkes kayıpta risk sever” diye okunmamalı. Belirli bir varsayımsal senaryoda, farklı gruplar arasında, tercihin sunuluş biçimiyle değişebildiğini gösteriyor. Tversky ve Kahneman da karar çerçevesinin problemin sunuluşu kadar kişinin alışkanlıklarına ve özelliklerine de bağlı olduğunu belirtir [16].
Bu etkinin deneyimsiz öğrencilere özgü olduğunu düşünmek cazip. Barbara McNeil, Stephen Pauker, Harold Sox ve Amos Tversky 1982’de New England Journal of Medicine’de yayımladıkları çalışmada benzer bir seçimi 238 hastaya, 491 lisansüstü öğrenciye ve 424 hekime sordu. Katılımcılardan akciğer kanseri olduklarını varsayıp ameliyat ile radyoterapi arasında seçim yapmaları istendi. Araştırma sonuçlarına göre veriler hayatta kalma oranlarıyla sunulduğunda radyoterapiyi seçenler yüzde 18, ölüm oranlarıyla sunulduğunda yüzde 44 oldu. Etki hekimlerde de ortadan kalkmadı [17].
Hekimler bu sayıları her gün kullanıyor ve yüzde 90 hayatta kalma ile yüzde 10 ölümün aynı şey olduğunu biliyor. Bilmek yetmiyor. Uzmanlık hesabı doğru yapmayı sağlıyor, ama bilginin nasıl hissettirdiğini kendiliğinden düzeltmiyor.
Sahaya taşırken bir uyarı gerekiyor. “Bu eğitim bütçesiyle 200 yöneticinin yetkinliği artacak” ile “Eğitim yapılmazsa 400 yönetici bu yıl kapsam dışında kalacak” cümleleri ancak belirli varsayımlar altında aynı durumu anlatır. Gerçek durumlarda programın kapsamı, yöneticilerin başlangıç düzeyi ve sonuç ölçütü değişebilir. Deneyden öğrenilecek şey, sahadaki iki cümleyi gelişigüzel eşdeğer ilan etmek olmamalı. Önce sayıları ve “yapılmazsa ne olur” varsayımını doğrulamak, sonra hangi anlatımın dikkati nereye taşıdığını incelemek gerekir.
Yanıtlar neden şekilleniyor?
Plous bulguları derler, ama neden böyle olduğunu açıklayan kuramlar karar ve anket araştırmacılarından geldi.
Baruch Fischhoff, Paul Slovic ve Sarah Lichtenstein 1980’de, insanların pek çok konuda hazır ve kararlı değerlere sahip olmadığını, değerlerin ancak soru sorulduğunda ve sorulduğu biçimde belirginleştiğini savundu [18]. Slovic 1995’te bu fikri tercihlerin inşası kavramıyla genişletti: Tercihler çoğu durumda zihinde hazır bekleyen şeyler değil, ortaya çıkarma sürecinde kurulan şeylerdir [19]. Timothy Wilson ve Sara Hodges da tutumları, kişinin o an erişebildiği bilgiden kurulan geçici yapılar olarak ele aldı [20].
John Zaller ve Stanley Feldman’ın 1992’de önerdiği model bu yazıdaki bulguların çoğunu tek bir mekanizmaya bağlıyor. Onlara göre insanların çoğu konuda tek bir görüşü yoktur, birbiriyle çelişebilen birden çok değerlendirmesi vardır. Soru sorulduğunda kişi bunlardan o an akla gelenleri örnekler ve yanıtını bu örneklemin ortalamasına göre verir [21]. Muhabir deneyi bu modelle şaşırtıcı olmaktan çıkıyor: Kişide hem komünizme karşı tavır hem karşılıklılık normu var, hangisinin örnekleneceğini soru sırası belirliyor.
Roger Tourangeau, Lance Rips ve Kenneth Rasinski yanıt sürecini dört aşamaya ayırır: Soruyu anlama, ilgili bilgiyi bellekten çağırma, bir yargı oluşturma ve yargıyı sunulan yanıt biçimine yerleştirme [22]. Bu yazıdaki bulgular bu aşamalara dağıtılabilir. Rugg’ın fiilleri ve “iyi iş” sözcüğü anlama aşamasına, muhabir ve flört deneyleri çağırma aşamasına, salgın ve kanser çerçeveleri yargı aşamasına, ölçek aralıkları ve numaralandırma yerleştirme aşamasına dokunuyor. Bu dağılımın pratik bir faydası var: Bir anketi denetlerken dört ayrı yere bakmanız gerektiğini gösteriyor.
Her şey plastik değil
Şekillenebilirlik kolayca abartılabilir. “Madem soru yanıtı etkiliyor, herkes her şeye ikna edilebilir” sonucu bulguların desteklediğinden çok daha geniş.
Etkiler herkeste aynı büyüklükte değil. Jon Krosnick ve Richard Petty’nin derlediği tutum gücü araştırmalarına göre, kişinin önemsediği, üzerine düşündüğü ve bilgi sahibi olduğu konularda tutumlar bağlam etkilerine ve ikna girişimlerine karşı daha dirençli [23]. Plous da insanların aşina oldukları konularda yanıtlarının genellikle daha az değiştiğini belirtir [1]. Yıllardır bir ücret adaletsizliğini gözleyen çalışanın görüşünü tek bir sözcükle tersine çevirmek beklenmez. Ama sorunun hangi olayı hatırlattığı ve kişinin kendini ne kadar güvende hissettiği, yanıtın düzeyini etkileyebilir.
Bazı etkilerin büyüklüğü tekrar çalışmalarında küçüldü. Yaşam doyumu ve soru sırası örneğinde [10], muhabir deneyinin otuz yıllık seyrinde ve Rugg asimetrisinin farklı çalışmalardaki değişkenliğinde bunu gördük. Tek bir çarpıcı deneyden bütün ölçümlere genelleme yapmak, plastisite kavramının kendisine yapılmış bir haksızlık olur.
Bir anket sonucunu yorumlarken iki uçtan kaçınmak gerekiyor: Yanıtı değişmez bir iç gerçeğin saf ifadesi saymak ve yanıtın hiçbir bilgi taşımadığını düşünmek. Kurumların işine yarayan, yanıtların koşullu bilgi taşıdığını kabul etmek. “Bu anketin bu tarihte, bu cümleyle ve bu seçeneklerle ölçtüğü değerlendirme” daha uzun bir ifade, ama daha güvenilir bir başlangıç.
Çalışan anketi: İki ölçüm arasında ne değişti?
Buradan sonraki örneklerin bir kısmı doğrudan deney sonucu değil, yukarıdaki bulgulardan kurumsal uygulamaya yapılmış çıkarımlar. Her birinin kurum içinde ne büyüklükte bir etki yaratacağı ancak test edilerek bilinebilir.
Bir çalışan deneyimi anketinde geçen yıl güven puanı 73, bu yıl 66 çıktı. İlk toplantıda yönetim bunun hangi olaydan kaynaklandığını konuşuyor. Anket aracı açılınca geçen yıl “Yöneticim verdiği sözü tutar”, bu yıl “Üst yönetim verdiği sözü tutar” cümlesinin kullanıldığı görülüyor. Değerlendirilen kişi değişmiş. Bu farkı yıllık düşüş diye adlandırmak, ölçülen nesnenin değiştiğini gizler.
Daha küçük bir düzenleme de anlamlı olabilir. “Birimimde alınan kararlara katılabiliyorum” ile “Birimimde alınan önemli kararlara katılabiliyorum” farklı deneyimleri çağırır. İlkinde haftalık iş planı, ikincisinde bütçe ya da yeniden yapılanma akla gelebilir. İki yılın sütunlarını aynı grafiğe koymadan önce soru metinleri satır satır karşılaştırılmalı. Ölçek beş basamaktan dörde indiyse ya da “kararsızım” seçeneği kalktıysa farkın bir kısmı yine yöntemden gelebilir. Genel güven sorusundan hemen önce bu yıl ilk kez işten çıkarma ve ücret adaleti soruları eklendiyse, Pew’in ve Strack’ın gösterdiği türden bir sıra etkisi de hesaba katılmalı.
Yöntem aynı kalsa bile bağlam değişebilir. Büyük bir işten çıkarma duyurusunun ertesi günü ölçülen güven ile sakin bir dönemde ölçülen güven, kurumun gerçekten farklı iki dönemini yansıtabilir. Bunu soru hatası diye silmek de yanlış olur. Olay takvimini ve uygulama tarihini grafiğin yanına koymak gerekir.
Kötü yazılmış bir soruyu sırf seri bozulmasın diye sonsuza kadar korumak da iyi yöntem sayılmaz. Değişiklik gerektiğinde eski ve yeni soru bir dönem birlikte kullanılabilir. Katılımcılar rastgele iki gruba bölünür ve iki biçimin ne kadar farklı yanıt ürettiği görülür. Rugg’ın 1941’de kullandığı bölünmüş form yöntemi bugün her anket aracında birkaç dakikada kurulabiliyor. Tek uyarı, grupları departman, kıdem ya da çalışma biçimine göre farkında olmadan ayırmamak. Aksi hâlde soru etkisi sanılan fark, grupların farklı deneyimlerinden gelebilir.
Pilot uygulamada katılımcılara yalnızca “Soru anlaşıldı mı?” diye sormak yetmez. “Bu soruyu yanıtlarken aklınıza hangi durum geldi?”, “Buradaki ‘yönetici’ ile kimi düşündünüz?”, “İki seçenek arasında kalınca ne yaptınız?” gibi sorular, araştırmacının kastettiği anlam ile çalışanın anladığı anlam arasındaki farkı ortaya çıkarır. Matris yapılar da sorun yaratabilir: Hem proje hem fonksiyon yöneticisine raporlayan birinin “yöneticim” derken kimi kastettiği belirsizdir. “Yaşamadım”, “bilmiyorum” ve “yanıtlamak istemiyorum” da birbirinden farklı durumlar. Hepsini orta seçenekte toplamak ölçme açısından rahat, yorum açısından pahalı.
Raporda sorunun tam metni, seçenekler, hemen önceki sorular, örneklem ve yanıt oranı yer almalı. Yalnızca skoru paylaşmak, skoru üreten koşulları görünmez kılar. Birimler arası sıralama cazip gelebilir, ama çalışanların yöneticilerine eleştiri yöneltebilme güvenliği birimden birime farklıysa “olumlu” oranları doğrudan karşılaştırmak ayrıca dikkat ister.
Mülakat: Adayın yanıtını kim yazıyor?
Bir işe alım mülakatı, yüz yüze yürütülen bir ankettir. Sorular vardır, bir sıra vardır, bir puanlama ölçeği vardır. Tek fark, anketi yazan ile yanıtları puanlayan kişinin çoğu zaman aynı kişi olması ve soruların görüşme sırasında, adaya dair oluşmaya başlamış bir izlenimle birlikte seçilmesi. Plastisitenin en az denetlendiği ölçüm ortamı belki de burası.
Mark Snyder ve William Swann 1978’de bu süreci deneysel olarak inceledi. Katılımcılara karşılarındaki kişinin dışadönük olup olmadığını ya da içedönük olup olmadığını sınamaları söylendi ve bir listeden soracakları soruları seçmeleri istendi. Araştırma sonuçlarına göre katılımcılar sınayacakları hipotezi doğrulamaya yatkın soruları seçti. Dışadönüklük hipotezini alanlar, örneğin bir partiyi canlandırmak için ne yapacağını soran türden sorulara yöneldi. Daha çarpıcı olanı, bu soruların görüşmeyi yönlendirmesi ve karşıdaki kişinin yanıtlarının hipotezi davranışsal olarak da doğrular hâle gelmesiydi [24]. Partide ne yaptığı sorulan kişi, parti anlatır. Yanıt, sorunun kurduğu sahnede üretilmişti.
Bu deneyin yöntemine itiraz da yapıldı. Katılımcılar hipotezi kendileri kurmamış, onlara bir görev olarak verilmişti. Görevi yerine getirmek için o soruları seçmeleri, gerçek bir inancı sınarken aynı şeyi yapacakları anlamına gelmeyebilirdi [25]. Bu yüzden saha verisi önemli. Thomas Dougherty, Daniel Turban ve John Callender 1994’te bir şirkette üç mülakatçının gerçek adaylarla yaptığı 79 görüşmenin ses kayıtlarını inceledi. Mülakatçılar görüşmeden önce başvuru formu ve test puanlarına bakarak bir ilk izlenim oluşturmuştu. Araştırma sonuçlarına göre ilk izlenim, görüşme sırasındaki davranışla ilişkiliydi: Olumlu izlenim bıraktığı adaylara mülakatçılar daha sıcak davrandı, şirketi ve işi “satmaya” daha çok zaman ayırdı ve adaydan daha az bilgi topladı [26]. Değerlendirme, görüşme başlamadan kısmen yapılmış ve görüşme onu sınamak yerine onaylamaya dönüşmüştü.
Bu iki çalışmayı birlikte okuyunca mülakattaki plastisitenin iki kaynağı ayrışıyor. Birincisi sorunun kendisi. “Önceki işinizdeki en büyük başarısızlığınız neydi?” sorusu bir başarısızlığın varlığını varsayar ve adayı kayıp çerçevesine yerleştirir. “Ekibinizi zor bir dönemde nasıl motive ettiniz?” sorusu hem zor bir dönemin yaşandığını hem de adayın motive ettiğini peşinen kabul eder. Aday bu varsayımlara itiraz etmek yerine genellikle onlara uyan bir hikâye kurar. Loftus’un deneyinde fiilin belleği yeniden yazdığını hatırlarsak, geçmiş davranışa dair sorularda bu hikâyenin bir kısmı o an yeniden inşa ediliyor da olabilir.
İkincisi soruyu seçen kişinin kafasındaki hipotez. Özgeçmişte “güçlü lider” izlenimi edinen mülakatçı liderliği doğrulayan sorular sorar, zayıf bir izlenim edinen mülakatçı eksiği arayan sorular. İki aday aynı niteliklere sahip olsa bile farklı sorulara yanıt verip farklı puanlar alabilir.
Personel seçimi araştırmalarında bu sorunun en işe yarar yanıtı yapılandırılmış mülakat. Paul Sackett ve arkadaşlarının 2022’de Journal of Applied Psychology’de yayımladığı ve önceki meta-analizleri yeniden değerlendiren çalışmada, yapılandırılmış mülakatlar iş performansını öngörmede en yüksek ortalama geçerliliğe sahip seçme yöntemi olarak öne çıktı. Yapılandırılmış mülakatın geçerlilik katsayısı 0,42, yapılandırılmamış mülakatınki 0,19 olarak hesaplandı [27]. Aynı çalışma bir uyarı da içeriyor: Yapılandırılmış mülakatların geçerliliği çalışmadan çalışmaya belirgin biçimde değişiyor. Araştırmacıların hesapladığı güvenilirlik aralığı kabaca 0,18 ile 0,66 arasında [27]. “Yapılandırılmış mülakat yapıyoruz” demek, onun nasıl yapıldığını söylemiyor.
Plastisite açısından yapılandırmanın ne yaptığını görmek önemli. Yapılandırma soru etkisini ortadan kaldırmaz. Her adaya aynı soruları, aynı sırayla, aynı puanlama ölçütleriyle sorarak herkesi aynı soru mimarisine yerleştirir. Böylece adaylar arasındaki fark, mülakatçıların farklı sorularından değil adayların kendisinden gelmeye başlar. Anketlerde soru metnini yıllar arasında dondurmanın mantığı neyse, mülakatta soru setini adaylar arasında sabitlemenin mantığı da o.
Yetenek değerlendirmesinin diğer araçları da aynı soruları hak ediyor. Performans ve potansiyel değerlendirme formlarındaki puanlama ölçekleri, Schwarz ve arkadaşlarının gösterdiği numaralandırma etkisine açık [12]. “1 - Beklentinin çok altında” ile başlayan bir ölçek ile “-2 - Beklentinin çok altında” ile başlayan bir ölçek, değerlendiricilere aynı şeyi söylemeyebilir. Bu, 1991 deneyinden yapılmış bir çıkarım. Kurumunuzun formunda ne büyüklükte bir etki yaratacağı ancak denenerek görülebilir. Adayların kendi hakkında doldurduğu envanterlerde ise ayrı bir çerçeve devrede: Plous’un altıncı bölümde ele aldığı sosyal beğenirlik etkisi [1]. “Baskı altında sakin kalırım” ifadesine işe alım sürecindeki bir aday ile gelişim programındaki bir çalışan aynı soruyu farklı bir sahnede yanıtlar. Birincisi kendini seçilmeye aday olarak, ikincisi kendini tanımaya çalışan biri olarak konumlar.
Bu bulgulardan birkaç uygulama çıkıyor. Soru setini görüşmeden önce yazmak ve her adaya aynı sırayla sormak. Soruları varsayım içermeyecek biçimde kurmak: “Ekibinizi zor bir dönemde nasıl motive ettiniz?” yerine “Ekibinizin performansının düştüğü bir dönemi anlatır mısınız? Siz ne yaptınız, sonuç ne oldu?” Her yanıtı görüşmenin sonunda genel bir izlenimle değil, o yanıttan hemen sonra önceden tanımlanmış ölçütlerle puanlamak. Mülakatçının, özgeçmişi okuduktan sonra oluşan ilk izlenimini yazıya geçirmesi ve bilinçli olarak en az bir soruyu bu izlenimi çürütebilecek biçimde sorması. Mümkünse iki mülakatçının puanları birbirinden bağımsız vermesi. Bunların hiçbiri mülakatı bir laboratuvar deneyine çevirmez. Ama adayın yanıtının ne kadarının adaya, ne kadarının soruya ait olduğunu ayırt etme şansını artırır.
Toplantıda ve müzakerede ilk soru
Bir şirketin satışları düşüyor. Yönetim toplantısı “Satış ekibinin performansını nasıl yükseltiriz?” sorusuyla açılıyor. Yanıtlar teşvik, hedef, eğitim ve denetim etrafında toplanıyor. Oysa düşüşün bir kısmı teslimat gecikmelerinden, fiyat değişiminden ya da müşteri segmentinin kaymasından geliyor olabilir. İlk soru, sonraki seçeneklerin sınırını çizdi.
“Satışın hangi aşamasında kayıp oluşuyor?” ya da “Hiç eğitim vermesek hangi operasyonel değişiklik sonucu etkilerdi?” gibi sorular başka varsayımları sınar. Amaç bütün soruları aynı anda sormak değil, tek bir açıklamaya kapanmadan önce en güçlü rakip açıklamaları masaya koymak.
“Ekibimiz kararları yavaş alıyor” cümlesi de toplantı tutanağına girdiğinde herkesin aynı sorunu tarif ettiği varsayılır. Satış yöneticisi fiyat onayının üç gün sürmesini, İK yöneticisi kadro talebinin iki kuruldan geçmesini, operasyon yöneticisi verilerin geç hazırlanmasını düşünüyor olabilir. “Karar hızını nasıl artırırız?” sorusu üç farklı gecikmeyi aynı torbaya atar. “Hangi karar? Başlangıç ve bitiş noktası ne? Beklemenin ne kadarı onay, ne kadarı bilgi toplama?” soruları soyut yakınmayı denetlenebilir bir sürece çevirir.
Müzakerede de benzer bir disiplin gerekir. “Bu fiyatı kabul etmezlerse ne kaybederler?” sorusu karşı tarafın kaybına odaklanır. “Bu fiyat hangi maliyeti, riski ve süreyi karşılıyor?” sorusu teklifin gerekçesini inceler ve belki de dayanağındaki boşluğu gösterir. Çerçeveleme yalnızca karşı tarafın tercihlerini yönetmek için kullanıldığında kendi varsayımlarımız denetimsiz kalır.
Soruyu yazanın gücü
Yanıt soruyla birlikte üretiliyorsa, soruyu yazan kişi sonucun ortak yazarıdır. Bu durum kötü niyet gerektirmez. Rugg’ın katılımcılarını yönlendirmek isteyen kimse yoktu. Bir araştırmacı “izin vermek” fiilini seçti, bir başkası “yasaklamak” fiilini seçebilirdi. İkisi de makul ve tarafsız görünüyordu. Dougherty ve arkadaşlarının incelediği mülakatçılar da adayları kasıtlı olarak kayırmıyordu. İlk izlenimlerini fark etmeden görüşmeye taşıyorlardı.
Soru biçiminin yanıtı etkileyebildiğini bilmek iki amaca hizmet edebilir. Biri daha temiz ölçmek: Yüklü sözcükleri ayıklamak, seçenekleri dengelemek, sırayı test etmek. Diğeri istenen yanıtı almak: Alternatifleri daraltmak, olumsuz çağrışımı güçlendirmek, önce destekleyici bir hikâye anlatıp ardından onay istemek. Aynı bilgi, iki farklı niyete hizmet eder.
Tamamen tarafsız bir soru yok, çünkü her soru bir sözcük, bir sıra ve bir ölçek seçmek zorunda. Ulaşılabilir hedef, bu seçimin bilinçli yapılması, belgelenmesi ve raporda görünür kılınması. En sık rastlanan tuzak, yanıtı soruya gömmek. “Yeni esnek çalışma modelinin ekip verimliliğini artırdığını düşünüyor musunuz?” sorusu bir sonucu önceden kabul edip çalışandan onay ister. “Yeni esnek çalışma modeli ekibinizin verimliliğini nasıl etkiledi?” sorusu ise etkinin yönünü çalışana bırakır. İlk sorudan çıkan yüksek bir oran, yönetime iyi haber gibi sunulabilir. Ama o oranın ne kadarının modelden, ne kadarının sorunun kendisinden geldiğini kimse bilemez.
Önce soruyu okumak
Bir sonraki araştırma raporunda “çalışanlar istemiyor”, “müşteriler memnun” ya da “yöneticiler hazır” gibi bir cümle gördüğünüzde, ilk talep sayıların daha büyük puntoyla yazılması olmasın. Sorunun tam metnini, seçenekleri ve hemen öncesinde ne sorulduğunu isteyin. Katılımcıların konuya aşina olup olmadığını, “fikrim yok” diyenlerin paydaya girip girmediğini, sonucun başka ifadelerle sınanıp sınanmadığını sorun. Bir aday hakkındaki mülakat raporunu okurken de aynısını yapın: Hangi sorular soruldu, her adaya aynı sorular mı soruldu, puan hangi ölçüte göre verildi?
Farklı biçimler birbirine yakın yanıtlar üretiyorsa ölçüme güveniniz artabilir. Uzaklaşıyorlarsa bu farkı gizlemek yerine incelemek gerekir. Belki sözcük ölçülen kavramı değiştirmiştir. Belki seçenekler unutulmuş bir deneyimi hatırlatmıştır. Belki de kişinin henüz yerleşmiş bir tutumu yoktur. Her olasılık farklı bir araştırma ve farklı bir karar gerektirir.
Bir yanıtın koşullu olması onu değersiz kılmaz, daha dikkatli okunmasını gerektirir. Çalışanlara ve adaylara sorduğumuz sorular, ne düşündüklerini öğrenme girişimimizin parçası. Aynı zamanda hangi düşüncenin dile gelebileceğini belirleyen ortamın da parçası. İyi bir çalışan araştırması, iyi bir mülakat ve iyi bir yönetim toplantısı bu ikinci gerçeği gözden kaçırmaz.
Bu yazılar da ilginizi çekebilir
Kaynakça
[1] Plous, S. (1993). The Psychology of Judgment and Decision Making. New York: McGraw-Hill. Özellikle Bölüm 5, “Plasticity” ve Bölüm 6, “The Effects of Question Wording and Framing”. | [2] Rugg, D. (1941). Experiments in wording questions: II. Public Opinion Quarterly, 5(1), 91–92. | [3] Hippler, H.-J. ve Schwarz, N. (1986). Not forbidding isn’t allowing: The cognitive basis of the forbid-allow asymmetry. Public Opinion Quarterly, 50(1), 87–96. | [4] Loftus, E. F. ve Palmer, J. C. (1974). Reconstruction of automobile destruction: An example of the interaction between language and memory. Journal of Verbal Learning and Verbal Behavior, 13(5), 585–589. | [5] Hughes, A. ve Jones, B. (2019). ‘Good jobs’ vs. ‘jobs’: Survey experiments can measure the effects of question wording – and more. Pew Research Center. | [6] Hyman, H. H. ve Sheatsley, P. B. (1950). The current status of American public opinion. J. C. Payne (Ed.), The Teaching of Contemporary Affairs içinde (s. 11–34). Washington, DC: National Council for the Social Studies. | [7] Schuman, H. ve Presser, S. (1981). Questions and Answers in Attitude Surveys: Experiments on Question Form, Wording, and Context. New York: Academic Press. | [8] Tyson, A. ve Doherty, C. (2013, 20 Aralık). Polling on the deficit: Why question order matters. Pew Research Center. | [9] Strack, F., Martin, L. L. ve Schwarz, N. (1988). Priming and communication: Social determinants of information use in judgments of life satisfaction. European Journal of Social Psychology, 18(5), 429–442. | [10] Schimmack, U. ve Oishi, S. (2005). The influence of chronically and temporarily accessible information on life satisfaction judgments. Journal of Personality and Social Psychology, 89(3), 395–406. | [11] Schwarz, N., Hippler, H.-J., Deutsch, B. ve Strack, F. (1985). Response scales: Effects of category range on reported behavior and comparative judgments. Public Opinion Quarterly, 49(3), 388–395. | [12] Schwarz, N., Knäuper, B., Hippler, H.-J., Noelle-Neumann, E. ve Clark, L. (1991). Rating scales: Numeric values may change the meaning of scale labels. Public Opinion Quarterly, 55(4), 570–582. | [13] Pew Research Center. (t.y.). Writing survey questions. Yöntem açıklaması. | [14] Hartley, E. L. (1946). Problems in Prejudice. New York: King’s Crown Press. | [15] Bishop, G. F., Oldendick, R. W., Tuchfarber, A. J. ve Bennett, S. E. (1980). Pseudo-opinions on public affairs. Public Opinion Quarterly, 44(2), 198–209. | [16] Tversky, A. ve Kahneman, D. (1981). The framing of decisions and the psychology of choice. Science, 211(4481), 453–458. | [17] McNeil, B. J., Pauker, S. G., Sox, H. C. ve Tversky, A. (1982). On the elicitation of preferences for alternative therapies. New England Journal of Medicine, 306(21), 1259–1262. | [18] Fischhoff, B., Slovic, P. ve Lichtenstein, S. (1980). Knowing what you want: Measuring labile values. T. S. Wallsten (Ed.), Cognitive Processes in Choice and Decision Behavior içinde (s. 117–141). Hillsdale, NJ: Erlbaum. | [19] Slovic, P. (1995). The construction of preference. American Psychologist, 50(5), 364–371. | [20] Wilson, T. D. ve Hodges, S. D. (1992). Attitudes as temporary constructions. L. L. Martin ve A. Tesser (Ed.), The Construction of Social Judgments içinde (s. 37–65). Hillsdale, NJ: Erlbaum. | [21] Zaller, J. ve Feldman, S. (1992). A simple theory of the survey response: Answering questions versus revealing preferences. American Journal of Political Science, 36(3), 579–616. | [22] Tourangeau, R., Rips, L. J. ve Rasinski, K. (2000). The Psychology of Survey Response. Cambridge: Cambridge University Press. | [23] Krosnick, J. A. ve Petty, R. E. (1995). Attitude strength: An overview. R. E. Petty ve J. A. Krosnick (Ed.), Attitude Strength: Antecedents and Consequences içinde (s. 1–24). Mahwah, NJ: Erlbaum. | [24] Snyder, M. ve Swann, W. B. (1978). Hypothesis-testing processes in social interaction. Journal of Personality and Social Psychology, 36(11), 1202–1212. | [25] Semin, G. R. ve Strack, F. (1980). The plausibility of the implausible: A critique of Snyder and Swann (1978). European Journal of Social Psychology, 10(4), 379–388. | [26] Dougherty, T. W., Turban, D. B. ve Callender, J. C. (1994). Confirming first impressions in the employment interview: A field study of interviewer behavior. Journal of Applied Psychology, 79(5), 659–665. | [27] Sackett, P. R., Zhang, C., Berry, C. M. ve Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(11), 2040–2068.
Yorumlar