• Psikometrikler tanımsız psikolojik durumlar ve özellikleri rakamsal olarak temsil eder.
• Psikometri sürecin başlatmak için öncelikli olarak bir yapı (construct) tanımlanması gerekir. Bir yapı bir oyuncunun ya da oyunun ölçülemez bir karakteristiğidir. (Örneğin, bir oyuncunun RPG oyunlara olan yakınlığı, bir oyunun oyuncusunda oluşturabildiği davranış değişiklikleri.)
• Yapılar ölçülemez olduğundan, önce operasyonel hale gelmeleri gerekmektedir. Operasyonelleştirmenin (operationalization) amacı yapının mümkün olduğu kadar benzeri bir temsili değeri ölçmektir.
• Operasyonel tanımlar, yapıları ölçmemize yardımcı olan kesin ve nesnel tanımlardır.
• Yapılar arasındaki ilişkilere genel olarak teori, operasyonel tanımlar arasındaki ilişkilere de genel olarak hipotez diyoruz.
• Çoğu durumda yapılar arasındaki ilişkiler ölçülemez olduğundan teorileri doğrudan test edemeyiz. Bunun yerine operasyonel tanımlar arasındaki ilişkileri test ederiz. Eğer operasyonel tanımlar arasında istatistiksel bir bağlantı bulabilirsek hipotezimizin teori ile uyumlu olduğunu düşünürüz ki, bu da teorimizin doğru olduğuna dair kanımızı arttırır.

• Geleneksel sınav kuramı (classical test theory) tüm bu soruların yanıtlarının temelidir. Geleneksel sınav kuramına göre tüm ölçülen sonuçlar iki bölümden oluşur: gerçek sonuç (true score) ve hata payı (error).
• Operasyonel tanım değeri = Yapı değeri + Yapının ölçülmesinde yapılan hata (X=T+e)
• Örnekleme çalışmayı gerçekleştirdiğiniz grubun (örneklem) topluluğun tamamını ne kadar temsil ettiğidir.
• Genelde “oyuncuların tamamı” hakkında sonuç çıkarmak isteriz ancak araştırmamızı üniversitemizden ya da yerel oyuncu grubumuzdan ulaşabildiğimiz 100 kişi ile (örneklem) yapabiliriz.
• Örnekleme değeri = Örneklem değeri + Örneklemin seçilmesinde yapılan hata

Her hafta kaç saat video oyunu oynuyorsunuz?

Bu tek sorunun ne kadar hata barındırdığını bilmiyoruz. Eğer X = T + e ise, bu soruya verilmiş her yanıtta hem T hem de e olacaktır. Hatayı oluşturabilecek kısım “video oyunu” tanımıdır. Her bir katılımcının bu tanımı aynı şekilde anlayacağını nasıl bileceğiz? Bilmemiz mümkün görünmüyor. Hatayı azaltmak için soruyu birkaç şekilde sorabiliriz, örneğin:

Her hafta kaç saat video oyunu oynuyorsunuz?
Her hafta kaç saat mobil oyun oynuyorsunuz?
Her hafta kaç saat konsol oyunu oynuyorsunuz?
Her hafta kaç saat taşınabilir konsol oyunu oynuyorsunuz?

Birden fazla soru sorup bu 4 sorunun ortalamasını alarak e’nin etkisini azaltabiliriz. Bazı katılımcılar çok daha uzun mobil oyun oynarken, daha az konsol oyunu oynamış olacaklardır. Böylece anketimizin gerçek sonuca yaklaştığını düşünebiliriz.

Araştırmanın sonucunda mobil oyun ve taşınabilir konsol oyunu sorularının yanıtlarını ilişkili olduğunu bulabiliriz. Bu bağlamda daha iyi ölçüm için bunları birleştirmemiz gerekebilir. Bu iteratif ölçü arıtma yöntemini titiz kantitatif sonuçlara ulaşmak için gerçekleştirmeliyiz. Farklı alanlardan gelen ve bu şeilde hazırlanan hazır ölçekler de uygun olduğunda kullanılabilir. Çoğunlukla geniş çalışmalardan önce psikometrikleri belirlemek için pilot çalışmalar yapılır. Kantitatif sonuçlar için genelde tek tanımlık ölçekler uygun değildir, keza tek tanımlık ölçekler yapıları nesnel ve hatasız tanımlayamazlar.

• Operasyonel tanımlarımızın her seferinde aynı şeyi ölçtüğünden nasıl emin olabiliriz?
• Genel olarak güvenilirlik ölçümdeki tutarlılığı ifade eder. Bunu değerlendirme için önce gerçek sonucun hangi kısmının sabit kalması gerektiği belirlenmeli ve buradan da gözlenen sonucun hangi kısmının hata kabul edilebileceği bulunmalıdır.
• Genel bir kural olarak araştırmalardaki güvenirlilik katsayısı 0.70 olarak kabul edilmiştir. Pratikte bu gözlemlenen sonuçlardaki varyansın sadece %70’inin gerçek sonucun varyansı ile açıklanabileceği anlamına gelir – ki aslında çok yüksek değildir. Ölçümünüzün güvenilirliği ne kadar düşükse, istatistiksel bir anlam bulmak için örnekleminizin o kadar yüksek olması gerekir. Genel olarak 0.90’ın üstüne çıkmak amaçtır ancak 0.80 de yüksek bir ortalama sonuca işaret eder.
• Test-yeniden test güvenilirliği (test-retest reliability) tek bir operasyonel tanımın zaman içinde tutarlı olmasını bekliyorsanız kullanılması uygun bir güvenilirlik yöntemidir. Eğer yapı ölçeğinin doğru yanıtları varsa test-yeniden test güvenilirliği kullanılabilir.
• Değerleyici güvenilirliği (inter-rater reliability) aynı yapının birden fazla bağımsız operasyonel tanımı arasındaki güvenilirliği test etmek için kullanılır. Genel olarak bireyler aynı davranışı farklı şekilde rakamsal ifade ediyorlarsa geçerlidir. (Örneğin bir çocuğun grup oyunları içinde ne kadar antisosyal davrandığını ölçmek istiyoruz. Bunu ölçmek için üç kişiye çocuğu izlemelerini ve 1-5 arasında ne kadar antisosyal davrandığını notlamalarını isteriz. Sadece tek bir değerleyicinin karar vermesini istemeyiz, çünkü taraflı olabilir.)
• İç tutarlılık güvenilirliği (internal consistency reliability) en çok kullanılan değerlendirme formudur ve genelde anket tarzı ölçekleriniz varsa uygundur. İç tutarlılık güvenilirliğini ölçmek için pek çok yol vardır, ancak en yaygını Cronbach alfa (α) istatistiğidir. Çok basitçe söylemek gerekirse, alfa tüm ölçeklerin arasındaki korelasyonun ortalamasıdır.

• Güvenilirlik belirlendikten sonra operasyonel tanımlarımızın birşeyi ölçtüğünden emin olabiliriz, ancak henüz neyi ölçtüğümüzden emin olamayız.
• Operasyonel tanımlarımızın tanımladığını düşündüğümüz yapıları ölçtüğünden nasıl emin olabiliriz?
• Güvenilirlik istatistiksel olarak test edilebilir, yapısal tutarlılık ise edilemez. Bunun nedeni yapılan direkt olarak neyi temsil ettiklerini bilemememizdir, ölçünün geçerliliğini istatistiksel testlerden değil delillerden çıkarırız.
• Yapısal tutarlılık ile ilgili deliller farklı metodlarla elde edilebilir. Tarihsel olarak bunları üç başlığa toplayabiliriz; yapısal tutarlılık, içeriksel tutarlılık ve kriter tutarlılığı. Ancak 1999’dan sonra bu üç konsept basitleştirilerek yapısal tutarlılık olarak belirlenmiştir.
• İçeriksel tutarlılık bu alandaki testleri oluşturan profesyonellere güvencimizden oluşur. Örneğin bir içerik ile ilgili ölçek oluştururken içerik ile ilgili profesyonellere fikirleri sorar, ölçeği oluşturur, daha sonra aynı profesyonellere yeniden sorarak bu ölçütün yapıdan anladıklarını ölçüp ölçemeyeceğini değerlendirmelerini isteriz.
• Yapısal tutarlılık için delil oluşturan en genel yaklaşımlardan bazıları keşfedici faktör analizi (exploratory factor analysis) ve doğrulayıcı faktör analizidir (confirmatory factor analysis). Bu analizler yapıların etkilerini açıklayan güçlü metodlardır.
• Bir yapının çevresindeki diğer yapılar, o yapının mazisinin, bileşenleri ve sonuçları, o yapının nomolojik ağını oluşturur.

• Hipotezleri, kabul edilebilir teori testleri olarak nasıl sınayabiliriz?
• Araştırma planı belli bir bilimsel sorunun yanıtını bulmak için yapılacak olan çalışmanın metodolojisini belirler.
• Operasyonel tanımlarımızı belli bir çalışmanın içine aldığımızda bunlara değişken diyoruz.
• Araştırma tasarımının en önemli sorularından biri araştırmanın özneler-arası (between-subjects) mı yoksa özneler-içi (within-subjects) mi olacağıdır. Özneler-arası araştırmalarda katılımcılar birbirileri ile kıyaslanır. Özneler-içi araştırmalarda ise katılımcılar kendileri ile karşılaştırılırlar. Bu stratejinin belirlenmesi araştırma sorunuza bağlıdır. (Örneğin oyuncuların belli bir oyunu oynadıkça uzmanlaşıp uzmanlaşmadığına bakmak istiyorsanız özneler-içi bir strateji kullanmalısınız. Eğer oyuncuların bir oyundaki tecrübelerinin farklılaşmasının diğer oyunlara yaklaşımlarını değiştirip değiştirmediğini bilmek isterseniz özneler-arası bir strateji kullanmalısınız. Her iki stratejiyi aynı anda kullanmaya ise karışık model diyoruz.
• Araştırmacılar genellikle bir yapıdaki değişikliğin diğer başka bir yapıyı etkileyip etkilemediğini bilmek ister. Ancak bunu iddia etmesi için üç kuralın yerine gelmesi gerekir:
1. Kovaryasyonu sağlamak için iki değişken birbiri ile ilintili olmalı.
2. Zamansal Öncelik (temporal precedence) etkinin sonuçtan önce gelmesini gerektirir.
3. Başka Alternatif Açıklama olmaması bu bağlantıyı açıklamak için diğer tüm olası açıklamaların elenmesi – ki bunlara araya giren değişken (confound) diyoruz – anlamına gelir.
• Örneğin diyelim ki bir araştırmacı oyunlarda gereksiz zorlanma arttıkça, oyuncunun angajmanının azaldığını göstermek istiyor. Bunun için şu üçünü göstermeli:
1. Zorlanma ve angajman arasında korelasyon olduğunu
2. Zorlanmadaki artmanın angajmandaki azalmadan önce gerçekleştiğini
3. Zorlanmadaki artma ve angajmandaki azalmayı birbirine bağlayan başka neden olmadığını

• Korelasyonel tasarımı değişkenler arasındaki ilişkiler hakkındaki soruları yanıtlamak için kullanılır. Araştırma tasarımları arasında en zayıf delilleri ortaya koyan tasarımlardır. Araştırmacı nedensel bir ilişkiyi desteklemeye çalışıyorsa, nedensel değişkene belirleyici (predictor), sonuca ise kriter ya da tepki değişkeni diyoruz.
• Korelasyonel tasarımların iki türü vardır. Enlemesine araştırmada (cross-sectional design) tüm değişkenler aynı anda ölçülür. Boylamasına araştırmada (longitudinal study) ise belirleyicilerin ya da kriterlerin birden fazla ölçümü zaman içinde yapılır.
• Korelasyon Tasarımı Türleri: Doğal gözlem içinde araştırmacılar doğal davranış ortamlarında veri toplar. Anket araştırması insanları ve davranışlarını anlamak için en yaygın olarak kullanılan yöntemdir. Arşivsel araştırma kaydedilmiş verilerin işlenmesine dayanır.
• İki değişken arasındaki ilişkinin derecesini değerlendirmek için bir korelasyon katsayısı kullanılır.
• Pearson korelasyon katsayısı (daha çok r ya da Pearson’s r ismi ile anılır) sürekli ölçülen iki değişken arasındaki ilişkiyi değerlendirmek için kullanılır (Örnek olarak bir video oyununda oyuncunun zorlanması ve angajmanı arasındaki ilişki) ve en sık kullanılan korelasyon değerlendirmesidir.
• Diğer korelasyonlardan bazıları iki rütbe-sıralı değişken için kullanılan Spearman’in rütbe-sıra korelasyonu, bir adet dikotom (sadece 0 ya da 1 olan) değişken için kullanılan noktasal-biserial korelasyon ve iki dikotom değişken için kullanılan phi katsayısıdır.
• Genel olarak korelasyonlar -1 ile +1 arasındadır. Korelasyonun işareti ilişkinin yönünü belirler. Her iki değişkende birlikte artıyorsa (ya da azalıyorsa) işaret pozitiftir. Bir değişken azalıyorken diğer artıyorsa, korelasyon negatiftir. Sıfıra yakın korelasyonlar değişklenler arası bağlantı olmadığını işaret eder.
• Genellikle araştırmacılar bir ya da birkaç değişkenin sonuçla nasıl bir bağı olduğunu bilmek ister ki bu da birden fazla regresyon anlamına gelir. Örneğin, bir araştırmacı bir video oyununda oyuncuların zorlanma ve angajmanları ile o oyundaki yetenekleri arasındaki ilişkiyi bilmek isteyebilir. Regresyon yardımı ile araştırmacılar ilişkiler hakkında sadece korelasyonlardan elde edebileceklerinden daha fazla bilgi edinirler. Regresyon ağırlıkları (b ve β) ilişkinin kuvvetini belirmek için kullanılır, birden fazla korelasyon (R) ise gruptaki tüm belirleyicilerin kuvvetini gösterir.
• Gelişmiş korelasyon tasarımları arasında büyük topluluklar içindeki küçük grupları inceleyen hiyerarşik doğrusal model ve daha karmaşık değişken ilşkilerini incelemek için yapısal denklem modellemesi vardır.

• Deneysel tasarımlar nedensel soruları yanıtlamak için kullanılır ve iki önemli özelliği vardır: manipülasyon ve rastgelelik.
• İlk özellikle bir bağımsız değişkenin (independent variable, IV) manipülasyonudur. IV nedensel bir değişkendir ve araştırmacının kontrolü altındadır. IV’yi manipüle etmek için araştırmacı en az iki seviye ya da grup yaratmalıdır. En basit deneysel araştırma tasarımı iki grupludur. İlk grup deneysel etkiye maruz kalır, diğer grup ise kontrol grubudur ve deneysel etkiye maruz kalmaz.
• IV’nin manipülasyonunu bir bağımlı değişkenin (dependent variable, DV) ölçümü izler. DV deneyin sonucudur ve araştırmacı tarafından ölçülür ya da gözlemlenir.
• Deneysel araştırmaların ikinci özelliği rastgeleliktir. Geleneksel sınav kuramından yola çıkarak özellikleri birbirine denk iki farklı grup yaratmak için örneklemimizi rastgele bölmemiz gerekir.
• Zorluğu ayarlanabilen bir oyun ile zorluğu ayarlanamayan bir oyunu karşılaştıran bir araştırmacı düşünelim. Bu araştırmacının yapacağı deneysel kurgu tek-yönlü bir tasarımdır çünkü tek IV manipüle edilecektir.
• İki-yönlü tasarımda ise iki IV manipüle edilir. Örneğin deminki örnekteki oyunda ayarlanabilen (ya da ayarlanamayan) 3 tür zorluk olduğunu düşünelim; basit, orta ve zor. Bu bağlamda ikinci IV’nin 3 seviyesi oldu. Araştırmacının şimdi 6 kondisyonu oluştu ve 2×3 faktoriel bir tasarım yapmış oldu.
• Deneysel tasarımların verilerini analiz etmek için çeşitli istatistik testler vardır. Bunların en çok kullanılan ikisi t-test ve varyans analizidir (ANOVA).
• İki gruplu basit bir deneysel araştırmada grupların ortalamarını karşılaştırmak için bağımsız örneklem t-testi (independent samples t-test) kullanılır. Eğer bağımsız örneklem t-testi istatistiksel olarak anlamlı çıkarsa iki deneysel grup arasında anlamlı bir değişiklik olmadığını anlarız, bu da iki grup arasındaki farkın bağımlı değişkenin farklılaşmasında kaynaklandığına bize ikna eder.
• ANOVA ikiden fazla gruba sahip deneysel araştırmalarda kullanılır. Araştırmacı sadece tek bir IV’yi üç ya da daha fazla grup üzerinde manipüle ederse tek-yönlü ANOVA yapmalıdır. Tek-yönlü ANOVA’nın sonucu en azından iki grubun ortalamasında farklılık olduğunu gösteren bir F-testidir. F-testi bir kapı gibidir; anlamlı bir değer kapıyı açar ve anlamlı değişikliğin nedenini anlamak için farklı testlerin yapılmasını gerektirir.
• Eğer iki IV manipüle edilirse, iki-yönlü ANOVA kullanılır. İki-yönlü ANOVA’nın sonucunu anlamak için üç F-testi yapılmalıdır. Bu F-testlerinden ikisi her bir IV’nin ana etkisi içindir. Ana etki her bir grubun her bir IV’sinin ortalamasının diğer IV’ler ile farkıdır. Üçüncü F-test ise etkileşim içindir; bu test de bir IV’deki grup değişimlerinin diğer IV ile ilişkisi olup olmadığına bakar. Eğer etkileşim testi istatistiksel olarak anlamlı çıkarsa ana etki yorumlanamaz hale gelir. Bunun yerine araştırmacı ek testler yapmalı ya da etkileşimini grafikleştirerek göstermelidir.

• Yarı-deneysel araştırmalar araştırmacı grupları karşılaştırmak istediğinde ancak kontrollü bir deney yapması mantık ya da etik dışındaysa kullanılır.
• Yarı-deneysel tasarımlar deneysel tasarımlara çok yakındır, hatta yüzeysel olarak aynıdır. Aralarındaki fark ise yarı-deneysel tasarımlarda rastgelelik olmamasıdır.
• Örneğin, bir araştırmacı bir sınıfta bir oyunu oynayan öğrencilerle diğer bir sınıfta oynamayanlar arasındaki etki farkını ölçmek istiyor. Öğrenciler sınıflara rastgele dağılmadılar zaten oradaydılar. Belki sınıflardan biri sabah biri de öğleden sonra sınıfıydı ve bu ayrım bu sınıflara yazılmış öğrenciler arasında bir tercih farkı olduğunu göstermektedir. Bu fark otomatik olarak nedensel etkiyi açıklayan bir dış değişken (external variable) haline gelir.
• Rastgeleliğin gerçekleşememesinin bir nedeni de araştırmacının manipüle edilemeyen bir IV üzerinde çalışması olabilir. Bu tarz değişkenlere yarı-bağımsız değişken diyoruz. Cinsiyet ve etnisite bu değişkenlere genel bir örnektir. Alternatif olarak değişken manipüle edilmesi etik olmadığı için manipüle edilemeyen bir değişken olabilir. Diyelim ki şiddet içeren oyunlar oynayan ve oynamayan çocukların gelecekteki suç işleme olasılığını karşılaştırmak istiyoruz. Bu manipüle edebileceğimiz bir kurgu olmadığından yapılması da etik değildir. Ayrıca senelere yayılan davranış değişikliği manipülasyonu zaten gerçekçi bir kurgu olmayacaktır.
• Yarı-deneysel araştırmaların iki karakteristik özelliği: 1) bir ya da daha fazla karşılaştırma grubuna sahip olması, 2) kontrol değişkenlerinin varolmasıdır. Bu iki özelliğe sahip olmayan yarı-deneysel araştırmaların sonuçları yorumlanamaz olur, çünkü alternatif açıklamaları ortadan kaldırmanın yolu olmayacaktır.
• Genel olarak kontrol değişkenleri kullanmak karşılaştırma grupları kullanmaktan daha aranır bir yöntemdir. Kontrol değişkenleri araştırmacıların kendi kendine oluşan gruplarda istatistiksel farkları ayarlamasını sağlar. Zıt olarak, tam deneysel tasarımlarda kontrol değişkenine ihtiyaç yoktur çünkü önceden belirlenmiş gruplar kullanılmamaktadır.
• Deneysel tasarımlarda olduğu gibi yarı-deneysel tasarımları da analiz etmek için ANOVA kullanılır.
• Ancak genel olarak daha analitik bir strateji olarak kovaryans analizi (ANCOVA) ya da regresyon daha uygundur.
• Yarı-deneysel tasarımlarda kontrol değişkenleri potansiyel alternatif açıklamaları yoketmek için kullanılır. Regresyon ve ANCOVA bağlamında ise bu kontrol değişkenlerine öndeğişken (covariate) denir.

• İç geçerlilik (internal validity) bir araştırmanın sonuçlarının nedensel bir iddiada bulunmak için yeterli olup olmadığını belirler. Deneysel bir tasarımda, IV’yi manipüle etmek ve örneklemi rastgele belirlemek çalışmanın iç geçerliliğini yükseltir. Korelasyonel ve yarı-deneysel tasarımlarda, araştırmacılar ya kontrol değişkenlerini titizlikle ölçme ya da elle tutulur teorik deliller üreterek iç geçerliliklerine yönelen tehdileri elimine etmelidir.
• Dış geçerlilik (external validity) araştırmacının sonucu ne kadar geniş kitleye genelleyebileceğini belirler. Dış geçerliliği iki faktör belirler; örneklemdeki kişiler ve bu kişilerin seçilmesi. Bir örneklemin dışsal olarak geçerli olması için, toplum içinden rastgele seçilmiş olması gerekir. Örneğin araştırmacı “tüm oyunculara” referans veren bir sonuç istiyorsa “tüm oyuncular” içinden rastgele seçim yapmalıdır. Eğer örneklemini doğru seçemezse sonuçları da genellenemez.
• Gerçek rastgele örnekleme genellikle imkansızdır çünkü araştırmacıların içinden rastgele örneklem belirlemek için topluluğun bütününe erişimi yoktur. Bunun yerine çoğu araştırmacı kolaylık (convenience) örneklemleri üretir. Bu şekilde örneklem istatistiksel bir özelliği nedeni ile değil araştırmanın ulaşabildiği bir şekilde seçilir. Sonuçta, kolaylık örneklemlerinin araştırmanın sonucuna zarar verip vermediğini ispat etmek araştırmacıya kalmıştır.
• Ekolojik geçerlilik (ecological validity) çalışmanın farklı bağlamlara nasıl genelleştirilebildiğini belirler.
• Araştırmacılar bir deney tasarladığında, her bir değişkeni ölçme, veri toplama ve deney üzerindeki kontrolleri ile ilgili yöntemleri için kararlar verir. Gerçek dünyada bu kararların getirileri ve götürüleri olur, çünkü bir geçerlilik artarken diğeri azalır. Genel olarak iç geçerlilik arttığında dış geçerlilik azalır (ya da tam tersi).
• Örneğin laboratuarda yapılan bir araştırmada kontrol yüksektir ve iç geçerlilik yüksektir, ancak laboratuar gerçek dünyayı temsil etmediğinden çalışmanın potansiyel dış geçerliliği düşük olacaktır.

• Nunnally, J. C., 1978. Psychometric theory. 2nd ed. New York: McGraw-Hill.
• Pedhazur, E.J., and Schmelkin, L.P., 1991. Measurement, design, and analysis: An integrated approach. New York: Taylor & Francis Group.
• Bruin, J., 2006. G*Power data analysis examples. UCLA: Statistical Consulting Group. Available at: .
• Bordens, K.S., and Abbott, B.B., 2011. Research design and methods: A process approach. 8th ed. Boston: McGraw Hill.
• Cohen, J., Cohen, P., West, S.G., and Aiken, L. S., 2003. Applied multiple regression/correlation analysis for the behavioral sciences. 3rd ed. Mahwah: Lawrence Erlbaum Associates.
• Bordens, K.S., and Abbott, B.B., 2011. Research design and methods: A process approach. 8th ed. Boston, MA: McGraw Hill.
• Shadish, W.R., Cook, T.D., and Campbell, D.T., 2002. Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton, Mifflin and Company.
• Maxwell, S.E., and Delaney, H.D., 2004. Designing experiments and analyzing data: A model comparison perspective. New York: Psychology Press.
• Shadish, W.R., Cook, T.D., and Campbell, D.T., 2002. Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton, Mifflin and Company.
• Maxwell, S.E., and Delaney, H.D., 2004. Designing experiments and analyzing data: A model comparison perspective. New York, NY: Psychology Press.
• Cohen, J., Cohen, P., West, S.G., and Aiken, L. S., 2003. Applied multiple regression/correlation analysis for the behavioral sciences. 3rd ed. Mahwah: Lawrence Erlbaum Associates.
• Shadish, W.R., Cook, T.D., and Campbell, D.T., 2002. Experimental and quasi-experimental designs for generalized causal inference. Boston, MA: Houghton, Mifflin and Company.

• Ortada pek çok farklı iddia olmasına rağmen tek bir sonuç kesindir: oyunlar bizi etkiler. Hepimiz bu iddialarımızı ispatlamak istiyoruz ancak oyunların etkilerini nasıl ölçebiliriz?
• Delil ölçülebilir bir değişken ile öngörülebilen bir etki yaratmamızı sağlayan bilgiye verilen isimdir.

• Gruplar-arası araştırma kurgusu genellikle gerçek-dünyadaki etkileri ölçmek için kullanılır ve iki ya da daha fazla grubun belli bir fenomenin (medya, oyun, çevre etkileri) farklı etki seviyelerine maruz bırakılarak her grupta kaç kişinin beklenen sonucu gösterdiği gözlemlenir.
• Grup-içi kurgular bir grup katılımcının durumunu iki ya da daha fazla zaman noktasında karşılaştırır. Bu kurguların mantığı grup için önce bir temel belirlemek sonra da bir etkiye maruz kalmalarının ardından ne olduğunu gözlemlemektir.
• In-vivo etki çalışmaları günlük gerçekliğe yakındırlar. Pragmatik olarak etkisi zaten devam eden şeyleri ölçerler. Bu da in-vivo çalışmalarını ekolojik olarak geçerli kılar ancak çoğunlukla kontrolü biliminsanlarında alarak çevre faktörlerine geçirir.

• RCT’ler bir bağımlı değişkenin bir grubun önceden belirlenmiş bağımsız belirleyicisi (örneğin bir oyun tecrübesi) üzerindeki etkisini ölçmek, sonra da bunu bir kontrol grubu ile karşılaştırmak üzerine kuruludur.

• İyi tasarlanmış bir RCT bile sınırlı kapsamı ve ekolojik geçerliliği ile zayıf kalabilir. Eğer bir oyun araştırmacısı oyun etkileri ile gerçek hayat koşulları arasında daha sıkı bağlar kurmak istiyorsa, RCT’ler etik nedenlerden dolayı mümkün olmayabilir. Bu durumda farklı bir yaklaşım gerekir.
• Enlemesine araştırmalar gerçek hayattan belirlenmiş değişkenlerin tek seferlik bir fotoğrafını çekmek adına kontrolden vazgeçer. Bu araştırmalar hazır verilerin içinde (örneğin ulusal sağlık veritabanı, okul kayıtları gibi) modeller arayarak yapılır.

• Uzun süre içinde bir etkiyi ölçen çalışmalar boylamasına araştırmalardır.
• Boylamasına araştırmalar sadece veri-toplama ve analiz metodları kadar geçerlidir. Eğer araştırma takip ettiği veriyi senede iki ölçüyorsa bu süreler arasında katılımcıların hayatına pek çok değişken girmiş demektir. Aynı katılımcılar uzun süreler boyunca izlendiğinde araştırmacılar pek çok istatistik yakalayabilir ancak bunlar arasında nedensellik kurmak problematik olacaktır. Bir başka sorun ise araştırmayı yarıda bırakanlardır. Kişiler taşınır, ilgisini kaybeder ya da araştırma gereklerini yerine getirmeyebilir. Bu nedenle boylamasına araştırmalar ya çok sadık katılımcılar gerektirir ya da uzun süredir kaydedilen veri setleri üzerinde yapılabilir (örneğin sağlık kayıtları ya da Battle.net bilgileri gibi).

• Evidence-based medicine working group, 1992. Evidence-based medicine: A new approach to teaching the practice of medicine. JAMA, 268(17), pp.2420–2425.
• Prot, S. and Anderson, C.A., 2013. Research methods, design, and statistics in media psychology. In: The Oxford handbook of media psychology. New York: Oxford University Press, pp.109–136.
• Wheelan, C., 2013. Naked statistics: Stripping the dread from the data. New York: W.W. Norton.
• Wouters, P. et al., 2013. A meta-analysis of the cognitive and motivational effects of serious games. Journal of Educational Psychology, 105(2), pp.249–265.

• Kaydedilen verilerin büyüklüğü oyun çalışmalarında verinin daha rahat anlaşılması için görselleştirilmesini gerektirebilir.
• Görselleştirme verinin algılanması ve veriden çıkarılan bilginin aktarılabilmesi için önemli olabilir.
• Veri görselleştirilmesi oyun tasarımcıları ve üreticileri için de oyuncu davranışını analiz etmek için önemlidir. Bu şekilde iletişim problemlerini, tasarım problemlerini ve tasarım kararlarını daha iyi anlayabiliriz.

• DİYAGRAMLAR: Diyagramlar değişkenler arasındaki ilişkiyi gösterebilir, karşılaştırmalı oranları gözler önüne serebilir ve değerlerin dağılımını ya da zaman içindeki trendleri anlatabilir.
• ISI HARİTALARI: Oyunlar göz önüne alındığında ısı haritaları en çok birinci ve üçüncü şahıs savaş oyunlarında kullanışlıdır.



• HAREKET GÖRSELLEŞTİRMELERİ: Pek çok oyun oyuncunun bir karakteri (ya da birden fazla karakteri) oyun dünyası içinde yönlendirmesini gerektirir. Oyuncuların karakterlerini oyun içinde nasıl hareket ettirdikleri bölüm tasarımı için önemlidir. Özellikle oyuncular belli yerlerde beklentinin dışında hareket ediyorlarsa bunun neden olduğunu anlamak önemlidir.



• DÜĞÜM-BAĞLANTI TEMSİLİ: Düğümler (nodes) veri nesnelerini temsil eder, bağlantılar da bunların arasındaki ilişkiyi gösterir. Düğüm-bağlantı yaklaşımı abstrakt ya da yüksek-seviye verileri temsil etmek için kullanılır.

• El-Nasr, M.S., Drachen, A. and Canossa, A. eds., 2013. Game analytics: Maximizing the value of player data. New York: Springer.
• Isbister, K. and Schaffer, N., 2008. Game usability: Advancing the player experience. Burlington: Morgan Kaufmann
• Ward, M.O., Grinstein. and Keim, D., 2010. Interactive data visualization: Foundations, techniques, and applications. Natick: AK Peters, Ltd.
• Ware, C., 2012. Information visualization: Perception for design. 3rd ed. San Francisco: Morgan Kaufmann.