Metodologie și indicatori

Cum funcționează experimentele, ce măsurăm, cum calculăm și — la fel de important — ce nu putem afirma.

Principii

Nu punctăm schimbarea opiniei și nu penalizăm păstrarea ei. Punctăm felul în care sunt examinate dovezile.
Răspunsurile corecte și rezultatele simulărilor rămân pe server până după decizia ta, ca să nu compromită experimentul.
Fiecare sesiune are o „sămânță” aleatoare salvată: varianta, ordinea itemilor și contrabalansarea etichetelor pot fi reproduse exact.
Fiecare sesiune reține versiunea experimentului folosită; modificările de conținut creează versiuni noi.
Scenariile din experimente sunt fictive și marcate ca atare. Nu inventăm studii, surse sau statistici reale.

Indicatorii din tabloul de reflecție

Toți indicatorii sunt educaționali și experimentali. Nu sunt instrumente psihometrice validate, nu se combină într-un scor global și nu permit comparații între persoane. Fiecare este afișat împreună cu numărul de observații pe care se bazează.

Preferința observată pentru dovezi confirmatoare

Definiție: Cât de des ai ales teste sau informații care puteau doar să-ți confirme ipoteza curentă, în loc de unele care o puteau pune în pericol.
Formulă: Media ponderată (după numărul de alegeri) a ponderii alegerilor confirmatoare: teste „pozitive” în „Descoperă regula” și investigații care pot doar confirma suspectul curent în „Dosarul misterios”.
Date: Fiecare test propus și fiecare investigație aleasă, clasificate în raport cu ipoteza ta de la momentul respectiv.
Interpretare: 0–0,4: echilibrat sau orientat spre infirmare · 0,4–0,7: mixt · peste 0,7: preponderent confirmator.
Limitări: Testele confirmatoare nu sunt greșite în sine (uneori sunt cea mai bună strategie). Valoarea depinde de scenariile întâlnite și de puține alegeri.
Minim de observații: 5

Frecvența testării ipotezelor alternative

Definiție: Cât de des ai făcut alegeri capabile să deosebească între ipoteza ta și o alternativă plauzibilă.
Formulă: Media ponderată a ponderii testelor/investigațiilor discriminative (la care ipoteza ta și cel puțin o alternativă prezic rezultate diferite sau care vizează explicații alternative).
Date: Testele din „Descoperă regula”, investigațiile din „Dosarul misterios”.
Interpretare: Peste 0,6: testezi des alternative · 0,3–0,6: uneori · sub 0,3: rar.
Limitări: Lista de alternative „plauzibile” este definită de noi și poate să nu includă ipotezele pe care le aveai în minte.
Minim de observații: 5

Consistența criteriilor de evaluare

Definiție: Cât de asemănător ai evaluat materiale cu calitate comparabilă, indiferent dacă concluzia lor îți convenea sau cine o susținea.
Formulă: 1 − diferența normalizată dintre notele acordate studiului/argumentului cu concluzie convenabilă și celui cu concluzie neconvenabilă (și a efectului prestigiului față de relevanța expertizei).
Date: Evaluările din „Aceleași dovezi, alte concluzii” și „Expertul contradictoriu”.
Interpretare: Peste 0,85: criterii foarte consecvente · 0,6–0,85: diferențe moderate · sub 0,6: concluzia sau prestigiul par să fi contat mult.
Limitări: Se bazează pe câteva evaluări. O diferență poate avea și motive metodologice legitime pe care nu le-am anticipat.
Minim de observații: 4

Calibrarea încrederii

Definiție: Diferența dintre cât de sigur ai declarat că ești și cât de des ai avut dreptate.
Formulă: Media ponderată a (încredere medie − procent de răspunsuri corecte), în puncte procentuale. Pozitiv = supraîncredere, negativ = subîncredere.
Date: Întrebările factuale din „Cât de sigur ești?”, decizia finală din experimentele cu răspuns verificabil, titlurile clasificate.
Interpretare: Între −10 și +10: bine calibrat · peste +10: supraîncredere · sub −10: subîncredere.
Limitări: Cu sub ~30 de răspunsuri, marja de eroare este mare. Întrebările nu sunt reprezentative pentru toate domeniile.
Minim de observații: 8

Acuratețea predicțiilor probabilistice (scor Brier)

Definiție: Cât de aproape au fost probabilitățile tale de ce s-a întâmplat efectiv.
Formulă: Media lui (probabilitate − rezultat)², unde rezultatul este 1 sau 0. Răspunsul constant „50%” obține 0,25.
Date: Predicțiile din „Predicția și realitatea”, întrebările binare din „Cât de sigur ești?” și jurnalul de predicții.
Interpretare: Sub 0,15: foarte bun · 0,15–0,25: mai bun decât „50%” · peste 0,25: mai slab decât a răspunde mereu „50%”.
Limitări: Depinde de dificultatea evenimentelor; nu compara direct scoruri obținute pe seturi diferite.
Minim de observații: 8

Calitatea argumentării

Definiție: Cât de bine ai formulat cel mai puternic argument pentru o poziție diferită de a ta.
Formulă: Media scorurilor pe rubrica transparentă din „Avocatul adversarului” (5 criterii, fiecare 0 / 0,5 / 1).
Date: Textele scrise în „Avocatul adversarului”, evaluate automat (cuvinte-cheie) sau, opțional, cu AI.
Interpretare: Peste 0,7: argument advers solid · 0,4–0,7: parțial · sub 0,4: schiță.
Limitări: Evaluarea automată se bazează pe cuvinte-cheie și poate rata argumente bune formulate neobișnuit.
Minim de observații: 5

Capacitatea de a identifica incertitudinea

Definiție: Cât de des ai recunoscut că nu știi suficient: încredere moderată când ai greșit, verificări înainte de decizie, „nu știu încă” atunci când lipseau informații.
Formulă: Media ponderată a scorurilor 0–1 calculate în fiecare experiment (detaliate în pagina Metodologie).
Date: Încrederea finală, verificările din „Titlul care te păcălește”, predicțiile care evită 0% și 100%.
Interpretare: Peste 0,7: recunoști des incertitudinea · 0,4–0,7: uneori · sub 0,4: rar.
Limitări: Indicator compus din măsuri diferite; util mai ales pentru a urmări propria evoluție, nu pentru comparații.
Minim de observații: 4

Evoluția comportamentelor între sesiuni

Definiție: Cum s-au schimbat indicatorii de mai sus între primele și cele mai recente sesiuni.
Formulă: Pentru fiecare indicator: media contribuțiilor din a doua jumătate a sesiunilor minus media din prima jumătate (cel puțin 2 sesiuni).
Date: Toate sesiunile finalizate, în ordine cronologică.
Interpretare: Săgeata arată direcția; o schimbare mică pe puține sesiuni nu înseamnă o schimbare reală.
Limitări: Repetarea acelorași experimente poate reflecta învățarea răspunsurilor la joc, nu un transfer real. Vezi evaluările la 7 și 30 de zile pentru transfer.
Minim de observații: 2

Ce putem și ce nu putem afirma

Separăm trei lucruri diferite:

Învățarea jocului — cât de bine te descurci când repeți același experiment. Repetarea poate reflecta pur și simplu memorarea.
Comportamentul în experimente — indicatorii de mai sus, urmăriți în timp și pe variante noi ale experimentelor.
Transferul — evaluări în trei forme echivalente (inițial, după experimente, la 7 și la 30 de zile), cu întrebări apropiate de experimente și întrebări despre situații noi.

Chiar și o îmbunătățire la evaluări este o observație, nu o dovadă cauzală. Nu afirmăm că platforma reduce erorile de raționament în viața de zi cu zi. Arhitectura este pregătită pentru studii controlate (alocare pe brațe experimentale, versiuni fixate), care ar fi necesare pentru o astfel de afirmație.