Differenze tra maschi e femmine, 200 studi sotto esame: nel 58% mancava il confronto statistico necessario

• Un’analisi pubblicata su PNAS ha esaminato 200 articoli del 2019-2023 che dichiaravano già nel titolo effetti dipendenti dal sesso o dal genere
• Solo il 24% dei lavori presentava un confronto statistico appropriato e risultati coerenti con la differenza annunciata
• Nel 57,5% degli articoli maschi e femmine non erano stati confrontati statisticamente per l’effetto dichiarato nel titolo
• Nel 9,5% il confronto appropriato produceva risultati incompatibili con la dichiarazione del titolo, mentre in un altro 9% i risultati del test erano incompleti o mancanti
• Gli studi sugli animali fornivano evidenze appropriate nel 15% dei casi, contro il 34% degli studi su partecipanti umani

 

Uno studio dice di aver scoperto una differenza tra maschi e femmine. Bene. A questo punto verrebbe spontaneo immaginare che qualcuno abbia preso i risultati ottenuti nei due gruppi e li abbia confrontati direttamente. Non sembra una richiesta particolarmente esotica: è un po’ come voler stabilire chi sia più alto tra Gianni e Pinotto e, magari, misurarli entrambi.

E invece no.

Madeline T. Olivier, Andrew W. Brown, Simon Chung, Colby J. Vorland e Donna L. Maney hanno controllato 200 articoli scientifici nei quali una differenza dipendente dal sesso o dal genere era talmente centrale da comparire direttamente nel titolo. Poi hanno fatto una domanda quasi imbarazzante nella sua semplicità: per sostenere quella frase, gli autori avevano davvero eseguito il confronto statistico necessario?

Nel 57,5% dei casi, cioè 115 articoli su 200, no.

Non è una battuta sul metodo scientifico. È precisamente il risultato della ricerca pubblicata online il 4 agosto 2026 e apparsa nell’edizione dell’11 agosto dei Proceedings of the National Academy of Sciences (PNAS), con il titolo Claims of sex-dependent effects in the behavioral and brain sciences are infrequently supported by valid statistical comparisons. Il paper è consultabile attraverso il DOI ufficiale dello studio e nella scheda PubMed.

Attenzione, però, perché qui è facilissimo trasformare un problema statistico in un titolo da “la scienza non sa più fare la scienza”. Lo studio non dimostra che quelle differenze tra maschi e femmine fossero false. Dimostra qualcosa di più preciso: nella maggioranza degli articoli esaminati, gli autori non avevano presentato il test necessario per stabilire se l’effetto fosse realmente diverso tra i due sessi.

In sostanza: magari avevano ragione. Ma mancava il passaggio che permetteva di dirlo.

Un dettaglio piccolissimo. Tipo le fondamenta sotto casa.

Come sono stati controllati 200 studi sulle differenze tra maschi e femmine e perché il 58% non aveva eseguito il test decisivo

Il gruppo di Olivier e Maney non ha pescato 200 studi a caso dal grande calderone della letteratura scientifica sperando di trovare qualcosa di buffo. Il 24 maggio 2024 i ricercatori hanno interrogato il Web of Science Core Collection cercando articoli con espressioni molto esplicite nel titolo, tra cui sex-specific, sex-dependent, gender-specific, gender-dependent e formulazioni del tipo “maschi ma non femmine” o “donne ma non uomini”.

La ricerca iniziale, limitata agli articoli pubblicati tra 2019 e 2023, produsse 4.870 risultati. Restringendo il campo alle discipline relative a cervello e comportamento, gli autori arrivarono a 1.341 articoli. Da quel corpus selezionarono con un algoritmo di campionamento ponderato 200 lavori appartenenti a sei aree: scienze comportamentali, neurologia clinica, neuroscienze, psichiatria, psicologia e abuso di sostanze.

Metà del campione, 100 articoli, riguardava partecipanti umani; quattro di questi comprendevano anche esperimenti sui topi. Gli altri 100 riguardavano esclusivamente animali non umani e 95 utilizzavano roditori. Tra questi comparivano 51 studi sui topi, 35 sui ratti e poi arvicole delle praterie, criceti siberiani, degù, gerbilli, scoiattoli rossi e qualche comparsa più esotica. Una specie di Arca di Noè, ma con i p-value.

Per le esigenze dell’analisi, Olivier e colleghi hanno trattato i termini “sex” e “gender” come equivalenti nella fase di selezione e codifica, specificando poi di utilizzare il termine “sex” nel paper. Nessuno dei 200 articoli aveva incorporato separatamente sesso e genere nelle proprie analisi statistiche.

Il risultato complessivo è abbastanza feroce.

Soltanto 48 articoli su 200, il 24%, presentavano ciò che gli autori consideravano un’evidenza appropriata: avevano confrontato statisticamente l’effetto tra i sessi e il risultato del confronto sosteneva quanto dichiarato nel titolo. In 39 di questi lavori era stata utilizzata un’analisi multifattoriale con il sesso come fattore ed era stata trovata un’interazione statisticamente significativa; altri sette confrontavano direttamente associazioni calcolate separatamente nei due sessi e due confrontavano altre misure dell’effetto, come gli odds ratio.

In 18 articoli, il 9%, il test appropriato risultava descritto ma i risultati necessari erano incompleti o non riportati. In altri 19, pari al 9,5%, il risultato del confronto appropriato era invece incompatibile con la differenza annunciata nel titolo.

Poi ci sono i famosi 115 articoli, il 57,5%: lì l’effetto non era stato confrontato statisticamente tra i sessi.

Abbiamo dunque un titolo che dice, in sostanza, “questa cosa funziona diversamente nei maschi e nelle femmine”, seguito da un’analisi che non verifica direttamente se funzioni diversamente nei maschi e nelle femmine.

È un po’ come pubblicare la recensione comparativa di due ristoranti dopo aver mangiato soltanto il tiramisù del primo e aver guardato le foto del secondo su TripAdvisor.

Il paradosso del “significativo qui, non significativo lì”

Il problema più interessante riguarda un errore statistico che gli autori chiamano DISS, Difference in Sex-specific Significance.

Lo schema è apparentemente intuitivo. Immaginiamo di voler scoprire se un trattamento abbia effetti diversi negli uomini e nelle donne. Si prende il gruppo degli uomini e si verifica separatamente se il trattamento funziona: risultato statisticamente significativo. Poi si analizzano le donne: risultato non significativo.

A quel punto viene spontaneo pensare: “Ecco! Funziona negli uomini ma non nelle donne”.

Peccato che “significativo negli uomini” e “non significativo nelle donne” non equivalga automaticamente a “differenza statisticamente significativa tra uomini e donne”. Per arrivare a quella conclusione bisogna confrontare direttamente gli effetti nei due gruppi, per esempio attraverso un’interazione tra sesso e trattamento.

È una sottigliezza statistica solo in apparenza. Dividere un campione in sottogruppi riduce infatti la potenza statistica. Un effetto reale può superare la soglia convenzionale della significatività in un gruppo e mancarla nell’altro semplicemente perché i dati sono più rumorosi o il campione è diventato più piccolo.

Donna L. Maney, professoressa di psicologia alla Emory University e autrice senior del paper, ha ricordato nel comunicato pubblicato dalla Emory University un esempio magnificamente assurdo della stessa trappola logica. In una vecchia dimostrazione metodologica, i dati di un grande studio sull’aspirina furono suddivisi in base ai segni zodiacali. Spezzando il campione in dodici gruppetti, il beneficio dell’aspirina smetteva di risultare statisticamente rilevabile, tra gli altri, per Bilancia e Gemelli.

Non perché l’acido acetilsalicilico abbia qualcosa contro Mercurio retrogrado. Semplicemente, tagliando un campione in pezzetti è più facile perdere la capacità di rilevare un effetto.

Eppure proprio una logica simile può generare l’illusione di una differenza tra maschi e femmine.

Il confronto tra discipline aggiunge un altro dettaglio interessante. Tra i sei settori studiati, la psicologia aveva la quota più alta di articoli con evidenza appropriata, il 39%. Le neuroscienze erano ultime con appena il 18%. Inoltre, gli studi esclusivamente su animali non umani sostenevano correttamente la differenza dichiarata nel 15% dei casi, mentre quelli sui partecipanti umani arrivavano al 34%. La differenza tra queste due percentuali era statisticamente significativa, con P = 0,002.

C’è poi un risultato che rende la faccenda ancora più interessante: usare un approccio statistico appropriato non risultava associato né al prestigio della rivista né all’impatto dell’articolo misurato attraverso le citazioni. In altre parole, un’analisi discutibile non sembrava impedire a un lavoro di finire su una buona rivista o di essere citato abbondantemente. Il badge “rivista importante”, purtroppo, non funziona come l’acqua santa sui test statistici.

Gli autori hanno inoltre osservato che, nell’arco di vent’anni, gli articoli con dichiarazioni di effetti dipendenti dal sesso nel titolo sono aumentati di oltre cinque volte nelle neuroscienze. Nel 2025, normalizzando i dati rispetto alla produzione complessiva delle aree considerate, le neuroscienze pubblicavano circa 2,5 volte più articoli di questo tipo rispetto alla psichiatria, il secondo settore in classifica.

Questo non rende meno importante studiare le differenze tra maschi e femmine. Al contrario. Le differenze biologiche possono avere conseguenze importanti nella ricerca medica, nella risposta ai farmaci e nello studio delle malattie. Proprio per questo, sostengono Olivier, Maney e colleghi, servono analisi in grado di dimostrare ciò che viene dichiarato.

Il problema diventa particolarmente delicato quando da risultati di questo tipo derivano raccomandazioni pratiche. Nell’analisi dei 200 paper, il gruppo ha trovato lavori che proponevano approcci differenti per uomini e donne in ambiti come prevenzione del suicidio, disturbi psichiatrici legati allo stress, disturbo da uso di sostanze e psicopatia, pur senza avere effettuato il confronto statistico diretto necessario a dimostrare l’effetto dipendente dal sesso.

Maney ha anche realizzato SexDifference.org, uno strumento open source che permette di visualizzare grandezza dell’effetto e sovrapposizione delle distribuzioni tra maschi e femmine e che punta ad aiutare i ricercatori nell’interpretazione di questo genere di confronti.

Il limite fondamentale dell’intera ricerca va però ripetuto, perché è proprio quello che separa una buona notizia scientifica dal barbecue su Facebook: Olivier e colleghi non hanno dimostrato che il 76% delle differenze dichiarate fosse falso.

Nel 24% c’era evidenza appropriata e coerente. Nel 9,5% esisteva un risultato riportato che contraddiceva la dichiarazione. Nel resto dei casi, per motivi differenti, mancavano gli elementi necessari per stabilire se quella differenza reggesse davvero a un confronto corretto.

Alcune potrebbero quindi essere confermate rianalizzando i dati originali. Altre potrebbero scomparire. È proprio uno dei passaggi che il gruppo di Donna Maney intende affrontare successivamente.

La morale, se proprio vogliamo trovarne una, è molto meno filosofica di quanto sembri: se vogliamo affermare che due gruppi sono diversi, a un certo punto dobbiamo confrontarli tra loro.

Lo so. Rivoluzionario.