C'est amusant et plutôt vrai Cela fait près d'un an maintenant que je fais des études de ce genre (mais dans le domaine informatique) et, si je n'avais pas un peu de rigueur (et d'honnêteté scientifique, au moins un petit peu), on peut vraiment faire dire ce qu'on veut à n'importe quel jeu de données, que ce soit au travers de tests statistiques (la plupart des statisticiens ne vérifient pas les hypothèses des tests qu'ils emploient), des visualisations (on montre ce qu'on veut, et on tire des conclusions sur base de graphiques plutôt que sur base des chiffres) ou encore des interprétations.

Ce qui est "triste", c'est que bien souvent, la qualité des études (du moins, dans mon domaine) est faible non pas parce que les gens manipulent les résultats ou les analyses, mais principalement à cause d'un manque de compétences et/ou de connaissances dans l'usage des outils ou des techniques permettant ce genre d'analyses. Si ça en intéresse ici, je peux donner quelques exemples (ou montrer quelques "techniques" pour fausser des résultats sans s'en rendre compte).

Ah ben ...
Ce genre de sondages/études me fait toujours penser aux publicités à la con du genre : "Les dermatos haïssent cette mère de famille !"

Il y a quelques années, c'était le Loto qui avait une publicité disant "100% des gagnants ont tenté leur chance".
Statistiquement c'est correct, si tu ne tentes pas ta chance, tu ne peux pas gagner, par contre, on est bien d'accord que 100% des joueurs ne gagnent pas. La donnée est correcte, mais c'est la manière de la présenter qui est fausse.
Bref l'art et la manière de présenter les données ... C'est pour ça que des managers sont payés à faire des powerpoint. Plus leur powerpoint est réussi, plus le patron est content, peu importe ce qui est dans le powerpoint.
Il y a clairement du coaching à faire la dedans

PetitCalgonStatistiquement c'est correct, si tu ne tentes pas ta chance, tu ne peux pas gagner, par contre, on est bien d'accord que 100% des joueurs ne gagnent pas. La donnée est correcte, mais c'est la manière de la présenter qui est fausse.

Je ne pense pas qu'on puisse dire que "la manière de la présenter est fausse", étant donné que la phrase est tout à fait exact, et elle n'est, en soit, pas ambigue, même si elle tente de jouer sur la confusion que les gens se font dans l'interprétation d'une causalité.

Cela dit, ton exemple est vraiment bien choisi, parce que c'est une approche que l'on retrouve malheureusement dans beaucoup d'études. On établi tout d'abord une corrélation entre deux variables (le fait de jouer et le fait de gagner), et ensuite on regarde simplement dans quel sens la causalité est la plus importante (en gros, on détermine une règle A -> B, et B -> A et on calcule la confiance de chaque règle (grosso-modo, le rapport entre le nombre d'exemples où A et B sont vérifiés sur le nombre d'exemples où A seul est vérifié) sachant que la valeur de support est identique). On observe alors souvent des conclusions rapides (ou triviales, comme dans le cas présent) mais qui ne se basent sur rien : déterminer quelle implication fournit la meilleure confiance ne signifie pas que l'on détermine si cette confiance est élevée ou pas.

Avec la multiplication des outils informatiques et des techniques statistiques mal maitrisées, on se retrouve aussi souvent avec des personnes qui appliquent une technique, et ne font que lire la conclusion générée par le modèle statistique sous-jacent, sans regarder si cette conclusion est pertinente, représentative voire même fiable. La dimensionnalité des données considérées jouent aussi un rôle, et l'information absente est bien souvent ignorée. Il y a de nombreuses études dans lesquelles on peut lire des conneries du genre "Les accidents de voiture sont liés à l'usage de la lettre C dans les SMS". Le souci vient généralement d'un jeu de données trop faibles (a-t-on suffisamment d'informations de fréquence pour chaque lettre du SMS ?), de l'abstraction de certaines notions, des données absentes (et ceux qui n'ont pas de GSM ? Qui ne font pas de SMS ?) ou tout simplement d'éléments qui ne sont pas en leur possession (la lettre "C" est souvent utilisée dans le SMS "j'dois faire caca", et donc ce sont les gens qui doivent faire caca qui font des accidents de la route). Mais la presse relaie simplement ce qui se vend... (et d'ailleurs, la plupart de ces études sont en fait des travaux effectués dans le cadre d'un mémoire étudiant, ou c'est bien souvent davantage la démarche que le résultat qui importe, alors que les médias s'intéressent à l'inverse).


Il y a quelques exemples classiques dans la littérature. Notamment, de nombreuses techniques statistiques travaillent avec un intervale de confiance de 0.95 (donc 5% d'erreur). Quand on utilise ces techniques, on fixe l'intervale de confiance et on obtient une conclusion qui s'avère à priori vraie dans 95% des cas. Sauf que :
1. Rien ne dit que l'échantillon soit représentatif et non biaisé. Il y a des approches consistants à comparer l'analyse avec une même analyse mais effectuée sur un jeu de données aléatoires, et de voir la réponse que l'on obtient. C'est grosso-modo l'idée de la p-value associée à ces analyses : elle permet d'avoir une idée du résultat de la même analyse, mais dans un contexte (pratiquement) totalement aléatoire. Si cette p-value dépasse le complément de l'intervale de confiance (ex : si la p-value > 0.05), cela signifie que la même conclusion aurait pu être tirée avec des données aléatoires. Vous imaginez que si on oublie de tenir compte de cela, on obtient vite du grand n'importe quoi dans les analyses (et souvent, plus le jeu de données est petit ou ciblé, plus la p-value va monter rapidement !).

2. Même en ayant vérifié la p-value, la plupart des analyses font partie d'un "tout". C'est à dire qu'on va tirer une conclusion à 0.95 de confiance, puis sur base de cette conclusion, on fait une autre analyse avec une autre conclusion à 0.95 de confiance, et ainsi de suite. Le hic, c'est que tout ça, c'est mis bout à bout dans le raisonnement, mais sans tenir compte qu'on admet 5% d'erreur à chaque fois. Sauf que 0.95 * 0.95 * 0.95 (3 expériences) = ~0.85, soit 15% d'erreur. Et ça va vite, très très vite : les résultats sont publiés, quelqu'un d'autre repart de notre conclusion, puis refait encore un test à 0.95, et ainsi de suite. On se retrouve rapidement avec une étude dans laquelle chaque résultat n'a peut-être que 5% d'erreur, mais la probabilité que l'ensemble des analyses soient vraies (et donc fiables) est bien plus basse que l'intervale de confiance qu'on fixe initialement.

Il y a bien des approches pour résoudre ça (typiquement, une correction de Bonferroni) mais cette correction (et les variantes, parfois moins "aggressives") sont assez rudes et tendent tout simplement à invalider l'étude dans son ensemble (à juste titre, bien que ce n'est pas forcément "non-valide",mais juste "pas significatif"), et donc les gens font l'impasse là-dessus.

Je ne pensais pas que les statistiques pouvaient être intéressantes, merci Guybrush.

SyssonJe ne pensais pas que les statistiques pouvaient être intéressantes, merci Guybrush.

Moi non plus, tout du moins, il y a quelques années. J'ai toujours détesté les cours de statistiques que j'avais eu, sans comprendre grand chose d'ailleurs à tout ça, pendant mon cursus. Mais m'intéressant depuis toujours aux bases de données (et ayant fait une thèse là-dedans), je me suis naturellement intéressé aussi au datamining. Et pour bien comprendre le datamining, les statistiques sont importantes. Alors, je me suis un peu plongé là-dedans, et petit à petit, j'ai découvert que ce qu'on te présente dans les cours (les machins de moyenne, variance, variable aléatoire, etc.), ce ne sont que des "ingrédients" pour une multitude de recettes très intéressantes (les "tests statistiques" au sens large).

Et quand on mélange des approches de datamining avec des approches statistiques plus classiques, on se retrouve avec une batterie d'outils puissants... dont l'usage est aussi difficile que l'interprétation des résultats. Mon domaine de prédilection, en ce moment, concerne surtout l'usage des stats pour faire des analyses similaires à des PCA (analyses en composantes principales) mais sur des séries temporelles. Et il y a vraiment des chouettes trucs à faire dans ce domaine (... mais je n'ai encore aucun financement pour 2016 ).

Tiens une bien belle statistique:

Se faire tirer dessus par son chien... Quelle mort de merde ! J'espère qu'ils s'en sont sortis (enfin... j'espère surtout que les chiens sont toujours vivants ^^)

girl271Quelle mort de merde !

Je suis sûr que ça doit être repris quelque part dans les darwin awards