Pourquoi nous ne publions pas de taux de détection

Tôt ou tard, quelqu'un demande un taux de détection, et c'est une chose raisonnable à vouloir. Nous n'allons pas vous en donner un, parce que ce nombre n'existe pas : non pas que nous ne l'ayons pas encore, mais qu'aucun observateur de ce marché ne peut le calculer, nous compris. Chaque chiffre que vous avez vu circuler a été produit en le choisissant. Voici l'argument, parce que refuser de publier quelque chose sans dire pourquoi ressemble exactement à une esquive.

Un taux a besoin d'un dénominateur

Un taux de détection, ce sont des bans divisés par des utilisateurs. Le numérateur est déjà mauvais et le dénominateur est inobservable, parce que ce qu'un vendeur voit, ce sont des commandes, alors qu'un taux exigerait une tout autre liste.

• Combien de gens ayant acheté ont réellement installé quelque chose
• Combien d'heures chacun a joué, dans quels modes, contre quel anticheat
• Quel firmware, quelle version de lecteur, quel périphérique d'entrée et quelle configuration de second PC chacun faisait tourner
• S'il y a seulement eu un ban, sachant que nous ne l'apprenons que si quelqu'un choisit de nous le dire
• Si c'est ce produit qui a causé le ban, plutôt qu'un compte acheté, un identifiant partagé, un examen déclenché par des signalements, ou un autre logiciel qui tournait à côté

Chaque ligne de cette liste est invisible depuis le côté vendeur. Une boutique voit un paiement et, parfois, un ticket de support, ce qui n'est pas un échantillon mais un fragment auto-sélectionné d'une population dont elle ne peut pas mesurer la taille. Diviser un inconnu par un autre n'en fait pas une statistique, et un signe pourcent derrière n'y change rien.

Les sanctions sont différées et groupées

Même avec un dénominateur connu, le numérateur arrive sous une forme qui met l'attribution en échec. L'action, dans ce domaine, est couramment différée : un signal est collecté, il dort, et la sanction tombe plus tard sur toute une fenêtre plutôt que contre une version. Quand une vague tombe, elle touche d'un coup tous ceux qui ont joué dans cette fenêtre, à travers plusieurs produits, configurations et types de comportement. Attribuer une part de cette vague à une seule image de firmware n'est pas un problème de mesure difficile : c'est une question à laquelle les données disponibles ne répondent pas du tout.

Les données déclaratives ne sauvent rien

La solution évidente est de demander aux gens, et elle ne marche pas, pour une raison structurelle qu'un meilleur formulaire ne peut pas régler. Ceux qu'une détection touche le plus sont les moins susceptibles de répondre, parce qu'un compte banni signifie souvent une identité perdue, une plateforme brûlée et aucune envie de remplir un questionnaire. Ce sont les survivants qui répondent, donc un sondage de survivants mesure la survie chez les gens qui répondent aux sondages. Rien, dans une déclaration, n'est vérifiable non plus : ni que la personne possédait le produit, ni quelle version elle faisait tourner, ni que la configuration qu'elle décrit est celle qu'elle a utilisée. Récolter plus de réponses ne rapproche pas de la vérité : cela resserre seulement l'intervalle autour d'une estimation biaisée.

Ce que nous publions à la place

Nous publions des faits datés, avec leurs limites énoncées à côté. Chaque version porte un statut publié et la date de cette publication, à côté de la date du dernier patch du jeu, ce qui rend l'écart visible : quand nous avons regardé pour la dernière fois, et quand le terrain a bougé. Là où un signal est faible, la carte le dit, et là où rien n'est publié, la carte affiche aucun statut au lieu de deviner. La page dit en toutes lettres que ce n'est pas un certificat de bonne santé, et quand le flux ne peut pas être lu, elle n'affiche rien du tout plutôt que du vert.

Rien de tout cela n'est aussi satisfaisant qu'un pourcentage, mais c'est l'affirmation honnête la plus forte qui soit disponible : à cette date, nous n'avions publié aucune détection pour cette version. Ce n'est pas une mesure de votre risque, et ce n'est pas une affirmation sur votre compte.

Ce qu'il faut demander à un vendeur à la place

• Montrez-moi un statut daté par version, pas un badge unique pour tout le catalogue
• Montrez-moi une ligne qui dit détecté, et dites-moi quand elle a changé pour la dernière fois
• Dites-moi ce que fait votre page quand votre propre base de données est injoignable
• Dites-moi où une détection est annoncée en premier, et en combien de temps la page suit
• Dites-moi ce que le mot non détecté veut dire sur votre site, en une phrase

Un vendeur capable de répondre à cela vous dit comment il se comporte quand il a tort, ce qui est la seule chose qu'il vaille vraiment la peine de savoir à l'avance. Un vendeur qui a un pourcentage vous dit qu'il était prêt à en inventer un.