Défis connus

Ce que nous savonsLU

« most regions in Somalia were at least 70% likely to be below 5% prevalence »
                                              -> valeur retenue : 70

Ce 70 est une probabilité affichée comme une prévalence. Vingt-cinq observations relues à la main, sept portaient ce défaut : ordre de grandeur ~190 observations sur la carte. C’est le défaut le plus grave que nous connaissions, malgré son ampleur modeste : un lecteur n’a aucun moyen de le repérer. Une valeur mal rattachée affiche au moins la bonne grandeur ; celle-ci non.

Pourquoi ce n’est pas corrigé. Distinguer une prévalence d’une probabilité, d’une fraction attribuable ou d’une part de cas demande de comprendre la phrase, pas d’y repérer un motif. Nos détecteurs lexicaux échouent : celui que nous avons construit pour un défaut voisin atteignait 53 % de précision, et un marquage faux une fois sur deux n’est plus lu.

Ce qu’il faudrait pour le relever. Un jeu annoté de 300 observations, étiquetées par grandeur. Le protocole d’échantillonnage existe et a déjà servi trois fois ; le calibrage coûte moins d’un dollar. Ce qui manque est l’annotateur : un épidémiologiste ou un biostatisticien, environ deux jours de travail. Avec ce jeu, un classifieur devient mesurable — et s’il n’atteint pas une précision suffisante, nous le dirons plutôt que de l’expédier.

Ce que nous savonsESTIMÉ

12,1 % à 14,1 % de la carte    IC 95 % [5,7 – 21,0]    soit ~490 à 570 observations

Une prévalence de neuropathie chez les diabétiques est rangée sous « diabète ». La valeur est réelle et correctement extraite ; c’est son rattachement qui est faux. Cent observations tirées au sort, classées par un modèle dont la précision mesurée est de 71 à 82 %, puis relues par une seule personne, sans contrôle par un tiers.

Pourquoi ce n’est pas corrigé. Un marquage automatique se tromperait environ une fois sur quatre. Et une marque de jugement fausse ne se distingue pas d’une vraie sans relecture — elle est donc pire qu’une absence de marque, qui laisse au moins le lecteur en alerte.

Ce qu’il faudrait pour le relever. Qu’un clinicien relise 500 observations et tranche, pour chacune, si la maladie affichée est le sujet de la mesure ou la population étudiée. Nous avons le protocole, l’échantillon et le classifieur qui prépare le travail — il manque le relecteur. Cinq cents jugements, à raison d’une dizaine de secondes chacun, représentent moins de deux heures pour quelqu’un du métier.

Ce que nous savonsLU

« Malaria prevalence was higher in males (57.7%) than females (47.2%) »
        -> 57,7 est affiché comme LA prévalence du paludisme

La valeur est vraie ; sa qualification a disparu — un sous-groupe présenté comme l’ensemble. Environ 490 observations, mêmes vingt-cinq lectures que ci-dessus.

Pourquoi ce n’est pas corrigé. À la différence du défi 1, la valeur n’est pas fausse : elle est incomplète. La réparer demande de récupérer le qualificatif — « chez les hommes », « en milieu rural », « en 2019 » — qui existe dans la phrase mais n’a pas été extrait. C’est un changement du schéma d’extraction, pas une correction de données.

Ce qu’il faudrait pour le relever. Ajouter un champ strate au schéma, puis ré-extraire le sous-ensemble concerné. Le coût de calcul est faible — nos passes sur 40 000 observations coûtent une dizaine de dollars. Le travail préalable est de définir un vocabulaire de strates qui ne devienne pas un champ libre : sexe, milieu, tranche d’âge, période.

Ce que nous savonsCOMPTÉ

46 539   observations portent un pays
34 035   dont le pays est DÉDUIT, non écrit dans la phrase
11 848   dont il vient de l’affiliation des auteurs

Un article signé depuis Lagos n’étudie pas nécessairement le Nigeria. Le champ inherited le signale ligne à ligne, et les observations concernées peuvent être écartées d’une requête.

Pourquoi ce n’est pas corrigé. Ce n’est pas un défaut mais un arbitrage : sans cette déduction, deux observations sur trois n’auraient aucun pays et la carte serait vide. Le problème n’est pas la déduction, c’est que nous ne savons pas à quel point elle se trompe. Nous savons seulement que le taux d’erreur dépasse 6 %.

Ce qu’il faudrait pour le relever. Deux cents observations dont le pays est déduit, vérifiées contre le lieu d’étude réel. C’est de la lecture de résumés — aucune expertise clinique n’est requise. Un stagiaire, un bibliothécaire, un étudiant en master peut le faire en une journée. C’est, de tous les défis de cette page, celui dont le rapport valeur/effort est le meilleur : deux cents lectures transforment une inconnue en intervalle de confiance, sur un champ qui concerne 34 035 observations.

Ce que nous savonsCOMPTÉ

42 886   observations portent un type de mesure    (unité = %)
26 810   en effectifs        -> aucun type
 3 118   en taux             -> aucun type

Sans type de mesure, une observation ne peut pas atteindre la carte, quel que soit son contenu. Ce n’est pas un filtre de qualité : c’est le périmètre d’un traitement qui n’a pas été étendu.

Pourquoi ce n’est pas corrigé. Parce qu’étendre le classifieur ferait entrer un défaut connu avec lui. Parmi les observations en effectifs, environ 290 portent plusieurs valeurs pour une seule retenue — « 120 enfants, 55 avaient une suppression virale durable, 65 un échec », où la valeur conservée est la taille de l’échantillon.

Ce qu’il faudrait pour le relever. Dans l’ordre : reprendre l’extraction des claims à valeurs multiples, puis étendre le classifieur. Le second point coûte environ 0,30 $ de calcul et une journée de calibrage. Le premier demande une décision de modèle — une observation peut-elle porter plusieurs valeurs ? — et c’est cette décision, pas le calcul, qui bloque.

Ce que nous savonsCOMPTÉ

Quand un article mesure une co-infection — « prévalence de la triple infection VIH/VHB/VHC : 0,64 % » — cette valeur apparaît sous chacune des trois maladies : 11,1 % des observations de la carte, 16,4 % des profils pays. Ces lignes sont exactes, mais elles ne s’additionnent pas.

Pourquoi ce n’est pas corrigé. Deux cas très différents se ressemblent : une co-infection mesurée conjointement, où la valeur vaut pour chaque maladie, et une duplication, où une seule maladie est mesurée et l’autre n’est que le contexte. Les distinguer demande le même jugement que le défi 2.

Ce qu’il faudrait pour le relever. Rien de nouveau : le travail du défi 2 résout celui-ci gratuitement. Un seul relecteur débloque les deux.

Ce que nous savonsCOMPTÉ

   0 / 80   chercheurs rattachés à une institution en base
22,4 %      des observations ont un chemin vers un chercheur

Les 43 institutions du corpus n’apparaissent pas dans le graphe. Nous les avons retirées plutôt que d’afficher 34 points isolés : un rapprochement par nom d’établissement atteignait 9 correspondances sur 80.

Pourquoi ce n’est pas corrigé. Le lien chercheur → institution n’existe pas dans nos données, et le déduire d’un champ d’affiliation en texte libre produirait un rattachement faux neuf fois sur dix. Nous ne publions pas un lien que nous ne pouvons pas justifier.

Ce qu’il faudrait pour le relever. Rattacher 80 chercheurs à leur institution, à la main, en s’appuyant sur les identifiants ROR — que nous avons déjà. Quatre-vingts décisions : une après-midi. C’est le défi le plus court de cette page, et il ouvre une lecture entière du corpus.

Ce que nous savonsLIMITE DOCUMENTÉE

Certains concepts distinguent leur forme sévère par un concept séparé — pneumonie et pneumonie sévère — quand d’autres l’absorbent : paludisme couvre le paludisme grave. Deux taux ne sont donc pas toujours comparables entre concepts. Certains concepts sont volontairement imprécis, et ce n’est pas un défaut : sur trente observations de « diabète (non précisé) » relues, une seule permettait de distinguer le type 1 du type 2. L’imprécision est dans les publications, pas dans notre vocabulaire.

Pourquoi ce n’est pas corrigé. Uniformiser la convention touche paludisme, le premier concept du corpus. Le scinder sans avoir mesuré ce que cela déplace serait précisément le risque que ce projet cherche à éviter — nous l’avons fait une fois pour pneumonie, à petite échelle, et cela a suffi à en mesurer le coût.

Ce qu’il faudrait pour le relever. Une convention explicite — la sévérité est-elle un concept ou un attribut ? — puis une scission mesurée avant application. Le travail est le nôtre ; ce qui aiderait est un avis clinique sur les cas où la distinction change la lecture d’un chiffre.