Epistemic Approval Voting : Applications to Crowdsourcing Data Labeling
Vote par approbation épistémique : applications à l'étiquetage des données par crowdsourcing
Allouche, Tahar (2022), Epistemic Approval Voting : Applications to Crowdsourcing Data Labeling, doctoral thesis prepared under the supervision of Lang, Jérôme, Université Paris sciences et lettres
Author(s)
Allouche, TaharUnder the direction of
Lang, JérômeAbstract (FR)
Dans le vote par approbation épistémique, les agents sont confrontés à une question comportant plusieurs alternatives et une vérité objective cachée. Les votants sélectionnent les alternatives qui, suivant leurs croyances, peuvent correspondre à la vérité. Les croyances des votants sont agrégées pour estimer cette vérité. D’abord, nous considérons le cas où une seule alternative est correcte. Nous recommandons des règles d’agrégation qui attribuent plus de poids aux votants ayant sélectionné peu d’alternatives, car ils ont tendance à être plus précis. Il en découle de nouvelles méthodes fondées sur des résultats théoriques et validées par des expériences numériques. Ensuite, nous considérons le cas où la vérité est constituée de plusieurs alternatives (les notes d’un accord, les meilleurs candidats.). La taille de la sortie dans de telles situations peut être connue au préalable ou limitée par une contrainte exogène. Nous proposons des solutions adaptées à chacun de ces deux cas.Abstract (EN)
In epistemic approval voting, there is a hidden ground truth, and voters select the alternatives which, according to their beliefs, can correspond to the ground truth. These votes are then aggregated to estimate it. We first focus on tracking a simple truth, where exactly one alternative is correct. We advocate using aggregation rules that assign more weight to voters who select fewer alternatives, as they tend to be more accurate. This yields novel methods backed by theoretical results and experiments on image annotation datasets. Second, we consider cases where the ground truth contains multiple alternatives (e.g., notes in a chord, objectively best applicants). The size of the output can be either a prior knowledge on the number of true alternatives, or an exogenous constraint bearing on the output of the rule regardless ofthe true size of the ground truth. We propose suitable solution concepts for each of these two interpretations.Subjects / Keywords
Vote d'approbation épistémique; Estimation du maximum de vraisemblance; Crowdsourcing; Labellisation des données; Epistemic approval voting; Maximum likelihood estimation; Crowdsourcing; Data labelingRelated items
Showing items related by title and author.
-
Allouche, Tahar; Lang, Jérôme; Yger, Florian (2022) Communication / Conférence
-
Barrot, Nathanaël (2016-03) Thèse
-
Bourjot-Deparis, Julien (2015-11) Thèse
-
Apprentissage supervisé de données symboliques et l'adaptation aux données massives et distribuées Haddad, Raja (2016-11) Thèse
-
Allouche, Tahar; Escoffier, Bruno; Moretti, Stefano; Ozturk, Meltem (2020) Communication / Conférence