Uno dei problemi affrontati dal Named Entity Recognition è l'estrazione di informazioni accurate dai testi che aiutano gli esseri umani nei loro processi quotidiani. Uno di questi processi di estrazione delle informazioni è rappresentato dalle revisioni del testo che si verificano in alcuni domini, come quello educativo e della polizia. Queste revisioni richiedono tempo e sono soggette a errori. Questo lavoro mira a decidere una revisione finale utilizzando le migliori classificazioni delle revisioni parallele dello stesso testo effettuate da uno o più revisori. Un passo importante è la creazione di una metrica che aiuti nella scelta delle classificazioni e generi un valore di concordanza che possa essere analizzato. Viene inoltre effettuato uno studio bibliografico delle metriche esistenti che possono aiutare nella creazione della nuova metrica.