Seit TIMSS und PISA haben in Deutschland Evaluationen schulischer Kompetenzen im Sinne von Standortbestimmungen zunehmend an Bedeutung gewonnen. Im Land Berlin wurden mit dem Schuljahr 2005/2006 jährlich stattfindende Vergleichsarbeiten in den Fächern Deutsch, Erste Fremdsprache und Mathematik für die 6. und 10. Klassen (inklusive der einjährigen Berufsfachschulen) eingeführt. Im Mittelpunkt der Arbeit steht die Analyse der Berliner Vergleichsarbeit der 10. Klassen in Mathematik zum Ende des Schuljahres 2004/2005. Fragen nach der Fairness von Vergleichsarbeiten sowie deren Validität im Sinne einer Abbildung von tatsächlich im Unterricht bearbeiteter Themen (curriculare Validität) stellen sich ebenso wie Überlegungen zur Nützlichkeit solcher Arbeiten für den einzelnen Schüler und für den Lehrer im Sinne der konkreten Weiterentwicklung seiner diagnostischen Kompetenzen und seines Unterrichts. Die Analyse der Berliner Vergleichsarbeit zeigt die grundsätzlichen Probleme von Vergleichsarbeiten bei der Einhaltung von Gütekriterien auf.