Utaemon: Unterschied Trial/Evaluator
Activity
changed milestone to %1 Woche - Korpus, Preprocessing, Ansatz, Plan, Baseline
assigned to @toyota
Hallo,
sorry für die späte Antwort. Wenn ihr an semantik@cl schreibt, sehe ich das persönlich selten, da ich in den separaten Ordner selten reinschaue. Also am besten bei weiteren Fragen direkt an unsere Mail-Adressen schreiben. Ich weiß nicht genau, was ihr mit Evaluation Dataset meint, vielleicht könnt ihr mir das nochmal genauer sagen? Ihr habt einerseits das Trial Dataset das ist quasi euer Testset während der Entwicklung (auch gern mal Development Set genannt). Das hat genau das gleiche Format wie die finalen Testdaten, die am 26. März veröffentlicht werden, sodass ihr euch darauf einstellen könnt. Andere Daten gibt es eigentlich nicht.
Falls euer Problem ein anderes war, schreibt mir nochmal, dann habe ich euch eventuell nicht richtig verstanden.
LG, Ines
Hast du schon geantwortet (mit einer Link zu Projektbeschreibung)?Evaluator Danke :)
@chernenko Hallo Utaemon,
ich habe jetzt einfach mal bei Vivi nachgefragt und die folgende Antwort bekommen: The "evaluator" is a script to evaluate the output of the trial data, to help with the system development. The trial data contains samples of input and output files, so the students can develop the system to use that specific type of input, and to produce the requested output. When we release the test data, they will not be allowed to change their systems anymore. They should just feed in the input test data, and send the output to us, and we will evaluate it (using the evaluator and the gold standard output).
Der "evaluator" ist also schon ein fertiges Skript, was die Performanz eures Systems messen kann und Systemergebnisse mit dem Goldstandard vergleicht. Damit wird euch also im Endeffekt nur Arbeit abgenommen :)
Vivi hat die Stelle auf der Kursseite jetzt auch etwas spezifiziert.
LG, Ines
