MODEL Aqwen3.5:9b
Bevor wir verschicken, muss ich die Testergebnisse überprüfen und schließlich zwei Fehler beheben.
Overview › Language & Translation › R37
Language & Translation · blind round
R37 · False friend: 'control' EN→DE
Answers below are anonymized and shuffled. Read, judge, pick a favourite — then scroll down and reveal the models.
Show task
Übersetze diesen Satz präzise ins Deutsche und achte auf den 'falschen Freund': 'Before we ship, I have to control the test results and eventually fix two bugs.' Gib nur die deutsche Übersetzung aus.
The answers — blind
Local models (Brain cluster) — identical prompt, anonymized order
MODEL Bmistral-small:24bDNF
No usable answer reached the harness (TIMEOUT). Counted as a did-not-finish.
MODEL Cqwen3:14b
Bevor wir es veröffentlichen/ausliefern, muss ich die Testergebnisse überprüfen und schließlich noch zwei Bugs beheben.
MODEL Dqwen3:8b
Bevor wir das Release starten, muss ich die Testergebnisse kontrollieren und schließlich zwei Bugs beheben.
MODEL Eqwen3-coder:30b
Bevor wir verschiffen, muss ich die Testergebnisse überprüfen und schließlich zwei Fehler beheben.
MODEL Fllama3.1:8bDNF
No usable answer reached the harness (TIMEOUT). Counted as a did-not-finish.
MODEL Ggemma4:26bDNF
No usable answer reached the harness (TIMEOUT). Counted as a did-not-finish.
MODEL Hdeepseek-r1:14b
„Bevor wir freigeben, muss ich die Testergebnisse prüfen und schließlich zwei Fehler beheben.“
Reference
Gold — the correct answerreference
Sinngemäß: 'Bevor wir ausliefern, muss ich die Testergebnisse ÜBERPRÜFEN und ggf./eventuell (= möglicherweise) zwei Fehler beheben.' Falsche Freunde: control≠kontrollieren(steuern) → prüfen; eventually≠eventuell → schließlich/letztlich. Hinweis: hier ist 'eventually' = schließlich.
Reveal the models— compare the answers first, then open. Names, blind scores and latencies are hidden until you do.
Who wrote what
| Blind label | Model | Blind score | Latency | Status |
|---|---|---|---|---|
| MODEL A | qwen3.5:9b | — | 1.6 s | OK |
| MODEL B | mistral-small:24b | — | — | DNF |
| MODEL C | qwen3:14b | — | 10.1 s | OK |
| MODEL D | qwen3:8b | — | 51.7 s | OK |
| MODEL E | qwen3-coder:30b | — | 1.7 s | OK |
| MODEL F | llama3.1:8b | — | — | DNF |
| MODEL G | gemma4:26b | — | — | DNF |
| MODEL H | deepseek-r1:14b | — | 50.2 s | OK |
Verdict
False friends — nuanced, several phrasings are acceptable. Deliberately unscored; the gold answer serves as reference.