Language & Translation · blind round

R37 · False friend: 'control' EN→DE

blind round 11/11 local models answered task written in German

Every answer below carries the name of the model that wrote it. Blind refers to the scoring: the review was done without knowing which model produced which answer — the published result names them.

A frontier reference answered the same task (Claude Opus 5) — outside the field and deliberately unscored, further down the page.

Show task

Übersetze diesen Satz präzise ins Deutsche und achte auf den 'falschen Freund': 'Before we ship, I have to control the test results and eventually fix two bugs.' Gib nur die deutsche Übersetzung aus.

The answers

Local models (Brain cluster) — identical prompt, shuffled order (the sequence is not a ranking)

qwen3.5:9b

Bevor wir verschicken, muss ich die Testergebnisse überprüfen und schließlich zwei Fehler beheben.

mistral-small:24b

Bevor wir versenden, muss ich die Testergebnisse überprüfen und möglicherweise zwei Fehler beheben.

qwen3:14b

Bevor wir es veröffentlichen/ausliefern, muss ich die Testergebnisse überprüfen und schließlich noch zwei Bugs beheben.

qwen3:8b

Bevor wir das Release starten, muss ich die Testergebnisse kontrollieren und schließlich zwei Bugs beheben.

qwen3-coder:30b

Bevor wir verschiffen, muss ich die Testergebnisse überprüfen und schließlich zwei Fehler beheben.

llama3.1:8b

Bevor wir verschicken, muss ich die Testergebnisse überprüfen und zwei Fehlerbehebungen durchführen.

gemma4:26b

Bevor wir ausliefern, muss ich die Testergebnisse überprüfen und schließlich zwei Fehler beheben.

deepseek-r1:14b

„Bevor wir freigeben, muss ich die Testergebnisse prüfen und schließlich zwei Fehler beheben.“

qwq:32b

Bevor wir liefern, muss ich die Testergebnisse überprüfen und gegebenenfalls zwei Bugs beheben.

command-r:35b

"Bevor wir versenden, muss ich die Testergebnisse überprüfen und am Ende zwei Fehler beheben."

deepseek-r1:32b

Bevor wir liefern, muss ich die Testergebnisse kontrollieren und schließlich zwei Bugs beheben.

Outside the Brain cluster — same task, same character budget, collected through their own tooling (response times not comparable)

GPT-5.5 (Codex)frontier reference

Bevor wir veröffentlichen, muss ich die Testergebnisse überprüfen und schließlich zwei Fehler beheben.

Claude Sonnet 5frontier reference

Bevor wir ausliefern, muss ich die Testergebnisse prüfen und möglicherweise zwei Fehler beheben.

Claude Fable 5frontier reference

Bevor wir ausliefern, muss ich die Testergebnisse überprüfen und schließlich noch zwei Fehler beheben.

Claude Haiku 4.5frontier reference

Bevor wir ausliefern, muss ich die Testergebnisse überprüfen und am Ende zwei Fehler beheben.

Reference

Gold — the correct answerreference

Sinngemäß: 'Bevor wir ausliefern, muss ich die Testergebnisse ÜBERPRÜFEN und ggf./eventuell (= möglicherweise) zwei Fehler beheben.' Falsche Freunde: control≠kontrollieren(steuern) → prüfen; eventually≠eventuell → schließlich/letztlich. Hinweis: hier ist 'eventually' = schließlich.

Results at a glance— every model in this round with score, response time and status.

Who wrote what

Model	Blind score	Latency	Status
qwen3.5:9b	—	1.6 s	OK
mistral-small:24b	—	13.3 s	OK
qwen3:14b	—	10.1 s	OK
qwen3:8b	—	51.7 s	OK
qwen3-coder:30b	—	1.7 s	OK
llama3.1:8b	—	25.7 s	OK
gemma4:26b	—	69.8 s	OK
deepseek-r1:14b	—	50.2 s	OK
qwq:32b	—	73.1 s	OK
command-r:35b	—	72.7 s	OK
deepseek-r1:32b	—	94.3 s	OK

Verdict

False friends — nuanced, several phrasings are acceptable. Deliberately unscored; the gold answer serves as reference.

Frontier reference — outside the blind field

These models answered the identical prompt outside the blind field. They are deliberately not scored and not part of the blind comparison — they are there so you can see where a frontier model lands on the same task.

Collected differently from the blind field: the local models run through a plain API harness, the frontier references through a context-free agent, one shot, no retries. Response times are therefore not comparable and are not shown. On two English tasks the reference answer came back in German — an artefact of that harness, flagged on the affected rounds.

Claude Opus 5frontier reference

Bevor wir ausliefern, muss ich die Testergebnisse prüfen und eventuell zwei Bugs beheben.