Language & Translation · blind round

R38 · Register shift: formal → casual (DE)

blind round 10/11 local models answered task written in German

Every answer below carries the name of the model that wrote it. Blind refers to the scoring: the review was done without knowing which model produced which answer — the published result names them.

1 of the 11 local models delivered nothing through our test harness in this round — for reasons that lie with our setup, not with the models. Those cards are marked DNF like any other, but they are not evidence about those models — the reason is noted on the card itself.

A frontier reference answered the same task (Claude Opus 5) — outside the field and deliberately unscored, further down the page.

Show task

Formuliere diesen förmlichen Satz in lockeres, freundliches Du-Deutsch um (eine Chat-Nachricht an eine Kollegin), ohne die Kernaussage zu verändern: 'Sehr geehrte Frau Müller, hiermit teile ich Ihnen mit, dass die Besprechung auf morgen 10 Uhr verschoben werden musste.' Gib nur die umformulierte Nachricht aus.

The answers

Local models (Brain cluster) — identical prompt, shuffled order (the sequence is not a ranking)

qwen3:14b

Hey! Kurze Info: Das Meeting muss leider auf morgen um 10 Uhr verschoben werden. Bis dann! 😊

llama3.1:8b

"Hallo Lena, muss leider kurz meldchen - die Besprechung wird morgen um 10 auf den Nachmittag verschoben."

mistral-small:24b

Hallo Frau Müller, leider mussten wir die Besprechung auf morgen 10 Uhr verschieben.

qwen3:8bharness

No answer reached us (ERR) — and the reason lies with our setup, not with the model: reasoning consumed the entire token budget and the answer stayed empty; the gateway rejects budgets above 3000 tokens Counted as a did-not-finish, but it is not evidence about this model.

gemma4:26b

Hi [Name], unser Meeting wurde auf morgen um 10 Uhr verschoben.

deepseek-r1:14b

Hey Susi, die Besprechung ist leider auf morgen um 10 Uhr verschoben worden. Hoffe, dass es okay ist!

qwen3-coder:30b

Hey [Name der Kollegin], kleine Info: Unser Meeting muss auf morgen um 10 Uhr verschoben werden! 😊

qwen3.5:9b

Hey [Name der Kollegin], nur kurze Info: Das Meeting muss leider auf morgen um 10 Uhr verschoben werden! 😊

deepseek-r1:32b

Hallo Lisa, wollte dich informieren, dass die Besprechung auf morgen um 10 Uhr verschoben wurde. Viele Grüße, [Name]

qwq:32b

Hey Laura, die Besprechung fällt leider auf morgen 10 Uhr um. Bis dann!

command-r:35b

Hey, ich muss dir leider mitteilen, dass sich der Termin für unser Meeting auf morgen früh um 10 Uhr verschiebt. Tut mir leid für die spontane Änderung!

Outside the Brain cluster — same task, same character budget, collected through their own tooling (response times not comparable)

GPT-5.5 (Codex)frontier reference

Hallo Frau Müller, die Besprechung musste leider auf morgen um 10 Uhr verschoben werden.

Claude Sonnet 5frontier reference

Hey, kurzes Update: Wir mussten unser Meeting von heute auf morgen 10 Uhr verschieben. Passt das bei dir?

Claude Fable 5frontier reference

Hi, kurze Info: Unser Meeting musste leider verschoben werden – wir treffen uns jetzt morgen um 10 Uhr. Liebe Grüße!

Claude Haiku 4.5frontier reference

Hi, kurze Info: das Meeting mussten wir auf morgen 10 Uhr verschieben.

Reference

Gold — the correct answerreference

Locker & per Du, gleiche Info, z. B.: 'Hi Anna, kurze Info: das Meeting mussten wir auf morgen 10 Uhr verschieben.' Kein 'Sie', kein Behördendeutsch, Zeit erhalten.

Results at a glance— every model in this round with score, response time and status.

Who wrote what

Model	Blind score	Latency	Status
qwen3:14b	—	11.0 s	OK
llama3.1:8b	—	29.1 s	OK
mistral-small:24b	—	40.6 s	OK
qwen3:8b	—	—	harness
gemma4:26b	—	108.2 s	OK
deepseek-r1:14b	—	131.2 s	OK
qwen3-coder:30b	—	1.8 s	OK
qwen3.5:9b	—	13.1 s	OK
deepseek-r1:32b	—	72.2 s	OK
qwq:32b	—	80.9 s	OK
command-r:35b	—	81.4 s	OK

Verdict

Register rewrite (formal to casual) — a matter of style with no single correct answer. Deliberately unscored; the gold answer serves as reference.

Frontier reference — outside the blind field

These models answered the identical prompt outside the blind field. They are deliberately not scored and not part of the blind comparison — they are there so you can see where a frontier model lands on the same task.

Collected differently from the blind field: the local models run through a plain API harness, the frontier references through a context-free agent, one shot, no retries. Response times are therefore not comparable and are not shown. On two English tasks the reference answer came back in German — an artefact of that harness, flagged on the affected rounds.

Claude Opus 5frontier reference

Hi Frau Müller – kurze Info: Die Besprechung mussten wir leider verschieben, sie ist jetzt morgen um 10 Uhr. Passt das bei dir?