Overview › Knowledge & Logic › R42
Knowledge & Logic · blind round

R42 · All but nine (word-problem trap)

blind round 10/11 local models answered task written in German

Every answer below carries the name of the model that wrote it. Blind refers to the scoring: the review was done without knowing which model produced which answer — the published result names them.

1 of the 11 local models delivered nothing through our test harness in this round — for reasons that lie with our setup, not with the models. Those cards are marked DNF like any other, but they are not evidence about those models — the reason is noted on the card itself.

A frontier reference answered the same task (Claude Opus 5) — outside the field and deliberately unscored, further down the page.

Show task
Ein Bauer hat 17 Schafe. Alle bis auf 9 sterben. Wie viele Schafe sind noch am Leben? Antworte mit der Zahl und einem kurzen Satz.

The answers

Local models (Brain cluster) — identical prompt, shuffled order (the sequence is not a ranking)
mistral-small:24b
Die Antwort ist: 9. Es stirbt, es bleiben also alle 9 Schafe am Leben.
llama3.1:8b
9

Es leben noch 9 Schafe am Leben, da alle anderen gestorben sind.
qwen3.5:9b
9
Neun Schafe sind noch am Leben.
gemma4:26b
9 Schafe sind noch am Leben.
qwen3:14b
9. Es sind noch neun Schafe am Leben.
deepseek-r1:14b
**Lösung:**

Der Bauer hat insgesamt **17** Schafe. Davon sterben alle bis auf **9**. 

\[
\boxed{9}
\]

Es leben **9** Schafe.
qwen3-coder:30b
9. Die neun Schafe, die nicht starben, sind noch am Leben.
qwen3:8bharness
No answer reached us (ERR) — and the reason lies with our setup, not with the model: reasoning consumed the entire token budget and the answer stayed empty; the gateway rejects budgets above 3000 tokens Counted as a did-not-finish, but it is not evidence about this model.
deepseek-r1:32b
Um die Anzahl der noch am Leben befindlichen Schafe zu berechnen, ziehen wir die Anzahl der verstorbenen Schafe von der Gesamtzahl ab:

\[
17 \text{ (Gesamtschafe)} - 9 \text{ (Verstorbene)} = 8
\]

**Antwort:**  
\boxed{8}
qwq:32b
9. Es sind noch 9 Schafe am Leben.
Outside the Brain cluster — same task, same character budget, collected through their own tooling (response times not comparable)
Claude Sonnet 5frontier reference
9. "Alle bis auf 9" bedeutet, dass genau 9 Schafe überleben, unabhängig von der ursprünglichen Anzahl von 17.
Claude Fable 5frontier reference
9. „Alle bis auf 9 sterben" bedeutet, dass genau 9 Schafe übrig bleiben und am Leben sind.
Claude Haiku 4.5frontier reference
9 Schafe. "Alle bis auf 9" bedeutet, dass 9 Schafe am Leben bleiben.
Reference
Gold — the correct answerreference
9 Schafe. 'Alle bis auf 9' bedeutet: 9 bleiben übrig.
Results at a glance— every model in this round with score, response time and status.

Who wrote what

ModelBlind scoreLatencyStatus
mistral-small:24b —27.2 sOK
llama3.1:8b —17.7 sOK
qwen3.5:9b 10.05.8 sOK
gemma4:26b 10.0131.8 sOK
qwen3:14b 10.013.7 sOK
deepseek-r1:14b —20.2 sOK
qwen3-coder:30b 10.08.3 sOK
qwen3:8b ——harness
deepseek-r1:32b —66.7 sOK
command-r:35b —53.1 sOK
qwq:32b —54.3 sOK
Verdict

4 of 4 answering local models matched the gold answer (blind score ≥ 8): gemma4:26b, qwen3-coder:30b, qwen3:14b, qwen3.5:9b.

Frontier reference — outside the blind field

These models answered the identical prompt outside the blind field. They are deliberately not scored and not part of the blind comparison — they are there so you can see where a frontier model lands on the same task.

Collected differently from the blind field: the local models run through a plain API harness, the frontier references through a context-free agent, one shot, no retries. Response times are therefore not comparable and are not shown. On two English tasks the reference answer came back in German — an artefact of that harness, flagged on the affected rounds.
Claude Opus 5frontier reference
9 Schafe sind noch am Leben – "alle bis auf 9 sterben" bedeutet, dass genau diese 9 überleben.