Zum Inhalt springen
Eigenentwicklung 100 % lokal Benchmark v2

Unsere eigene KI. Auf dem Laptop. Ohne Cloud.

Benchmark v2 ist eine KI-Umgebung, die ich selbst entwickelt habe, vom Orchestrator, der für jede Aufgabe das passende Sprachmodell wählt, bis zur eigenen Textverarbeitung.

Jens Ferner · Rechtsanwalt und Softwareentwickler · Alles läuft auf eigenen Rechnern, und kein Wort verlässt das Haus.

jf@mbp16pro – benchmark v2

benchmark --status

orchestratoraktivwählt für jede Aufgabe das passende Modell

pförtneraktivprüft jede Anfrage, bevor ein Modell sie sieht

verbund3 MacsM5 Pro 48 GB · M1 Pro 16 GB · M1 16 GB

modelle291gemessen in 3.720 Läufen · 50 Familien

eigene5selbst trainiert: die Ferner-LLM-Familie

cloud0 Bytenichts verlässt den Rechner

✓ bereit.

700.000+Zeilen Code in 15 Werkzeugen

291Sprachmodelle gemessen

3.720Messläufe auf 3 Macs

0Byte Daten in die Cloud

Logo von Benchmark v2: ein Falkenkopf aus geometrischen Flächen in Nachtblau, Türkis und Kupfer vor einer kupfernen Sonne, daneben der Schriftzug „Benchmark v2 – Local AI-Framework, vermessen und orchestriert“.

Die Idee

Aus einem Test wurde ein Dirigent.

Ziel sind echte KI-Lösungen auf Consumer-Hardware, ohne Rechenzentrum, Abo oder Datenabfluss, und der Weg dahin führte über Messungen.

1Test Wie schnell ist welches Modell? Benchmark begann als reine Testumgebung: Welches Sprachmodell läuft auf welchem Mac wie schnell und wie gut?
2Messen 3.720 Messläufe. 291 Modelle, benotet je Aufgabe: juristische Texte, Zusammenfassen, Übersetzen, Programmieren, Denken und Sicherheit.
3Wählen Der Orchestrator. Aus den Messwerten entstand er: Mit dem Pförtner leitet er jede Anfrage an das passende Modell weiter und verteilt die Last. Deshalb läuft gute KI selbst auf 16 GB RAM.

So läuft eine Anfrage

Eingang Anfrage Text, Akte, Diktat oder Frage
Schritt 1 Pförtner sucht eingeschleuste Anweisungen (Prompt-Injection)
Schritt 2 Orchestrator wählt nach Aufgabe, Note, Tempo und Speicher
  • Jura: Ministral 3 14B, Command R oder Aya Expanse
  • Zusammenfassen: Granite 3.1 MoE, LFM2 8B oder Nemotron
  • Übersetzen: Tiny Aya Water, TranslateGemma oder Qwen 4B
  • Stil: Ferner Stil v4, Clearwriter oder Ministral 3B

Consumer-Hardware

16 GB reichen. 48 GB fliegen.

Dasselbe Modell auf drei Macs, gemessen in Token pro Sekunde (Tok/s). Ab 9 Tok/s gilt ein Modell im Benchmark als lauffähig. Auf Apple-Rechnern teilen sich Prozessor und Grafik den Speicher; für Modelle nutzbar sind rund 11 GB von 16 GB und 36 GB von 48 GB.

M5 Pro · 48 GBMacBook Pro 16″86 Modelle gemessen

M1 Pro · 16 GBMacBook Pro 16″216 Modelle gemessen

M1 · 16 GBMacBook Pro 13″105 Modelle gemessen

Tempo-Rennen · gleiche Modelle, drei Macs
ModellM5 Pro · 48 GBM1 Pro · 16 GBM1 · 16 GB
LFM2.5 8B 4,8 GB158,577,744,5
Tiny Aya Water 2,0 GB94,843,418,3
Gemma 3 4B 3,1 GB85,030,514,9
Ministral 3 8B 5,6 GB46,818,98,9
Qwen 3.5 9B 6,1 GB48,619,58,2

Tok/s, Durchschnitt aus eigenen Messungen · Stand 13.10.2026 · Strichlinie: 9 Tok/s, ab hier „lauffähig“

Das größte Modell, das noch flüssig läuft

48GB M5 Pro Nemotron 3 Nano 30B 22,6 GB · 72 Tok/s
16GB M1 Pro Gemma 4 E4B 9,0 GB · 24 Tok/s
16GB M1 Gemma 3n E4B 7,5 GB · 13 Tok/s

Aus dem Benchmark · Reiter „Teilen“

Welche lokale KI was kann.

Diese Karten baut der Benchmark selbst, auf Knopfdruck und im Format für LinkedIn. Jede Zahl stammt aus eigenen Messungen, Stand 13.10.2026. Ein Klick vergrößert.

  • Highlight-Grafik Mistral-Check, Kategorie Auf Deutsch spezialisiert: Ministral 3 3B statt Mistral Nemo 12B – gleiche Note, 2,4-mal so schnell, 4 GB kleiner. Empfehlung je Mac: 16 GB Ministral 3 3B, 32 GB Ministral 3 3B, 48 GB Mistral Nemo 12B.

    Familie · Mistral AI, Paris

    Europa kann KI.

    Ministral 3 3B erreicht auf Deutsch dieselbe Note wie Mistral Nemo 12B, ist dabei 2,4-mal so schnell und 4 GB kleiner und läuft schon auf 16 GB.

    „Meine persönliche Anmerkung: Europäische KI muss sich nicht verstecken. Mistral und Ministral haben richtig gutes Deutsch drauf.“

  • Highlight-Grafik Rangliste Stil und Grammatik: Platz 1 Muse Glimmer 30B (17,8 GB, 29 Tok/s), Platz 2 Ferner Deutsch Stil v4 2B (3,2 GB), Platz 3 Qwen3.5 9B.

    Rangliste · Stil & Grammatik

    Platz 2: selbst trainiert.

    Direkt hinter einem 30B-Modell mit 17,8 GB landet Ferner Deutsch Stil v4, ein eigenes Modell mit 3,2 GB, trainiert auf gutes Deutsch.

  • Highlight-Grafik „Meine Wahl für Jura“: Ministral 3 14B Instruct als bestes Modell (8,5 GB, 35 Tok/s); weitere Empfehlungen Qwen2.5 Coder 7B, Messsieger der juristischen Textanalyse, und GPT OSS 20B.

    Meine Wahl · Juristische Texte

    Messung trifft Praxis.

    Im Benchmark gewinnt ein Programmiermodell die juristische Textanalyse. Für die Arbeit an juristischen Texten ist meine Wahl Ministral 3 14B Instruct, wieder ein Modell von Mistral AI aus Paris, mit 8,5 GB und 35 Tok/s auf dem M5 Pro.

  • Highlight-Grafik Qwen-Check: Qwen 3 VL 2B statt Qwen 2.5 14B – bessere Note, 6,4-mal so schnell. Empfehlung je Mac: 16 GB Qwen 2.5 3B, 32 GB Qwen 3 VL 2B, 48 GB Qwen 3.5 35B.

    Familie · Qwen

    Klein schlägt groß.

    Für jede Modellfamilie zeigt der Benchmark, welches Modell auf 16, 32 oder 48 GB das beste ist. Hier schlägt Qwen 3 VL 2B das siebenmal größere Qwen 2.5 14B: bessere Note, 6,4-mal so schnell.

  • Highlight-Grafik Schutzfilter: 18 Modelle geprüft, 7 bestehen, 8 fallen durch. Platz 1 Ornith 1.5 9B: 100 Prozent erkannt, 0 Prozent Fehlalarme.

    Sicherheit · Schutzfilter

    Der Pförtner.

    Bevor ein Text ein Modell erreicht, prüft ihn der Pförtner auf eingeschleuste Anweisungen. Getestet mit 25 Angriffen und 84 harmlosen Texten je Modell: 7 von 18 bestehen, der Sieger erkennt alle Angriffe ohne einen Fehlalarm.

  • Highlight-Grafik Denkprüfung Logik bis 12 GB: Ministral 3 14B Reasoning löst 100 Prozent, dahinter NVIDIA Nemotron Nano 9B v2 und Openthinker 7B mit je 93 Prozent.

    Denkprüfung · Logik bis 12 GB

    100 % gelöst.

    15 Logikaufgaben je Modell, die Lösung wird ohne KI-Richter nachgerechnet. Ministral 3 14B im Denkmodus löst alle (Teilmessung, vorläufig).

  • Highlight-Grafik „Meine Wahl fürs Zusammenfassen“: Granite 3.1 MoE 3B als bestes Modell (1,9 GB, 207 Tok/s); weitere Empfehlungen PHI4 Mini, Messsieger im Zusammenfassen, und Clearwriter.

    Meine Wahl · Zusammenfassen

    1,9 GB. 207 Tok/s.

    Meine Wahl fürs Zusammenfassen ist Granite 3.1 MoE von IBM. Als Mixture-of-Experts-Modell rechnet es je Wort nur mit einem Teil seiner Gewichte und erreicht so 207 Tok/s auf dem M5 Pro, selbst auf dem M1 mit 16 GB noch 51 Tok/s.

  • Highlight-Grafik Tempo: Lfm2.5 Thinking 1.2B schreibt 278 Token pro Sekunde auf einem M5 Pro; dahinter LFM2 1.2B und Granite3.1 MoE 3B.

    Rangliste · Tempo

    278 Token pro Sekunde.

    So schnell schreibt ein 0,7-GB-Modell auf dem M5 Pro, doch seine Note liegt bei 2,1 Sternen, und deshalb wählt der Orchestrator je Aufgabe.

Deutsch-Test · 59 Modelle

Deutsch, von Hand gelesen.

Vier Aufgaben je Modell: zusammenfassen, eine Mail schreiben, einen Text korrigieren und indirekte Rede im Konjunktiv bilden. Jede Antwort wurde von Hand gelesen und mit bis zu 25 Punkten je Aufgabe bewertet, gemessen am 5. November 2026 auf dem M5 Pro mit 48 GB.

Den Test gewinnt ein deutsches Modell. Sakura-Kolibri-1 erreicht 94,8 von 100 Punkten, schreibt eine dichte Zusammenfassung in fünf Sätzen und eine knappe, fehlerfreie Mail und braucht dafür 0,52 Joule je Token. Dicht dahinter liegt EuroLLM 9B, ein Modell eines EU-Konsortiums, mit 94,0 Punkten bei nur 7,4 GB; seine Korrektur stimmt Buchstabe für Buchstabe mit der Musterlösung überein. Luciole 8B aus Frankreich kommt mit 6,2 GB auf 84,8 Punkte und setzt den Konjunktiv fast lehrbuchreif. 23 der 59 Modelle stammen aus Europa, und an der Spitze ist es eng.

Eine Rangliste misst allerdings nur, was sie misst: Beim treuen Umschreiben eines vorgegebenen Textes landet Kolibri auf Rang 4, und gutes Deutsch sagt noch nichts darüber, ob eine Aussage stimmt. Deshalb wählt der Orchestrator je Aufgabe.

Europas beste Modelle im Deutsch-Test
ModellPunkteTok/sJ/Token
Sakura-Kolibri-1 DE · 22,5 GB94,8760,52
SauerkrautLM Nemo 12B DE · 9,9 GB94,3301,26
EuroLLM 9B EU · 7,4 GB94,0410,75
Ministral 3 8B Reasoning FR · 9,0 GB93,5320,92
Mistral Small 3.2 24B FR · 13,3 GB92,3282,04
Ministral 3 14B Reasoning FR · 9,1 GB90,5301,42
EuroLLM 22B EU · 12,8 GB88,7221,68
Mixtral 8x7B FR · 26,4 GB87,8351,18
Luciole 8B FR · 6,2 GB84,8460,70

Punkte von 100 · Tok/s beim Schreiben · Energie in Joule je Token · M5 Pro 48 GB · Stand 05.11.2026 · SauerkrautLM ist ein deutsches Nachtraining eines Grundmodells von außerhalb Europas.

Grafik Europas Modelle im Deutsch-Test: 23 von 59 Modellen stammen aus Europa, 10 aus Deutschland, 9 aus Frankreich, 3 von einem EU-Konsortium, 1 aus der Schweiz. Platz 1 Sakura-Kolibri-1 mit 94,8 Punkten, Platz 2 SauerkrautLM Nemo 12B mit 94,3, Platz 3 EuroLLM 9B mit 94,0. Dazu je Modell Speicherbedarf, Tempo, Energie je Token, Wärme, CPU- und GPU-Last.
Alle 23 europäischen Modelle mit Speicher, Tempo, Energie und Wärme. Zum Vergrößern antippen.

Energie

Ein Laptop, 13 bis 18 Watt.

Gemessen am 3. und 4. November 2026 auf einem MacBook Air (M4, 16 GB) am Netzteil, mit 15 Modellen beim Schreiben unter Volllast.

18Watt Leistung Jedes Modell. Zwischen 13 und 18 Watt nimmt das MacBook Air auf, während ein Modell schreibt, gleich welches; die Grafik allein braucht 10 bis 14 Watt.
0,31Joule je Token Mixture of Experts. Modelle, die je Wort nur mit einem Teil ihrer Gewichte rechnen, brauchen im Median 0,31 Joule je Token, dichte Modelle 0,69 Joule.
−71% gleiche Aufgabe Die Akte am Stück. Eine Akte als Ganzes statt in zehn Stücken zusammenfassen zu lassen kostet 622 statt 2.135 Joule, also 0,17 statt 0,59 Wattstunden, bei gleich guter Antwort.

Gespart wird vor allem am Weg zur Antwort. Wer die Akte am Stück übergibt oder fünf Fragen als ein Gespräch stellt, braucht für dasselbe Ergebnis 30 bis 71 Prozent weniger Energie, und bei der ganzen Akte fand das Modell sogar vier statt zwei von vier Fakten.

Grafik Gleiches Ergebnis, ein Bruchteil der Energie: Joule je Aufgabe auf dem üblichen Weg und mit Hebel. Fünf Fragen zu einer Akte 2.448 gegen 1.276 Joule (minus 48 Prozent), Akte zusammenfassen 2.135 gegen 622 (minus 71 Prozent), fünf Fragen als Gespräch 1.319 gegen 918 (minus 30 Prozent), Fachaufsatz zusammenfassen 1.119 gegen 624 (minus 44 Prozent), weitere Aufgaben minus 40 bis 52 Prozent.
Dieselbe Aufgabe auf dem üblichen Weg und mit Hebel, in Joule. Zum Vergrößern antippen.

15 Werkzeuge · über 700.000 Zeilen Code

Alles selbst gebaut.

Benchmark v2 ist das Herz einer ganzen Werkstatt. Jedes Werkzeug fragt über eine gemeinsame Schnittstelle den Orchestrator und bekommt das passende Modell. Der Balken zeigt den Umfang des Codes.

Eigene Textverarbeitung · 185.000 Zeilen

Unsere eigene Textverarbeitung. Mit KI, die das Haus nicht verlässt.

Selbst entwickelt, im Browser und inzwischen auch als eigene App. Sie öffnet DOCX-, RTF- und ODT-Dateien und speichert sie verlustfrei, mit Versionen, Fußnoten, Kommentaren, Formatvorlagen und gemeinsamem Schreiben im Heimnetz. Der Reiter KI prüft, überarbeitet, übersetzt und fasst zusammen, mit einem Faktenchecker und einem Redakteur, der juristische Fundstellen prüft. Welches Modell rechnet, entscheidet der Orchestrator.

Startseite der eigenen Textverarbeitung: Neues Dokument, Neu aus Vorlage, Formatvorlagen-Sets, Öffnen, Übersetzen, Parascriba, ParaScratch und ParaLex; unten der Hinweis „KI: Benchmark“.
Startseite der Textverarbeitung
Parascriba: links ein juristischer Beispieltext, rechts das Ergebnisfeld; oben die Regler Glätten, Neu formulieren, Gründlich neu, Stil, Ton, Anrede, Länge, Fassungen, Stilregeln und Begriffe.
Parascriba, das Umschreib-Werkzeug

Prüfen

  • Faktenchecker
  • Redakteur: prüft juristische Fundstellen (Entscheidungen mit Gericht, Datum und Aktenzeichen)
  • Rechtschreibung, Grammatik, Stilkanon und Stilmaß
  • Lektorat durch ein Sprachmodell als Anmerkungen am Text

Formulieren

  • Parascriba: umschreiben und glätten, zugeschnitten auf juristische Texte
  • Übersetzen und Zusammenfassen

Recherchieren

  • Fragen an die eigenen Bestände, Archiv und Fachnews
  • Ergebnisse mit Fundstelle – „Ins Dokument“ setzt sie als Fußnote
  • ParaLex: Wörterbuch mit Synonymen, ganz ohne Netz

Schreiben

  • DOCX, RTF, ODT und DOC – verlustfrei
  • Version bei jedem Öffnen und Speichern: Nichts geht verloren
  • Vorlagen mit KI entwerfen
  • Läuft im Browser und als eigene App

Was Parascriba nie anfasst: Normzitate, Aktenzeichen, ECLI, wörtliche Zitate, Beträge und Daten gehen nur als Platzhalter an das Modell. Danach prüft Parascriba Zahlen, Verneinungen und Modalverben, damit aus „nicht“ nie „doch“ wird.

Selbst trainiert

Die Ferner-LLM-Familie.

Kleine Sprachmodelle, selbst trainiert auf gutes Deutsch mit Fokus auf Grammatik und Stil. Trainiert mit dem eigenen LLM-Trainer per LoRA: Der Mac plant, ein PC mit Grafikkarte rechnet, das fertige Modell läuft in Ollama.

$ ferner --steckbrief deutsch_stil_v4

modell
ferner_deutsch_stil_v4:2b
ziel
gutes Deutsch – Grammatik und Stil
größe
3,2 GB · Q4_K_M
kontext
131.072 Token
note
★ 5,0 in Stil · Platz 2 der Rangliste
training
LoRA · eigener LLM-Trainer · Mac + PC
  1. v12,5 GB · erster Wurf, 60 Tok/s auf dem M1 Pro
  2. v2Denkmodus und 128.000 Token Kontext
  3. v3★ 5,0 für Deutsch
  4. v4★ 5,0 für Stil · Platz 2

Klare Grenzen

Was Benchmark nicht ist.

Automatisierte Antworten an Mandantengibt es nicht
Vertragsentwürfe im Mandatnur nach Vereinbarung
Cloud, Abo, fremde Server100 % lokal
Verkauf, Lizenz, Weitergabenie angeboten

Benchmark v2 ist eine eigene Entwicklung von Jens Ferner – und bleibt es. Sie wird nicht zur Verfügung gestellt und niemals angeboten, weder als Software noch als Dienstleistung. Im Umgang mit Mandanten gibt es keine automatisierten Antworten. In der Mandatsarbeit kommt Benchmark nur zum Einsatz, wenn ein Unternehmen es für einen Vertragsentwurf ausdrücklich vereinbart; den Entwurf aus meinen eigenen Vorlagen prüfe und verantworte ich Satz für Satz.

Die Seite gibt es trotzdem, weil sie zeigt, wie ich arbeite: Ich verstehe Technik aus der Akte und baue sie selbst. Das zahlt sich aus, wenn es in einer Verteidigung um Chatverläufe, Datenträger, Metadaten oder Cybercrime geht.

LinkedIn · /in/jensferner Jens Ferner Strafverteidigung, IT-Recht und lokale KI (öffnet in neuem Fenster) wer das baut $ profil Strafverteidiger · IT-Anwalt · Softwareentwickler