Notizen
Nachgerechnet statt behauptet.
Was mir beim Arbeiten aufgefallen ist und was davon einer Prüfung standhält: was funktioniert, was nicht, und was es tatsächlich kostet. Keine Ankündigungen, keine Trendbeiträge.
Wenn die Antwort nicht in einem Absatz steht
Ähnlichkeitssuche kann nicht beantworten, was kaputtgeht, wenn man dies hier ändert. Ein Graph kann es. Ich habe graphify über den Quelltext dieser Website laufen lassen — 105 Dateien in 2,2 Sekunden, ohne Modell — und jede geratene Kante nachgeprüft.
Wie eine Maschine den richtigen Absatz findet
Bevor ein Modell eine Frage zu Ihren Dokumenten beantworten kann, muss etwas entscheiden, welche drei Absätze es überhaupt lesen darf. Diese Entscheidung ist das eigentliche Problem — und in der Abbildung unten können Sie ihr an einem echten Vertrag zusehen.
Einem lokalen Modell das Erfinden abgewöhnen
Ein Modell, das plausibel klingende Antworten erfindet, ist schlimmer als eines, das schweigt. Wie sich Halluzinationen in einer lokalen RAG-Pipeline abstellen lassen, ohne dass das Modell aufhört zu antworten — gemessen an 74 Fragen, nicht behauptet.
Was schlechtes Audio ein Sprachmodell kostet
Kunden nehmen nicht im Studio auf. Sie rufen vom Handy an, diktieren im Transporter und sitzen am anderen Ende des Besprechungstisches. Ein kleines Experiment dazu, was jede dieser Bedingungen ein lokales Transkriptionsmodell wirklich kostet — und wo es schließlich bricht.
Offene Modelle in der Praxis
Was offene Modelle leisten, was sie an Hardware brauchen und welche Lizenzen kommerzielle Nutzung erlauben.
Was ein lokales Modell wirklich kostet
Die Rechnung "Server kaufen statt API bezahlen" greift zu kurz. Welche Kostenblöcke bei selbst betriebenen Modellen tatsächlich anfallen und welche Fragen man vor der Anschaffung klären sollte.