Hack the HydraMarkdown oder Klartext für RAG
Kurz gesagt: Indexieren Sie Markdown. Es kostet kaum zusätzliche Tokens, und seine Überschriften und Tabellen erlauben es, an der Dokumentstruktur zu teilen und jedem Chunk den Abschnittskontext mitzugeben, was die Suche im Vergleich zu Chunks fester Größe aus Klartext in der Regel verbessert. Nutzen Sie Klartext nur, wenn die Quelle gar keine Struktur hat.
Free PDF to Markdown converter →
Was bietet Markdown?
- Grenzen: Überschriften zeigen, wo Themen beginnen und enden, sodass Chunks keinen Abschnitt in der Mitte durchschneiden.
- Kontext: Der Überschriftenpfad („Abrechnung > Erstattungen > EU-Kunden“) kann als Metadaten gespeichert und vor dem Embedding dem Chunk vorangestellt werden.
- Tabellen: Zeilen und Spalten bleiben ausgerichtet, statt zu einer Zahlenreihe ohne Beschriftung zu werden.
- Listen: Schritte und Anforderungen bleiben einzelne Einträge.
Wie zerlegt man Markdown für RAG in Chunks?
- Wandeln Sie Dokumente in Markdown um (PDF, Word, HTML).
- Teilen Sie an den Überschriften #, ## und ###.
- Ist ein Abschnitt noch zu lang, teilen Sie ihn an Absätzen mit einer kleinen Überlappung.
- Stellen Sie jedem Chunk den Überschriftenpfad voran und speichern Sie ihn als Metadaten.
- Bewerten Sie anhand von 20–50 echten Fragen und passen Sie die Chunk-Größe an.
Wann genügt Klartext?
Chatverläufe, Transkripte und kurze Notizen haben keine sinnvolle Struktur. Sie in Markdown umzuwandeln bringt nichts; teilen Sie sie stattdessen nach Zeit oder nach Sprecher.
Beispiel: dieselbe Seite auf zwei Arten
Nehmen Sie eine Seite einer internen Richtlinie mit Titel, Absatz und einer Tabelle mit Erstattungsfristen. Als Klartext wird die Tabelle zu einer Folge von Wörtern und Zahlen: Region Frist Gebühr EU 14 Tage 0 US 30 Tage 5. Bei der Frage „Wie lang ist die Frist in den USA?“ verrät nichts in diesem Chunk, dass 30 eine Frist und keine Gebühr ist.
Als Markdown behält der Inhalt seine Form:
## Erstattungen | Region | Frist | Gebühr | |---|---|---| | EU | 14 Tage | 0 | | US | 30 Tage | 5 |
Der Chunk trägt seine eigenen Beschriftungen. Mit dem Überschriftenpfad („Richtlinie > Erstattungen“) kennt das Embedding-Modell das Thema, und das antwortende Modell liest „US | 30 Tage“ als Tabellenzeile.
Klartext oder Markdown auf einen Blick
| Klartext | Markdown | |
|---|---|---|
| Aufteilung | Feste Größe oder Absätze | Überschriften, dann Absätze |
| Abschnittskontext | Verloren | Überschriftenpfad als Metadaten |
| Tabellen | Plattgedrückt | Zeilen und Spalten bleiben |
| Zusätzliche Tokens | Keine | Wenige (#, |, -) |
| Ideal für | Transkripte, Notizen, Chats | Handbücher, Berichte, Verträge, Dokumentation |
Was sind häufige Fehler?
- Chunks, die nur eine Überschrift enthalten: Verbinden Sie jede Überschrift mit dem folgenden Text.
- Wiederholte Kopf- und Fußzeilen: Entfernen Sie sie vor dem Aufteilen, sonst sehen alle Chunks gleich aus.
- Eine geteilte Tabelle: Halten Sie sie in einem Chunk oder wiederholen Sie die Kopfzeile in jedem Teil.
- Nie messen: Schreiben Sie 20 bis 50 echte Fragen und prüfen Sie vor und nach jeder Änderung, ob der richtige Chunk gefunden wird.
FAQ
Kostet Markdown mehr Tokens?
Sehr wenig: ein paar Zeichen pro Überschrift, Listeneintrag oder Tabellenzeile.
Unterstützen LangChain und LlamaIndex das Teilen von Markdown?
Ja, beide bieten Splitter, die auf Markdown-Überschriften basieren.
Aktualisiert: November 2026. Die Dateien werden in Ihrem Browser verarbeitet und nicht hochgeladen.