Website-to-Markdown-API für RAG und LLMs

Für eine einzelne Seite genügt das kostenlose HTML-to-Markdown-Tool auf dieser Seite. Um eine ganze Dokumentations-Website oder Hunderte von URLs umzuwandeln, nutzen Sie den Roboter website-to-markdown auf Apify: Sie geben Start-URLs an, er crawlt höflich (robots.txt und Crawl-delay werden beachtet, keine Proxys) und liefert pro Seite ein sauberes Markdown-Dokument. Er kostet 0,001 $ pro Seite.

website-to-markdown auf Apify →

Kostenloses Tool oder API?

Für eine einzelne Seite oder einen HTML-Schnipsel fügen Sie ihn in den HTML-to-Markdown-Konverter (auf Englisch) ein: Er läuft in Ihrem Browser und ist kostenlos. Die API ist für das, was ein Browser-Tab nicht kann: viele Seiten crawlen, Links folgen, eine Sitemap lesen oder nach Zeitplan laufen.

Was er tut

Der Roboter ruft Seiten über einfaches HTTP ab, extrahiert den Hauptinhalt mit trafilatura (Navigation, Fußzeilen und Werbung werden verworfen) und gibt Markdown mit Überschriften, Listen, Tabellen und optional Links aus. Optionen: maxPages, maxDepth, sameHostOnly, useSitemap, URL-Muster zum Ein- und Ausschließen (Globs) und eine Pause zwischen den Anfragen. Er rendert kein JavaScript, daher können Seiten, die ihren Inhalt erst im Browser aufbauen, leer zurückkommen.

Beispielaufruf

curl -X POST "https://api.apify.com/v2/acts/extas_corp~website-to-markdown/run-sync-get-dataset-items?token=YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"startUrls":[{"url":"https://docs.python.org/3/tutorial/index.html"}],"maxPages":20,"maxDepth":1}'

Die Antwort ist ein JSON-Array mit einem Eintrag pro Seite: URL, Titel, Wortanzahl und der Markdown-Text.

Die Ausgabe für RAG nutzen

Teilen Sie jedes Markdown-Dokument vor dem Embedding an seinen #- und ##-Überschriften; siehe Markdown oder Klartext für RAG. Überschriften geben jedem Chunk einen aussagekräftigen Titel, was die Suche verbessert.

Wie crawlt man verantwortungsvoll?

Crawlen Sie nur Websites, die Sie crawlen dürfen. Der Roboter befolgt robots.txt und identifiziert sich mit einem eindeutigen User-Agent, aber Sie bleiben für die Bedingungen jeder Website und für die von Ihnen verursachte Last verantwortlich. Halten Sie maxPages und die Pause bescheiden.

Preise

0,001 $ pro Seite (1 $ pro 1.000 Seiten), von Apify pro Ergebnis abgerechnet. Der kostenlose Tarif von Apify enthält ein monatliches Guthaben, kleine Crawls können also nichts kosten. Die kostenlosen Konverter auf dieser Seite laufen in Ihrem Browser; die Apify-Roboter sind für Automatisierung und Menge. Sie zahlen nur pro Ergebnis, ohne monatliche Gebühr für den Roboter selbst.

Was der Datensatz enthält

Jede URL ergibt ein Element mit einem Feld type, damit Sie Ergebnisse ohne Raten sortieren können:

• page: url, finalUrl nach Weiterleitungen, depth, title, description, author, date, language, markdown und wordCount. Nur diese Elemente werden berechnet.
• skipped: Seite durch robots.txt gesperrt, mit Grund.
• error: HTTP-Fehler, Datei ist kein HTML oder Seite größer als 3 MB.

Aktivieren Sie saveHtml, wenn Sie zusätzlich das rohe HTML neben dem Markdown möchten.

Was sind häufige Probleme?

• Leeres Markdown: Die Website baut ihren Inhalt mit JavaScript auf. Steht der Text nicht im „Quelltext“ der Seite, kann dieser Robot ihn nicht sehen.
• Zu viele Seiten: Ein hoher maxDepth folgt auf großen Websites Tags, Archiven und Seitennummerierung. Nutzen Sie stattdessen includeUrlGlobs, etwa https://docs.example.com/tutorial/**.
• Viele übersprungene Seiten: robots.txt verbietet sie. Das ist die Entscheidung der Website; fragen Sie den Betreiber oder nutzen Sie dessen offiziellen Export.
• Aktuelle Wissensbasis: Planen Sie denselben Input wöchentlich auf Apify, um Änderungen der Dokumentation zu folgen.

FAQ

Rendert er JavaScript?

Nein. Er ruft HTML über HTTP ab, was schnell und günstig ist. Single-Page-Apps, die Inhalte erst im Browser laden, brauchen möglicherweise ein anderes Tool.

Beachtet er robots.txt?

Ja, einschließlich Crawl-delay.

Was kostet eine Seite?

0,001 $ pro Seitenergebnis.

Kann ich ihn nach Zeitplan ausführen?

Ja, Zeitpläne und Webhooks von Apify funktionieren mit jedem Roboter, sodass Sie eine Wissensdatenbank wöchentlich aktualisieren können.

Aktualisiert: November 2026. Die Dateien werden in Ihrem Browser verarbeitet und nicht hochgeladen.

2026-11-12