SurfacerUnsere Crawler
SurfacerBot sammelt für die News von Surfacer, SurfacerJobsPilot für die Jobs in der Surfacer-App.
SurfacerBot: News
SurfacerBot sammelt für die News von Surfacer Schlagzeilen, Teaser und Links aus den RSS-Feeds ausgewählter Medien, etwa alle 15 Minuten, mit bedingten Anfragen (ETag, Last-Modified). Unsere Redaktion schreibt daraus eigene Zusammenfassungen und verlinkt jede Quelle.
Was er beachtet:
- robots.txt: Feeds und Seiten, die unserem Agenten
SurfacerBotverwehrt sind, ruft er nicht ab. Er prüft das täglich neu. - Vorbehalt für Text- und Data-Mining (§ 44b UrhG): Ganze Artikel liest er nur, wo die Seite das zulässt: keine Sperre für ihn oder für KI-Crawler in der robots.txt, kein Vorbehalt per
tdmrep.json, Header oder Meta-Tag, und die Nutzungsbedingungen von uns geprüft. Ein gelesener Text wird für eine einzige Auswertung verwendet und nicht gespeichert. - Er lädt keine Fotos von Medienseiten. Unsere Symbolbilder stammen aus freien Bildarchiven.
Ausschließen:
User-agent: SurfacerBot
Disallow: /SurfacerJobsPilot: Jobs
SurfacerJobsPilot sammelt die Stellen für die Jobs in der Surfacer-App: von den öffentlichen Karriereseiten der Arbeitgeber, den Stellenlisten ihrer Bewerbersysteme und ihren Firmenseiten bei JOIN. Die Stellenlisten von Firmen mit Studentenjobs liest er täglich, andere wöchentlich oder monatlich, und er prüft regelmäßig, ob die gezeigten Stellen noch offen sind.
Was er beachtet:
- robots.txt: Seiten, die
SurfacerJobsPilotoder allen Crawlern verwehrt sind, ruft er nicht ab. - Höchstens eine Anfrage pro Sekunde je Website. Keine Logins, keine Umgehung von Bot-Schutz.
- Er übernimmt die Eckdaten einer Stelle, keine Anzeigentexte und keine Bilder. Was die App davon zeigt, steht in den Hinweisen zu den Jobs.
Ausschließen:
User-agent: SurfacerJobsPilot
Disallow: /Arbeitgeber, die ihre Stellen nicht bei Surfacer sehen möchten oder einen Fehler melden wollen, schreiben an kontakt@surfacer.news. Wir entfernen oder korrigieren die Stellen.
Fragen
Fragen oder Wünsche: über die Kontaktdaten im Impressum.