# robots.txt — consultant.nl # Publieke content is vrij crawlbaar. Alleen account-, auth- en beheer- # pagina's (login-gated of zonder zoekwaarde) en gefilterde listing-URL's # met querystring blijven eruit. Duplicate content wordt verder via # canonical- en noindex-tags afgehandeld, niet hier. User-agent: * Allow: / Disallow: /admin Disallow: /mijn-profiel Disallow: /inloggen Disallow: /uitloggen Disallow: /wachtwoord-vergeten Disallow: /wachtwoord-herstellen Disallow: /e-mail-bevestigen Disallow: /zakelijk Disallow: /bedankt Disallow: /search Disallow: /freelance? Disallow: /categories? # AI-antwoordmachines en LLM-crawlers zijn expliciet welkom (GEO): dezelfde # regels, zodat ze alle publieke content mogen ophalen maar geen account- # of beheerpagina's. User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: Claude-Web User-agent: anthropic-ai User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended User-agent: CCBot Allow: / Disallow: /admin Disallow: /mijn-profiel Disallow: /inloggen Disallow: /uitloggen Disallow: /wachtwoord-vergeten Disallow: /wachtwoord-herstellen Disallow: /e-mail-bevestigen Disallow: /zakelijk Disallow: /bedankt Disallow: /search Disallow: /freelance? Disallow: /categories? Sitemap: https://www.consultant.nl/sitemap.xml