# robots.txt for obuny # Targets: Israel (Hebrew) and France (French) # Sitemap: https://obuny.com/sitemap.xml # ============================================================ # DEFAULT — All search/AI crawlers welcome on public pages # ============================================================ User-agent: * Allow: / User-agent: Googlebot Allow: / User-agent: Googlebot-Image Allow: / User-agent: Bingbot Allow: / User-agent: Slurp Allow: / User-agent: DuckDuckBot Allow: / # AI crawlers — allow indexing for citation / RAG retrieval. Training # crawlers (Google-Extended, Applebot-Extended) are also allowed so the # brand is discoverable in AI Overviews and assistant search surfaces. # Note: see /llms.txt for the canonical AI-usage policy. User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-Web Allow: / User-agent: anthropic-ai Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Google-Extended Allow: / User-agent: GoogleOther Allow: / User-agent: Applebot Allow: / User-agent: Applebot-Extended Allow: / User-agent: Bytespider Allow: / User-agent: Amazonbot Allow: / User-agent: Meta-ExternalAgent Allow: / User-agent: Meta-ExternalFetcher Allow: / User-agent: Cohere-ai Allow: / User-agent: cohere-ai Allow: / User-agent: YouBot Allow: / User-agent: DuckAssistBot Allow: / User-agent: Diffbot Allow: / User-agent: ImagesiftBot Allow: / User-agent: PetalBot Allow: / User-agent: Yandex Allow: / User-agent: YandexBot Allow: / User-agent: Baiduspider Allow: / User-agent: facebookexternalhit Allow: / User-agent: Twitterbot Allow: / User-agent: LinkedInBot Allow: / User-agent: TelegramBot Allow: / User-agent: WhatsApp Allow: / User-agent: Discordbot Allow: / # ============================================================ # PUBLIC (INDEXABLE) PAGES — explicit allow per language # Mirrors the static pages emitted by generate-sitemap.mjs # ============================================================ # --- Hebrew (Israel) --- Allow: /he/ Allow: /he/feed Allow: /he/community Allow: /he/community/* Allow: /he/blog Allow: /he/blog/* Allow: /he/about Allow: /he/how-it-works Allow: /he/couples Allow: /he/faq Allow: /he/verification Allow: /he/guide Allow: /he/game Allow: /he/login Allow: /he/register/1 Allow: /he/forgot-password Allow: /he/telegram-welcome Allow: /he/safety Allow: /he/community-rules Allow: /he/help Allow: /he/policies Allow: /he/terms-and-privacy Allow: /he/cookies Allow: /he/copyright Allow: /he/law-enforcement Allow: /he/transparency Allow: /he/accessibility Allow: /he/mentions-legales Allow: /he/subprocessors Allow: /he/chat-libre Allow: /he/chat-video Allow: /he/chat-audio Allow: /he/chat-rooms Allow: /he/chat-couples Allow: /he/chat-rencontre Allow: /he/chat-femmes Allow: /he/chat-lgbt Allow: /he/chat-bdsm Allow: /he/chat-mature Allow: /he/chat-nuit Allow: /he/chat-paris Allow: /he/chat-lyon Allow: /he/chat-marseille Allow: /he/chat-bruxelles Allow: /he/chat-geneve Allow: /he/chat-tel-aviv Allow: /he/chat-jerusalem Allow: /he/chat-haifa Allow: /he/chat-beer-sheva Allow: /he/chat-netanya Allow: /he/chat-libertin Allow: /he/chat-lesbiennes Allow: /he/chat-discret Allow: /he/chat-echangiste Allow: /he/chat-trio Allow: /he/chat-toulouse Allow: /he/chat-nice Allow: /he/chat-montreal Allow: /he/chat-rishon-le-tsion Allow: /he/chat-ramat-gan Allow: /he/chat-gratuit Allow: /he/chat-anonyme Allow: /he/chat-sans-inscription Allow: /he/chat-en-ligne Allow: /he/chat-aleatoire Allow: /he/chat-adulte Allow: /he/chat-coquin Allow: /he/chat-prive Allow: /he/chat-mobile Allow: /he/chat-debutant Allow: /he/chat-obuny Allow: /he/alternative-coco Allow: /he/alternative-omegle Allow: /he/alternative-chatroulette Allow: /he/alternative-bazoocam Allow: /he/alternative-discord Allow: /he/etude-post-coco-2026 Allow: /he/etude-loi-sren-2026 # --- French (France) --- Allow: /fr/ Allow: /fr/feed Allow: /fr/community Allow: /fr/community/* Allow: /fr/blog Allow: /fr/blog/* Allow: /fr/about Allow: /fr/how-it-works Allow: /fr/couples Allow: /fr/faq Allow: /fr/verification Allow: /fr/guide Allow: /fr/game Allow: /fr/login Allow: /fr/register/1 Allow: /fr/forgot-password Allow: /fr/telegram-welcome Allow: /fr/safety Allow: /fr/community-rules Allow: /fr/help Allow: /fr/policies Allow: /fr/terms-and-privacy Allow: /fr/cookies Allow: /fr/copyright Allow: /fr/law-enforcement Allow: /fr/transparency Allow: /fr/accessibility Allow: /fr/mentions-legales Allow: /fr/subprocessors Allow: /fr/chat-libre Allow: /fr/chat-video Allow: /fr/chat-audio Allow: /fr/chat-rooms Allow: /fr/chat-couples Allow: /fr/chat-rencontre Allow: /fr/chat-femmes Allow: /fr/chat-lgbt Allow: /fr/chat-bdsm Allow: /fr/chat-mature Allow: /fr/chat-nuit Allow: /fr/chat-paris Allow: /fr/chat-lyon Allow: /fr/chat-marseille Allow: /fr/chat-bruxelles Allow: /fr/chat-geneve Allow: /fr/chat-tel-aviv Allow: /fr/chat-jerusalem Allow: /fr/chat-haifa Allow: /fr/chat-beer-sheva Allow: /fr/chat-netanya Allow: /fr/chat-libertin Allow: /fr/chat-lesbiennes Allow: /fr/chat-discret Allow: /fr/chat-echangiste Allow: /fr/chat-trio Allow: /fr/chat-toulouse Allow: /fr/chat-nice Allow: /fr/chat-montreal Allow: /fr/chat-rishon-le-tsion Allow: /fr/chat-ramat-gan Allow: /fr/chat-gratuit Allow: /fr/chat-anonyme Allow: /fr/chat-sans-inscription Allow: /fr/chat-en-ligne Allow: /fr/chat-aleatoire Allow: /fr/chat-adulte Allow: /fr/chat-coquin Allow: /fr/chat-prive Allow: /fr/chat-mobile Allow: /fr/chat-debutant Allow: /fr/chat-obuny Allow: /fr/alternative-coco Allow: /fr/alternative-omegle Allow: /fr/alternative-chatroulette Allow: /fr/alternative-bazoocam Allow: /fr/alternative-discord Allow: /fr/etude-post-coco-2026 Allow: /fr/etude-loi-sren-2026 # --- Legacy / root-level fallbacks (x-default = hebrew) --- Allow: / Allow: /feed Allow: /community Allow: /community/* Allow: /blog Allow: /blog/* Allow: /about Allow: /how-it-works Allow: /couples Allow: /faq Allow: /verification Allow: /guide Allow: /game Allow: /login Allow: /register/1 Allow: /forgot-password Allow: /telegram-welcome Allow: /safety Allow: /community-rules Allow: /help Allow: /policies Allow: /terms-and-privacy Allow: /cookies Allow: /copyright Allow: /law-enforcement Allow: /transparency Allow: /accessibility Allow: /mentions-legales Allow: /subprocessors Allow: /chat-libre Allow: /chat-video Allow: /chat-audio Allow: /chat-rooms Allow: /chat-couples Allow: /chat-rencontre Allow: /chat-femmes Allow: /chat-lgbt Allow: /chat-bdsm Allow: /chat-mature Allow: /chat-nuit Allow: /chat-paris Allow: /chat-lyon Allow: /chat-marseille Allow: /chat-bruxelles Allow: /chat-geneve Allow: /chat-tel-aviv Allow: /chat-jerusalem Allow: /chat-haifa Allow: /chat-beer-sheva Allow: /chat-netanya Allow: /chat-libertin Allow: /chat-lesbiennes Allow: /chat-discret Allow: /chat-echangiste Allow: /chat-trio Allow: /chat-toulouse Allow: /chat-nice Allow: /chat-montreal Allow: /chat-rishon-le-tsion Allow: /chat-ramat-gan Allow: /chat-gratuit Allow: /chat-anonyme Allow: /chat-sans-inscription Allow: /chat-en-ligne Allow: /chat-aleatoire Allow: /chat-adulte Allow: /chat-coquin Allow: /chat-prive Allow: /chat-mobile Allow: /chat-debutant Allow: /chat-obuny Allow: /alternative-coco Allow: /alternative-omegle Allow: /alternative-chatroulette Allow: /alternative-bazoocam Allow: /alternative-discord Allow: /etude-post-coco-2026 Allow: /etude-loi-sren-2026 # SEO-friendly public profile URLs (handled by PublicProfilePage / SwingerProfilePage) Allow: /swingers/* Allow: /profile/* # ============================================================ # PRIVATE / AUTH-ONLY / TRANSIENT — DO NOT INDEX # ============================================================ # Auth callbacks with tokens in URL — never index (token leak risk) Disallow: /telegram-login Disallow: /telegram-login/* Disallow: /__/auth/ Disallow: /auth/action # Admin / internal Disallow: /admin* # Authenticated app pages Disallow: /home Disallow: /posts Disallow: /online Disallow: /messages Disallow: /messages/* Disallow: /chat Disallow: /chat/* Disallow: /private-chat Disallow: /private-chat/* Disallow: /events Disallow: /events/* Disallow: /user/* Disallow: /profil Disallow: /profil/* Disallow: /edit-profile Disallow: /edit-profile/* Disallow: /settings Disallow: /settings/* Disallow: /notifications Disallow: /subscription Disallow: /credit-purchase Disallow: /payment Disallow: /payment/* # Multi-step register beyond step 1 (private flow) Disallow: /register/2 Disallow: /register/3 Disallow: /register/5 Disallow: /register/description Disallow: /register-step-3 Disallow: /register-step-4 Disallow: /otp-verification # Internal / diagnostic HTML pages — never index Disallow: /clear-cache.html Disallow: /emergency_clear_auth.html Disallow: /fix-vip-photos.html Disallow: /server-monitor.html Disallow: /test-realtime-simple.html Disallow: /test-websocket.html Disallow: /profile-modal-test Disallow: /registration-debug # ============================================================ # SITEMAPS # Index file references all sub-sitemaps (static pages + blog, # community posts, profiles). Submit sitemap-index.xml in GSC. # ============================================================ Sitemap: https://obuny.com/sitemap-index.xml Sitemap: https://obuny.com/sitemap.xml Sitemap: https://obuny.com/api/sitemap/community.xml Sitemap: https://obuny.com/api/sitemap/profiles.xml Sitemap: https://chat.obuny.com/sitemap-chat.xml # ============================================================ # AI / LLM discovery # Proposed standard: /llms.txt is a machine-readable summary of # the site for large language models (ChatGPT, Claude, Gemini, # Perplexity). Surfacing it here makes AI crawlers find it on # first visit and improves brand-mention rate in AI assistants. # ============================================================ # LLMs.txt: https://obuny.com/llms.txt