User-agent: * Allow: / # Sitemap Sitemap: https://calqoo.com/sitemap.xml # Crawl-delay (isteğe bağlı - sunucu yükünü azaltmak için) Crawl-delay: 1 # Özel dizinler (eğer varsa) Disallow: /admin/ Disallow: /staticfiles/ Disallow: /venv/ Disallow: /locale/ Disallow: /__pycache__/ # Özel dosyalar Disallow: /*.py$ Disallow: /*.pyc$ Disallow: /*.sql$ Disallow: /*.log$ # Allow önemli sayfalar Allow: /static/css/ Allow: /static/js/ Allow: /static/img/ Allow: /templates/ # Özel botlar için kurallar User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / User-agent: Slurp Allow: / User-agent: DuckDuckBot Allow: / User-agent: Baiduspider Allow: / User-agent: YandexBot Allow: /