# GEO Insight SaaS - Robots.txt
# 允许所有搜索引擎爬取公开页面

User-agent: *

# 允许访问的公开页面
Allow: /
Allow: /login
Allow: /privacy
Allow: /terms-of-service

# 禁止访问需要登录的页面
Disallow: /dashboard
Disallow: /dashboard/*
Disallow: /onboarding

# 禁止访问静态资源目录中的敏感文件
Disallow: /assets/*.map

# 站点地图位置
Sitemap: http://geo.timus.cn/sitemap.xml

# 爬取延迟建议（可选，单位秒）
Crawl-delay: 2