# robots.txt - ARmo Group AR/VR Services # موتورهای جستجو می‌توانند صفحات عمومی را ایندکس کنند # دسترسی کلی برای همه ربات‌ها User-agent: * Allow: / Allow: /blog/ Allow: /blog/* # منع دسترسی به بخش‌های محدود Disallow: /dashboard/ Disallow: /dashboard/* # منع دسترسی به فایل‌های سیستمی Disallow: /api/ Disallow: /api/* Disallow: /_next/ Disallow: /_next/* Disallow: /static/ Disallow: /assets/icons/ Disallow: /.next/ # اجازه خاص برای ربات‌های مهم شبکه‌های اجتماعی User-agent: LinkedInBot Allow: / Allow: /blog/ Allow: /blog/* User-agent: facebookexternalhit Allow: / Allow: /blog/ Allow: /blog/* User-agent: Twitterbot Allow: / Allow: /blog/ Allow: /blog/* # اجازه برای ربات‌های هوش مصنوعی User-agent: GPTBot Allow: / Allow: /blog/ Allow: /blog/* User-agent: ChatGPT-User Allow: / Allow: /blog/ Allow: /blog/* User-agent: Claude-Web Allow: / Allow: /blog/ Allow: /blog/* User-agent: PerplexityBot Allow: / Allow: /blog/ Allow: /blog/* # Crawl delay برای جلوگیری از اورلود سرور Crawl-delay: 1 # آدرس سایت‌مپ (شامل همه صفحات عمومی و مقالات بلاگ) Sitemap: https://armogroup.tech/sitemap.xml