نام کراولرهای موتورهای جستجوی معروف برای تجزیه کردن sitemap چیست؟
https://lamtakam.com/qanda/266/نام-کراولرهای-موتورهای-جستجوی-معروف-برای-تجزیه-کردن-sitemap-چیست؟ 1قصد دارم دسترسی فایل robots.txt رو فقط به کراولرهای موتر های جستجو بدم، با توجه به سرچی که انجام دادم میشه با آپاچی این کار رو کرد. این کدی هست که توی .htaccess گذاشتم و به درستی کار می کنه:
<Files robots.txt>
Order Deny,Allow
Deny from All
Allow from googlebot.com google.com google-analytics.com
</Files>مسئله ایناست که اسم کراولرهای بقیه ی موتور های جستجو رو نمی دونم، مثل یاهو، ام اس ان، بینگ و ... . یعنی چیزی که می خوام یه همچین چیزی هست:
googlebot.com google.com google-analytics.comولی برای بقیه ی موتورهای جستجو .. کسی هست که لیستی ازشون داشته باشه؟
