نام کراولرهای موتورهای جستجوی معروف برای تجزیه کردن sitemap چیست؟

قصد دارم دسترسی فایل robots.txt رو فقط به کراولرهای موتر های جستجو بدم، با توجه به سرچی که انجام دادم میشه با آپاچی این کار رو کرد. این کدی هست که توی .htaccess گذاشتم و به درستی کار می کنه:

<Files robots.txt>
    Order Deny,Allow
    Deny from All
    Allow from googlebot.com google.com google-analytics.com
</Files>

مسئله ایناست که اسم کراولرهای بقیه ی موتور های جستجو رو نمی دونم، مثل یاهو، ام اس ان، بینگ و ... . یعنی چیزی که می خوام یه همچین چیزی هست:

googlebot.com google.com google-analytics.com

ولی برای بقیه ی موتورهای جستجو .. کسی هست که لیستی ازشون داشته باشه؟

میتونید از این سایت ها به عنوانِ مرجع استفاده و لیستِ دلخواه و اختصاصی خودتون رو ایجاد کنید :

udger.com

botreports.com