این خزنده چیست
ICSD-SEO-Bot خزندهٔ سئو ICSD است؛ سرویسی از شرکت توسعه هوشمند فرش ایرانیان که سئوی سایت‌ها را بررسی می‌کند. خزنده فقط وقتی به سایتی سر می‌زند که کسی نشانی آن را برای بررسی در سرویس ما وارد کرده باشد؛ معمولاً صاحب یا مدیر همان سایت. ما خودمان وب را برای ساختن فهرست یا پایگاه داده نمی‌خزیم.
شناسهٔ خزنده
خزنده در هر درخواست خودش را با این User-Agent معرفی می‌کند:
ICSD-SEO-Bot/1.0 (+https://seo.icsd.ir/bot/)چه می‌کند و چه نمی‌کند
- از صفحهٔ اصلی شروع می‌کند و پیوندهای داخلی همان دامنه را دنبال می‌کند؛ فایل robots.txt و نقشهٔ سایت را هم می‌خواند.
- فقط صفحه‌هایی را می‌خواند که بدون ورود در دسترس‌اند. فرمی پر نمی‌کند، خریدی نمی‌کند و وارد هیچ حسابی نمی‌شود.
- در هر بررسی حداکثر ۵٬۰۰۰ صفحه می‌خواند و بعد می‌ایستد.
- از آنچه می‌خواند فقط گزارش سئو ساخته می‌شود و آن گزارش را همان کسی می‌بیند که بررسی را خواسته است.
سرعت خزش
خزنده آهسته کار می‌کند تا روی سایت شما فشار نیاید: حداکثر ۲ درخواست هم‌زمان به هر سایت، با ۴۰۰ میلی‌ثانیه مکث بین درخواست‌ها. بررسی‌های زمان‌بندی‌شده هم فقط بین ساعت ۱ تا ۶ بامداد انجام می‌شود که سایت‌ها خلوت‌ترند.
بستن راه خزنده
خزنده به‌طور پیش‌فرض دستورهای robots.txt سایت شما را رعایت می‌کند. برای اینکه هیچ صفحه‌ای را نخواند، این دو خط را به فایل robots.txt در ریشهٔ سایت اضافه کنید:
User-agent: ICSD-SEO-Bot
Disallow: /اگر فقط نمی‌خواهید بخشی از سایت خوانده شود، همان مسیر را ببندید:
User-agent: ICSD-SEO-Bot
Disallow: /private/تنها استثنا: کسی که سایت را در سرویس ثبت کرده می‌تواند برای ممیزی کامل‌تر بخواهد صفحه‌های بسته‌شده در robots.txt هم بررسی شوند. اگر سایت شما بدون اجازهٔ شما بررسی می‌شود، به ما خبر بدهید تا بررسی آن را متوقف کنیم.
تماس
اگر خزنده برای سایت شما مشکلی درست کرده یا پرسشی دارید، از صفحهٔ تماس با ما خبر بدهید.
لطفاً نشانی سایت و زمان تقریبی درخواست‌ها را هم بنویسید تا زودتر پیدا کنیم.