robots.txt টেস্টার কী?
robots.txt টেস্টার সাইটের robots.txt এনে allow/disallow দেখায় — গুরুত্বপূর্ণ পাতা Googlebot/Bingbot-এ আটকে আছে কিনা। robots.txt ইনডেক্স বন্ধ করে না; ক্রল আটকায়। ইনডেক্স আটকাতে noindex লাগে।
অনলাইনে robots.txt টেস্ট করুন। আপনার সাইটের robots ফাইল এনে ক্রলারের disallow নিয়মগুলো দেখুন — Fah Swe Tools-এ ফ্রি robots.txt চেকার।
মূল বৈশিষ্ট্য
- /robots.txt ফেচ
- allow/disallow
- সাইটম্যাপ লাইন
- প্রতি চেকে এক অনুরোধ
সাধারণ ব্যবহার
- ভুল Disallow: / ধরা
- নতুন সাইটের নিয়ম
- প্রতিযোগীর ক্রল রুল
অন্য নামে: robots.txt চেকার.
কীভাবে কাজ করে
- সাইটের অরিজিন দিন (https://example.com)।
- robots.txt আনুন।
- নিয়মগুলো দেখুন।
প্রশ্নোত্তর
ক্রলিং কি ভদ্রভাবে হয়?
ছোট টাইমআউট ও রেট লিমিটসহ একটিমাত্র GET।
robots.txt কি ইনডেক্স থামায়?
না। লিংক থেকে ইনডেক্স হতে পারে। noindex ব্যবহার করুন।
ফাইল কোথায়?
ডোমেইনের রুটে, যেমন https://example.com/robots.txt।