বিনামূল্যে Robots.txt জেনারেটর আপনাকে robots.txt ফাইল তৈরি করতে সাহায্য করে৷ আপনি নির্দিষ্ট করতে পারেন কোন ফাইল/ইউআরএলগুলি সার্চ ইঞ্জিন ক্রলারের বটগুলিতে অ্যাক্সেসযোগ্য তা প্রতিবার যখন তারা আপনার সাইটে যান৷
robots.txt ফাইল হল একটি প্লেইন টেক্সট ফাইল যা রোবট এক্সক্লুশন স্ট্যান্ডার্ড মেনে চলে। Robot.txt-এ সার্চ ইঞ্জিন বট ভিজিটের জন্য অনুমোদিত এবং প্রত্যাখ্যান করা URL সম্পর্কে বেশ কিছু নিয়ম রয়েছে৷
Robots.txt আপনার ওয়েবসাইটের মূল ডিরেক্টরিতে অবস্থিত৷ সুতরাং, https://seocheckfree.com এর জন্য robots.txt ফাইলটি https://seocheckfree.com/robots.txt-এ অবস্থিত।
বিনামূল্যে সেরা Robots.txt তৈরি করতে এই পদক্ষেপগুলি অনুসরণ করুন:
SEO-এর মধ্যে ক্রলিং, ইন্ডেক্সিং এবং র্যাঙ্কিং অন্তর্ভুক্ত রয়েছে। সঠিক robots.txt সেটিংস প্রথম দুটি দিককে দৃঢ়ভাবে সমর্থন করে। Robots.txt নিশ্চিত করে যে আমরা যে ইউআরএলটি বৈশিষ্ট্যযুক্ত হতে চাই সেটি সার্চ ইঞ্জিন বট দ্বারা ক্রলযোগ্য হওয়া উচিত এবং সেরা র্যাঙ্কিং পেতে ইন্ডেক্স করা উচিত। ডুপ্লিকেট কন্টেন্ট হিসাবে এবং সার্চ ফলাফলের পৃষ্ঠাগুলিতে প্রদর্শিত হওয়ার জন্য ইন্ডেক্সিংয়ের প্রয়োজন নেই।
Robots.txt
ব্যবহারকারী-এজেন্ট: *
Disallow: /search
Allow: /search/howsearchworks
Disallow: /admin
Disallow: /user
গুগল ক্রলার বট যখনই ওয়েবসাইট ভিজিট করে তখন robots.txt-এ সাড়া দেয়। আপনার robots.txt ফাইলটি সঠিকভাবে সেট করা আছে কিনা তা যাচাই করতে, আপনি Google ওয়েবমাস্টার।
যদিও এটির অনেক সুবিধা রয়েছে, একটি robots.txt ফাইলেরও কিছু সীমাবদ্ধতা রয়েছে।
আপনার মধ্যে যারা গোপন ফাইল বা বিষয়বস্তু থাকার কারণে কিছু ডিরেক্টরিতে অননুমোদিত ক্রলিং কমান্ড ব্যবহার করেন, তাদের জন্য robots.txt বটগুলিকে অ্যাক্সেস করা থেকে আটকাতে পারে কিন্তু দর্শকদের সেই ডিরেক্টরিগুলি অ্যাক্সেস করার জন্য যথেষ্ট কার্যকর নয়৷
Robots.txt ফাইলগুলি Google কে সামগ্রী খুঁজে পেতে বা সূচী করতে বাধা দেয়, কিন্তু যদি একটি অননুমোদিত URL ওয়েবে অন্য কোথাও থেকে লিঙ্ক করা হয় তবে আমরা এখনও হতে পারি এটি খুঁজুন এবং সূচী করুন। Google অনুসন্ধান ফলাফলগুলি পৃষ্ঠার URL এবং সম্ভাব্য অন্যান্য সর্বজনীনভাবে উপলব্ধ তথ্য যেমন পৃষ্ঠার দিকে নির্দেশিত লিঙ্কগুলি থেকে অ্যাঙ্কর টেক্সট দেখাতে থাকবে৷ noindex মেটা ট্যাগ ব্যবহার করুন, প্রতিক্রিয়া শিরোনাম, বা সম্পূর্ণরূপে পৃষ্ঠাটি সরানো হল আপনার ইউআরএলকে Google সার্চ ফলাফলে দেখানো থেকে বিরত রাখার কার্যকর উপায়।
