रोबोट्स.txt जेनरेटर
निःशुल्क Robots.txt जेनरेटर आपको robots.txt फ़ाइल बनाने में मदद करता है। आप यह निर्दिष्ट कर सकते हैं कि कौन सी फ़ाइलें/URL खोज इंजन क्रॉलर के बॉट के लिए हर बार आपकी साइट पर आने पर पहुंच योग्य हैं।
Robots.txt फ़ाइल क्या है?
robots.txt फ़ाइल एक सादा टेक्स्ट फ़ाइल है जो रोबोट के बहिष्करण मानक का पालन करती है। Robot.txt में अनुमत और अस्वीकृत खोज इंजन बॉट विज़िट के लिए URL
Robots.txt के बारे में कई नियम हैं जो आपकी वेबसाइट की मूल निर्देशिका में स्थित है। तो, https://seocheckfree.com के लिए robots.txt फ़ाइल https://seocheckfree.com/robots.txt पर स्थित है।
How To Use Robots.txt जेनरेटर?
सर्वश्रेष्ठ Robots.txt मुक्त करने के लिए इन चरणों का पालन करें:
- सभी बॉट के लिए आपकी साइट को क्रॉल करने के लिए डिफ़ॉल्ट सेटिंग की अनुमति है। यदि आप चाहते हैं कि आपके अधिकांश लिंक खोज इंजन के लिए अस्वीकृत हों, तो आप अस्वीकृत चुन सकते हैं।
- क्रॉल विलंब को 0 से 120 सेकंड तक निर्दिष्ट करें। यह समय अंतराल है जब क्रॉलर बॉट प्रत्येक URL को क्रॉल करता है। यदि आपको लगता है कि बॉट्स विज़िट का आपके सर्वर लोड पर बुरा प्रभाव पड़ता है, तो आप धीमा अंतराल सेट कर सकते हैं।
- Robots.txt जेनरेटर को आपके ब्लॉग/वेबसाइट साइटमैप URL की आवश्यकता है। आपका साइटमैप एक्सएमएल आमतौर पर आपके डोमेन example.com/sitemap.xls के रूट पर स्थित होता है। यदि आपने इसे नहीं बनाया है, तो हम इसे आसानी से करने के लिए XML साइटमैप जेनरेटर प्रदान करते हैं।
<ली> विशेष खोज इंजन रोबोट की अनुमति निर्दिष्ट करें। - यदि आपकी वेबसाइट पर कुछ निजी निर्देशिकाएं हैं, तो उन्हें om प्रतिबंधित निर्देशिका फ़ील्ड.
- बटन दबा कर अपना Robots.txt बनाएं। आप चुन सकते हैं Robot.txt के रूप में बनाएं और सेव करें iच आप इसे अपने कंप्यूटर पर स्वचालित रूप से डाउनलोड करना चाहते हैं।
- अब, 'robots.txt' अपने रूट डायरेक्टरी में फाइल करें। उपरोक्त टेक्स्ट को कॉपी करें और टेक्स्ट फाइल में पेस्ट करें।
यदि आपकी वेबसाइट पर कुछ निजी निर्देशिकाएं हैं, तो उन्हें om
प्रतिबंधित निर्देशिकाएं फ़ील्ड
निर्दिष्ट करें। बटन दबा कर अपना Robots.txt बनाएं. आप चुन सकते हैं Robot.txt के रूप में बनाएं और सेव करें iच आप इसे अपने कंप्यूटर पर स्वचालित रूप से डाउनलोड करना चाहते हैं। अब, 'robots.txt' अपने रूट डायरेक्टरी में फाइल करें। उपरोक्त टेक्स्ट को कॉपी करें और टेक्स्ट फाइल में पेस्ट करें। अगर आपकी वेबसाइट पर कुछ निजी निर्देशिकाएं हैं, तो उन्हें om
प्रतिबंधित निर्देशिकाएं फ़ील्ड
निर्दिष्ट करें। बटन दबा कर अपना robots.txt बनाएं. आप चुन सकते हैं Robot.txt के रूप में बनाएं और सेव करें iच आप इसे अपने कंप्यूटर पर स्वचालित रूप से डाउनलोड करना चाहते हैं। अब, 'robots.txt' अपने रूट डायरेक्टरी में फाइल करें। उपरोक्त टेक्स्ट को कॉपी करें और टेक्स्ट फाइल में पेस्ट करें। span style="color:#2ecc71;">
बटन दबा कर अपना Robots.txt बनाएं। आप चुन सकते हैं
Robot.txt के रूप में बनाएं और सेव करें iच आप इसे अपने कंप्यूटर पर स्वचालित रूप से डाउनलोड करना चाहते हैं।
अब, 'robots.txt' अपने रूट डायरेक्टरी में फाइल करें। उपरोक्त टेक्स्ट को कॉपी करें और टेक्स्ट फाइल में पेस्ट करें। span style="color:#2ecc71;">
बटन दबा कर अपना Robots.txt बनाएं। आप चुन सकते हैं
Robot.txt के रूप में बनाएं और सेव करें iच आप इसे अपने कंप्यूटर पर स्वचालित रूप से डाउनलोड करना चाहते हैं।
अब, 'robots.txt' अपने रूट डायरेक्टरी में फाइल करें। उपरोक्त टेक्स्ट को कॉपी करें और टेक्स्ट फाइल में पेस्ट करें। यदि आप चाहते हैं कि यह आपके कंप्यूटर पर स्वचालित रूप से डाउनलोड हो जाए।
अब, 'robots.txt' अपने रूट डायरेक्टरी में फाइल करें। उपरोक्त टेक्स्ट को कॉपी करें और टेक्स्ट फाइल में पेस्ट करें। यदि आप चाहते हैं कि यह आपके कंप्यूटर पर स्वचालित रूप से डाउनलोड हो जाए।
अब, 'robots.txt' अपने रूट डायरेक्टरी में फाइल करें। उपरोक्त टेक्स्ट को कॉपी करें और टेक्स्ट फाइल में पेस्ट करें।
Robots.txt SEO के लिए महत्वपूर्ण
SEO में क्रॉलिंग, इंडेक्सिंग और रैंकिंग शामिल है। सही robots.txt सेटिंग्स पहले दो पहलुओं का दृढ़ता से समर्थन करती हैं। Robots.txt सुनिश्चित करता है कि जिस URL को हम प्रदर्शित करना चाहते हैं वह खोज इंजन बॉट्स द्वारा क्रॉल करने योग्य होना चाहिए और सर्वोत्तम रैंकिंग प्राप्त करने के लिए अनुक्रमित होना चाहिए।
इसके अलावा, robots.txt उन URL की उपस्थिति को रोक सकता है जिन्हें वर्गीकृत किया जाएगा। डुप्लिकेट सामग्री के रूप में और खोज परिणाम पृष्ठों पर अनुक्रमण के लिए आवश्यक नहीं हैं।
Robots.txt उदाहरण
Robots.txt
उपयोगकर्ता-एजेंट: *
अनुमति न दें: /खोज
अनुमति दें: /search/howsearchworks
अनुमति न दें: /admin
अनुमति न दें: /उपयोगकर्ता
Robots.txt परीक्षक
जब भी वे वेबसाइट पर जाते हैं, तो Google क्रॉलर बॉट robots.txt का जवाब देते हैं। यह सत्यापित करने के लिए कि आपकी robots.txt फ़ाइल सही ढंग से सेट है या नहीं, आप Google वेबमास्टर।
Robots.txt नुकसान:
हालांकि इसके कई फायदे हैं, एक robots.txt फ़ाइल की भी कुछ सीमाएँ हैं।
Robots.txt विशिष्ट निर्देशिकाओं तक पहुंच को रोक नहीं सकता है।
आप में से जो कुछ निर्देशिकाओं पर अस्वीकृत क्रॉलिंग कमांड का उपयोग करते हैं क्योंकि उनके पास गुप्त फ़ाइलें या सामग्री है, robots.txt बॉट्स को उन तक पहुंचने से रोकने में अच्छा है लेकिन आगंतुकों को उन निर्देशिकाओं तक पहुँचने के लिए पर्याप्त प्रभावी नहीं है।
सभी को अस्वीकार करें; वहाँ अभी भी इस बात की संभावना है कि इसे अभी भी क्रॉल और अनुक्रमित किया जा सकता है। इसे अनुक्रमित करें। Google खोज परिणाम पृष्ठ के URL और संभावित रूप से अन्य सार्वजनिक रूप से उपलब्ध जानकारी जैसे कि पृष्ठ की ओर इशारा करने वाले लिंक से एंकर टेक्स्ट दिखाना जारी रखेंगे। नोइंडेक्स मेटा टैग का उपयोग करें, प्रतिक्रिया शीर्षलेख, या पृष्ठ को पूरी तरह से हटाना आपके यूआरएल को Google खोज परिणामों में प्रदर्शित होने से रोकने के प्रभावी तरीके हैं। Google खोज परिणाम पृष्ठ के URL और संभावित रूप से अन्य सार्वजनिक रूप से उपलब्ध जानकारी जैसे कि पृष्ठ की ओर इशारा करने वाले लिंक से एंकर टेक्स्ट दिखाना जारी रखेंगे। नोइंडेक्स मेटा टैग का उपयोग करें, प्रतिक्रिया शीर्षलेख, या पृष्ठ को पूरी तरह से हटाना आपके यूआरएल को Google खोज परिणामों में प्रदर्शित होने से रोकने के प्रभावी तरीके हैं। Google खोज परिणाम पृष्ठ के URL और संभावित रूप से अन्य सार्वजनिक रूप से उपलब्ध जानकारी जैसे कि पृष्ठ की ओर इशारा करने वाले लिंक से एंकर टेक्स्ट दिखाना जारी रखेंगे। नोइंडेक्स मेटा टैग का उपयोग करें, प्रतिक्रिया शीर्षलेख, या पृष्ठ को पूरी तरह से हटाना आपके यूआरएल को Google खोज परिणामों में प्रदर्शित होने से रोकने के प्रभावी तरीके हैं।
