Robots.txt Kya hai – robots.txt file kaise banaye

Robots.txt kya hai

नमस्कार दोस्तों इस ब्लॉग के नए आर्टिकल में आपका स्वागत है। आज हम जानेंगे। Robots.txt kya hai और wordpress blog website के लिए सही robots.txt file kaise banaye

अगर आप एक blogger है तो यह टॉपिक आपके लिए most important है।

जब हम ब्लॉग या वेबसाइट बनाते है और उसमें post यानी articals publish करते है तो हमारा सबसे पहला काम होता है अपने ब्लॉग वेबसाइट को गूगल सर्च इंजन में index करवाना।

Robots.txt file ब्लॉग वेबसाइट को index कराने में मदद करती है और अगर ब्लॉग के URL गलत index हो गए है तो उनको गूगल से remove करने में भी help करती है।

तो चलिए जानते है Robots.txt क्या है। और अपने वर्डप्रेस ब्लॉग के लिए robots.txt file kaise banaye

Robots.txt Kya hai

Robots.txt एक text file होती है जिसमे कुछ code लिखे होते है। और यह हमारी site के root directry में होती है। ये files search engine के bots को यह बताती है कि website के कौन से pages को crawl or index करना है और कौन से pages को छोड़ना है।

इन files को edit किया जा सकता है। अगर आप इन files को edit करते समय कोई भी गलती करते है तो google के search engine bots आपकी website को crawl और index करना बंद कर सकते है। इसलिए इस Post को ध्यान से पढें और आखरी तक पढें।

वेबसाइट ब्लॉग के लिए robots.txt file क्यों जरूरी है।

Google का यह कहना है कि हम सबसे पहले websites में रोबोट्स.txt file देखते है। अगर हमें files मिल जाती है तो हम उसके हिसाब से website को crawl और index करते है लेकिन अगर हमें files नही मिलती है तो हम अपने हिसाब से आपकी website को crawl करते है और उसमे फिर हम आपकी website के सभी pages को index करते है।

अगर search engine के bots हमारी website के सभी pages को index करते है तो इसमे नुकसान हमारा है क्योंकि हमारी website में कुछ ऐसे pages होते है जिनको index कराने का कोई फायदा नही होता है। और कुछ pages ऐसे होते है जो की security के हिसाब से बहुत important होते है।

Website के pages को crawl or index करने के लिए Google के bots के पास एक limited time होता है अगर उस time में हम अपने फालतू के pages को index कराते है। तो जो हमारी website के main pages होते है। वे छूट जाते है और हमारी website सही से index नही हो पाती है।

रोबोट्स.txt file के जरिये हम google के bots को instructions दे सकते है कि हमारी website के कौन-2 से pages को index करना है। इसलिए हमें अपनी website के लिए robots.txt file की जरूरत पड़ती है

किसी भी websites की robots.txt file को कैसे देखे

किसी भी website की robots.txt file को देखने के लिए आपको उस website का domain name browser पर type karna है। और उसके बाद रोबोट्स. txt type करना है ध्यान रहे spelling same रहे और सभी small letters में रहे। जैसे नीचे दिखाया गया है। akdedha.com/robots.txt

आपके सामने एक notepad का page open हो जायेगा जिसमे text में कुछ codes लिखे होंगे। आप नीचे screen shot में देख सकते है।

यदि इस तरह की कोई भी file आपके सामने open नही होती है तो इसका मतलब है की उस website की robots.txt file नही बनी है।

Blog के लिए robots.txt file कैसे बनाये

Robots.txt file को कैसे edit कर सकते है और एक perfect robots.txt file कैसे बना सकते है। तो चलिए step by step देखते है।

Step 1 : सबसे पहले आपके WordPress में yoast plugin install होना चाहिए।

Step 2 : WordPress के dashboard में जायें।

Step 3 : सबसे पहले dashboard पर click करना है। उसके बाद नीचे की side में yoast SEO पर click करना है और आखिर में tools पर click करना है उपर image में भी देख सकते है।

Step 4 : आपके सामने next page open हो जायेगा यहाँ पर आपको file editor पर click करना है

Step 5 : इसके बाद आपके सामने robots.txt की file open हो जायेगी। आप यहाँ पर अपनी file को जैसा चाहे वेसा edit कर सकते है।

Step 6 : सभी अपनी जरूरत के हिसाब से robots.txt file को edit या create करते है। मैंने अपनी website में अपने हिसाब से file create की है।

आप चाहे तो मेरी files को copy करके आप अपनी files में paste कर सकते है। या मैंने नीचे कुछ important syntax के बारे में बताया है आप उनको देखकर भी अपनी robots.txt file edit कर सकते है

Robots.txt file के basic syntax

Allow: यह syntax search engine के bots को आपकी website को crawl और index करने की अनुमति प्रदान करती है।

Disallow: यह syntax आपकी files और directries को index होने से बचाती है।

User-agent: यह syntax search engine के crawler और bots के लिए होता है। अगर आप सभी bots और crawler के लिए same instruction dena चाहते है तो इस syntax का उपयोग करे। जैसे – User-agent: *

Crawl delay: यह syntax search engine के bots को crawling करने से पहले कितने सेकंड्स तक रोकना है। यह बताता है।

Robots.txt file में sitemap add करना

Sitemap:

https://www.example.com/sitemap.xml

जो लाइन उपर लिखी है उसका use करके आप अपनी website की robots.txt file में sitemap add कर सकते है। और इस लाइन को आप robots txt file में सबसे उपर या सबसे नीचे कहीं भी use कर सकते है।

एक specific folder को एक specific web crawlar के लिए block करना।

User-agent: Googlebot

Disallow: /example-subfolder/

Specific crawler को ब्लॉक करना

User-agent: Bingbot

Disallow: /page URL

सभी content को index करने के लिए सभी web crawler को अनुमति देना।

User-agent: *

Allow:

सभी web crawlers को website index करने से रोकना।

User-agent: *

Disallow: /

Advantage of using Robots.txt file

रोबोट्स.txt file का उपयोग करने के बहुत से फायदे है। इसके कुछ महत्वपूर्ण points नीचे बताये गए है।

  • हमारी website में कुछ ऐसा content भी होता है जिसे हम किसी को भी नही दिखा सकते। रोबोट्स.txt file के जरिये हम अपने content को secure रख सकते है
  • रोबोट्स.txt के दुवारा Duplicate content की problem को भी सही किया जा सकता है
  • Google के search engine bots की सहायता की जा सकती है।

Conclusion

इस artical में आपने जाना कि Robots.Txt Kya Hai Blog Ke Liye Robots.Txt File Kaise Banaye अगर आपने yoast plugin install किया हुआ है तो आपकी robots txt file automatic generate हो जाती है और उसे आप अपने अनुसार edit कर सकते है।

यह भी पढें।

5/5 - (1 vote)

Hello smart visitors, मेरा नाम arvind dedha है। मैं एक full time blogger है। मुझे SEO, Wordpress, Web designing, Technology, Share market etc. इन topics के उपर आर्टिकल लिखना बहुत पसन्द है।

Leave a Comment