आपल्या वेबसाइटच्या मुळमध्ये संग्रहित केलेली एक robots.txt फाइल वेब क्रिएट यासारखी वेब रोबोटांना सांगेल जी निर्देशिका आणि फाइल्स ज्याला क्रॉल करण्याची अनुमती आहे. एक robots.txt फाइल वापरणे सोपे आहे, परंतु काही गोष्टी आहेत ज्यात आपण हे लक्षात ठेवले पाहिजे:
- ब्लॅक हॅट वेब रोबोट आपल्या robots.txt फाइलकडे दुर्लक्ष करेल. सर्वात सामान्य प्रकार म्हणजे मालवेअर बॉट्स आणि रोबोट्स कापणीसाठी ईमेल पत्ते शोधत आहेत.
- काही नवीन प्रोग्रामर रोबोट लिहील जे रोबोट्सटॅस्ट फाइलकडे दुर्लक्ष करते. हे सहसा चुकीने केले जाते.
- कोणीही आपली robots.txt फाइल पाहू शकेल. ते नेहमी robots.txt म्हटल्या जातात आणि नेहमी वेबसाइटच्या मूलस्थळात संग्रहित होतात.
- अखेरीस, जर एखाद्या व्यक्तीने आपल्या robots.txt फाइलद्वारे वगळलेल्या पृष्ठावरील आपल्या robots.txt फाईलद्वारे वगळलेल्या फाइल किंवा निर्देशिकेशी दुवा साधला तर, शोध इंजिने तरीसुद्धा शोधू शकतात.
महत्त्वाचे काहीही लपविण्यासाठी robots.txt फायली वापरू नका त्याऐवजी, आपण सुरक्षित संकेतशब्द मागे महत्त्वाची माहिती ठेवली पाहिजे किंवा संपूर्णपणे वेबवरून तो सोडून द्यावी
या नमुना फायली कसे वापरावे
आपण काय करू इच्छिता त्या सर्वात जवळ असलेल्या नमूनामधील मजकूर कॉपी करा आणि तो आपल्या robots.txt फाइलमध्ये पेस्ट करा. रोबोट, निर्देशिका आणि फाइल नाव आपल्या प्राधान्यकृत संरचनाशी जुळण्यासाठी बदला.
दोन मूलभूत Robots.txt फायली
वापरकर्ता-एजंट: *
अस्वीकार: /
ही फाइल म्हणते की कोणत्याही रोबोट (वापरकर्ता-एजंट: *) जे प्रवेश करते त्यास प्रत्येक पृष्ठास साइटवर दुर्लक्ष करावे (नाकारा: /).
वापरकर्ता-एजंट: *
नाकारा:
ही फाईल म्हणते की कोणत्याही रोबॉट (वापरकर्ता-एजंट: *) जे प्रवेश करते त्यास साइटवरील प्रत्येक पृष्ठ पाहण्याची अनुमती आहे (अनुमती देऊ नका:).
आपण आपली robots.txt फाईल रिक्त ठेवून किंवा आपल्या साइटवर एक नसल्याने हे देखील करू शकता.
रोबोटमधील विशिष्ट निर्देशिका संरक्षित करा
वापरकर्ता-एजंट: *
अस्वीकार: / cgi-bin /
अस्वीकार: / अस्थायी /
ही फाइल म्हणते की कोणत्याही रोबोटला (वापरकर्ता-एजंट: *) प्रवेश करते जे त्यास / cgi-bin / आणि / temp / (अस्वीकार: / cgi-bin / Disallow: / temp /) निर्देशिकेंकडे दुर्लक्ष करेल.
रोबोटपासून विशिष्ट पृष्ठांचे संरक्षण करा
वापरकर्ता-एजंट: *
अस्वीकार: /jenns-stuff.htm
अस्वीकार: /private.php
ही फाइल म्हणते की कोणत्याही रोबोट (वापरकर्ता-एजंट: *) जे प्रवेश करते त्यास फाईल्स / jenns -stuff.htm आणि /private.php (नाकारा: /jenns -stuff.htm अस्वीकार: / प्रावीक्ट.फिप) दुर्लक्ष करावे.
आपली साइट प्रवेश एक विशिष्ट रोबोट टाळण्यासाठी
वापरकर्ता-एजंट: लायकोस / एक्सएक्स
अस्वीकार: /
ही फाइल सांगते की साइटवर कुठेही लायक्स बॉट (वापरकर्ता एजंट: लिकॉस / xx) प्रवेशाची अनुमती नाही (अस्वीकार: /).
केवळ एक विशिष्ट रोबोट प्रवेशास परवानगी द्या
वापरकर्ता-एजंट: *
अस्वीकार: /
वापरकर्ता-एजंट: Googlebot
नाकारा:
ही फाईल प्रथम आम्ही वरीलप्रमाणे केल्याप्रमाणे सर्व रोबोटांना अनुमती देत नाही, आणि नंतर स्पष्टपणे Googlebot (वापरकर्ता-एजंट: Googlebot) ला सर्व काही (प्रवेश नाकारू) प्रवेश करू देते.
आपल्याला अपेक्षित बहिष्कार मिळविण्यासाठी एकाधिक मार्ग एकत्र करा
वापरकर्ता-एजंट: * सारखे एक सर्वसमावेशक वापरकर्ता-एजंट ओळ वापरणे चांगले आहे, आपण आपल्या आवडीनुसार विशिष्ट असू शकता. लक्षात ठेवा की यंत्रमानव फाइलने क्रमाने वाचतात. म्हणून जर पहिल्या ओळी म्हणल्या की सर्व रोबोट सर्वकाही अवरोधित आहेत, आणि नंतर नंतर फाईलमध्ये असे म्हटले आहे की सर्व रोबोट्सना प्रत्येकगोष्ट प्रवेशाची परवानगी आहे, रोबोट्स सर्व गोष्टींमध्ये प्रवेश करू शकतील
आपण आपली robots.txt फाइल योग्यरित्या लिहिली आहे किंवा नाही याबद्दल आपल्याला खात्री नसल्यास, आपली robots.txt फाइल तपासण्यासाठी किंवा एक नवीन लिहिण्यासाठी आपण Google च्या वेबमास्टर साधने वापरू शकता.