robots.txt چه می‌باشد؟

robots.txt چه می‌باشد؟

فولدر ربوتس دات تی ایکس تی اساسا جهت محدود کردن دسترسی ربات های موتورهای کاوش مثل گوگل به متن و محتوا و… سایتتان میباشد. کل ربات های موتورهای کاوش به طور خود کار پیش از ورود به هر برگه یا این که هر سایتی، از وجود پوشه robots.txt و محدودیت های  سئو در مشهد آن اطمینان پیدا کرده و بر طبق آن محتوا و وب سایت را اکران می‌دهند.

همگی ربات های استاندارد صفحه ها اینترنت مثل گوگل به قانون ها و محدودیت ها کار می نمایند و صفحه ها را به مراد شما اکران داده و ایندکس می نمایند و بالعکس اما قابل ذکر میباشد بعضا ربات ها توجهی بدین نوع فولدر ها ندارند، برای مثال ربات هایی مثل spambots malware امنیت وب سایت تان را محاسبه می نماید و احتمالا کار و عمل خویش را از قسمتی آغاز می نمایند که اذن دسترسی و دیدن آن نصیب ها و صفحه ها را ندارند. در واقع با استعمال از فولدر robots.txt شما میتوانید وب سایت و صفحه ها سایتتان را مختص مخاطبین و یوزرها سایتتان ساخت‌و‌ساز و پباده سازی فرمایید و هیچ نگرانی برای محتوای تکراری، پیوند های زیاد و… که کلیه اثر مخرب و منفی بر بهینه سازی و سئو سایتتان میگذارد نداشته باشید.

در حالتی که شما قصد محدود کردن ربات های گوگل را دارید از پوشه ربوتس دات تی ایکس تی به کارگیری فرمائید، اما در حالتی که صفحه های اینترنت سایتتان بضاعت ایندکس به واسطه ی ربات های کاوش مثل گوگل را داشته باشد احتیاجی بدین فولدر نخواهد بود. برای رفتار و تولید پوشه robots.txt شما بایستی به هاست دسترسی داشته باشید و فولدر ربوتس دات تی ایکس تی را در ریشه اساسی نسخه برداری و نگه داری فرمایید.

در شرایطی که سازه به هر برهان به هاست دسترسی نداشتید میتوانید از تگ های متا در هدر برگه، دسترسی ربات های کاوش مثل گوگل را محدود و کمتر نمائید. اوامر فولدر robots.txt و کارکرد آنان کلا ۲ دستور اساسی دارااست. با استعمال از این ۲ امر شما میتوانید ضابطه های مختلفی جهت دسترسی ربات موتورهای کاوش به وبسایت تان تولید و برقرار فرمائید، که‌این اوامر به شرح ذیل هست:

*:user-agent

این کد برای غرض به یک ربات منحصربه‌فرد به فعالیت می رود، البته در حالتی که این کد را برای پوشه robots.txt به کار گیری نمایید و مقصود شما یک امر به کل ربات های خزنده باشد صرفا کافی میباشد پس از user-agent از آرم “*” استعمال نمایید. این چنین:

*:User-agent

این کد در معنای یک امر برای مجموع ربات های کاوشگر میباشد، البته در حالتی‌که مقصود شما امر به ربات یک مرورگر خاص میباشد مثل ربات گوگل بایستی این امر را به صورت خاصی بنوسید. مثل: user-agent:Googlebot
این کد به معنای اجرای اوامر تنها برای ربات های گوگل می‌باشد.

Disallow:
با به کارگیری از disallow به ربات های موتورهای کاوش می‌گوییم که چه فولدر هایی از سایت شمارا نباید تحقیق کند، در واقع این کد نشان دهنده شیت ای میباشد که شما می‌خواهید از لحاظ ربات ها نهفته نگه دارید. به عنوان مثال در‌حالتی که شما نمیخواهید ربات های موتورهای کاوش عکس های سایتتان را ایندکس نمایند، می بایست کل عکس ها را در فولدر ای به نام photos قرار دهید و از دست ربات ها و موتورهای کاوش بیرون فرمایید. برای آن که به موتورهای کاوش امر ندیدن و ایندکس نکردن عکس های وبسایت را دهید بایستی از کد تحت به کارگیری نمایید:

*:user-agent
Disallow:/photos

با استعمال از کدهای بالا به ربات ها اذن ورود و دسترسی به فولدر عکس با نام photos را نمی دهید. به کار گیری از امر user-agent نشان گر آن میباشد که مجموع ربات های کاوش گر می بایست از این دستور پیروی نمایند و بخش آن‌گاه Disallow:/photos بیان کنده آن میباشد که ربات ها اذن دسترسی به پوشه عکس photos و ایندکس آن در تارنما را ندارند.

Allow:
موتورهای کاوش مثل گوگل هر یک ربات های اختصاصی به خویش دارا هستند مثل Googlebot که معروفترین ربات گوگل هست که وظیفه ی بازرسی، بار گذاری و ایندکس صفحه های اینترنت را بر عهده داراست. این ربات نسبت به دیگر ربات ها امرها بیشتر و پیچیده تری متوجه میگردد. Googlebot علاوه بر شعور فرمان user-agent و disallow فرمان allow را متوجه می‌گردد.

این امر به ربات گوگل اذن مشاهده و ایندکس فایلی که در فولدر disallowed جای‌دارد را میدهد. از جمله در نصیب گذشته کدی را ساخت‌و‌ساز کردیم که به ربات اذن دسترسی به فولدر photos که عکس و تصاویر در آن بود را ندهد، حالا فکر کنید در‌این فولدر عکسی به نام backlink.jpg جای دارد که میخواهیم آن پوشه هم چنان نشان داده نشود و صرفا عکس backlink.jpg نشان داده گردد، درحال حاضر این سیرتکامل می نویسیم:

*:user-agent
Disallow:/photos
Allow:/photos/backlink.jpg

این کد به ربات اذن میدهد در پوشه photos تنها عکس backlink.jpg را اکران داده و ایندکس کند، واجازه دسترسی به دیگر عکس های درون فولدررا ندارد. شما با ادغام این ۲ فرمان user-agent و disallow می‌توانید مقررات مختلفی برای دسترسی به عکس، متن و …بخش های متعدد سایتتان ساخت فرمائید. هم چنین میتوانید اسم هر ربات خزنده را در user-agent معین فرمایید و به آن فرمان خاصی دهید.

همانگونه که گفته شد google ربات های منحصر خویش را دارااست که مشهور ترین آنها Googlebot است که وظیفه ی آن تحقیق و بار گذاری صفحه ها اینترنت است، هم چنین گوگل رباتی برای ایندکس و تحلیل تصاویر دارااست که به آن Googlebot-image می‌گویند.

این دستورها کدهای معمولی ای به لحاظ میایند ولی از روش آن‌ها می اقتدار seo تارنما را تغییر و تحول اعطا کرد. نکته هائز اهمیت حساس بودن پوشه ربوتس دات تی ایکس تی به حروف کوچک و عظیم در حروف لاتین می‌باشد که توجه نمایید نام و نشانی صفحه ها را صحیح و ظریف وارد نمائید. پوشه robots.txt در cms وردپرس به طور پیش فرض وجود داراست و در صورتی‌که در قوانینی وجود نداشت میتوانید با نصب پلاگین yoast سئو پوشه ربوتس دات تی ایکس تی را فعال و ساخت و ساز فرمائید.

فیض گیری
توجه فرمائید که استعمال نادرست و غلط از فولدر robots.txt ممکن میباشد سبب ساز ضررو ضرروزیان به seo سایتتان گردد پس پیش از انجام هرگونه تغییرات در فایلتان بهتر میباشد با مشاور seo حرف فرمایید و از وی ارشاد بگیرید. هم چنین از انجام آپ تو دیت رسانی های مداوم این پوشه دوری کنید. شاید آپ دیت رسانی های مداوم پوشه ربوتس دات تی ایکس تی برای تارنما در ظاهر تاثیری نداشته باشد البته در غایت سبب به پیچیده و طاقت فرسا شدن دسترسی ربات موتورهای کاوش به وب سایت میگردد.