آموزش و ساخت فایل robots.txt

سئو ارزان| مرداد ۱۷, ۱۳۹۴| آموزش سئو| 14 دیدگاه

در این مقاله سعی داریم در مورد فایل robots.txt صحبت نماییم.

Website owners use the robots.txt file to give instructions about their site to web robots

فایل robots.txt به ربات های وب دستوراتی در مورد وبسایت میدهد.حال این ربات ها میتوانند به شما احترام بگذارند و به این دستورات عمل کنند و یا آنها را نادیده بگیرند( بر اثر تجربه شخصی تا به حال موردی پیش نیامده که ربات ها دستورات خواسته شده را انجام ندهند )

میخواهیم با هم دیگه این فایل رو بسازیم و همه کدهای داخل اون رو تجزیه و تحلیل کنیم.

داخل هاست خودتون بشین و در روت هاست (root) یک فایل به نام robots.txt بسازید.

توضیحات بیشتر در مورد این مرحله :

روت هاست (root) کجاست ؟

– وارد هاست خود شوید (دایرکت ادمین و یا cpanel) سپس وارد public_html شوید.به این قسمت روت هاست میگویند.

چگونه در cpanel فایل robots.txt را بسازم؟  

– در روت هاست از قسمت منوی بالا New File را بزنید و درون فیلد New File Name ، نام robots.txt را بزنید و سپس Create New File را بزنید.فایل شما ساخته شد.حال بر روی فایل خود یکبار کلیک نمایید و از طریق منوی بالا بر روی Code Editor کلیک نمایید.در این محل کدهای خود را قرار خواهیم داد.

چگونه در direct admin فایل robots.txt را بسازم؟

– وارد روت هاست خود شوید.در پایینی ترین قسمت نوشته شده(دایرکت ادمین به زبان فارسی) : “ایجاد فایل جدید”.درون این فیلد robots.txt را تایپ کرده و بر روی دکمه “ایجاد” کلیک نمایید.پس از ایجاد فایل دوباره وارد روت هاست شده و فایل مورد نظر را بیابید و بر روی Edit که در روبروی آن قابل مشاهده است کلیک نمایید.در این محل کدهای خود را قرار خواهیم داد.

حالا وقتی ربات ها میخواهند وارد وبسایت شما بشوند اول فایل robots.txt رو بررسی میکنند.

(ربات ها اول قوانین شما را مطالعه میکنند و طبق آن ها عمل میکنند)

حالا وقت آن رسیده که کدهای خودمون رو داخل این فایل قرار بدهیم.

با یک مثال ساده شروع میکنیم:

User-agent: *

Disallow: /

: اول بریم سراغ مقاله های انگلیسی

The “User-agent: *” means this section applies to all robots

The “Disallow: /” tells the robot that it should not visit any pages on the site

* :user-agent یعنی کدهای این قسمت بر روی تمامی ربات های موجود اعمال بشه!(ربات های موتور جستجوگر گوگل ، ربات های موتور جستجوگر یاهو و ……….)

قسمت دوم نیز ( / :Dissallow ) داره میگه حق ندارید صفحات این وبسایت رو ببینید!

پس در کل این دو خط این معنی رو میده : هیچ کدام از ربات های موجود در وب نباید این وبسایت را بررسی کنند(تمامی صفحات وبسایت)

پس ما با استفاده از فایل robots.txt میتونیم از ربات ها درخواست کنیم فایل ها و یا folder های ما رو بررسی نکنند.

در مثال زیر من از تمامی ربات ها درخواست میکنم تا پوشه های گفته شده را بررسی و ایندکس نکنند.

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /seoarzan/

.ها باید در یک خط باشند Disallow هر کدام از

حالت نوشتاری زیر کاملا غلط است :

Disallow: /cgi-bin/ /tmp/

با توجه به حرف هایی که زدیم ، قطعه کد زیر دسترسی تمامی ربات ها را به سایت میبندد.

User-agent: *
Disallow: /

و قطعه کد زیر به تمامی ربات ها اجازه میدهد که وبسایت را بررسی و ایندکس نمایند:

User-agent: *
Disallow:

ما حتی میتوانیم دسترسی نوعی خاص از ربات ها را به وبسایت ببندیم و یا باز کنیم برای مثال ربات گوگل.در قطعه کد زیر من

دسترسی ربات های گوگل را باز میگذارم و دسترسی تمامی ربات های دیگر به غیر از گوگل به وبسایت را میبندم.

User-agent: Google
Disallow:
User-agent: *
Disallow: /

اگر از سیستم مدیریت محتوای وردپرس استفاده میکنید.تنها استفاده از کد زیر برای شما کفایت میکند :

User-agent: *
Disallow: /wp-admin/

یک کار مهمی هم که میشه داخل فایل robots.txt انجام داد ، معرفی کردن سایت مپ (sitemap) به ربات ها میباشد.

با استفاده از کد زیر سایت مپ خود را به ربات ها معرفی میکنیم :

Sitemap: http://seoarzan.ir/sitemap.xml

به جای seoarzan.ir نیز آدرس وبسایت خود را قرار دهید

خب پس صورت کامل یک فایل robots.txt برای سیستم مدیریت محتوای وردپرس به این صورت خواهد بود :

User-agent: *
Disallow: /wp-admin/
Sitemap: http://seoarzan.ir/sitemap.xml

حال فایلتون رو ذخیره کنید.اگر درست کار کرده باشید باید بتونید فایل ساخته شده خودتون رو در آدرس زیر پیدا کنید :

http://adresWebsiteShoma.ir/robots.txt

ممنون از اینکه ما رو در این آموزش همراهی نمودید.

 

تیم طراحی ، سئو و بهینه سازی وبسایتسئو ارزان

14 نظر

  1. سلام واقعا عالی بود توضیحاتون
    فقط یکم توضیح رو بیشتر کنید تا حد سئو کلمات کلیدی ببرید.

    1. با سلام و احترام
      ممنون بابت نظرتان.چشم حتما
      با احترام

  2. سلام خیلی ممنونم از مطالب مفیدتون
    یه سوال داشتم – تویه کدنویسی اگه تگ h1 بعد از کد h2 یا h3 باشه ینی اول تگ h2 بعد تگ h1 بزایم مشکلی داره؟
    ممنون

    1. با سلام و احترام
      خیر نیازی به انجام چنین کاری نیست و بنده تا به حال چنین کدی را مشاهده نکرده ام.
      با احترام

  3. سلام
    من این متاتگی که دادین رو زدم ولی سایت اصلا باز نمیشه الان دقیق باید چیکار کنم؟
    کمکم کنید

    1. با سلام و احترام
      معمولا کدهای robots.txt باعث down شدن وبسایت نمیشوند و اگر اشتباه وارد شوند ، تنها باعث ضرر رساندن به سئو وبسایت میشوند(برای مثال جلوگیری از ایندکس شدن مطالب و غیره)
      با این حال لطف نمایید قطعه کدی که وارد نموده اید را ارسال نمایید تا بررسی گردد.
      با احترام

  4. سلام استاد عزیز
    حدود ۱۵ روز هست که خزنده googlebot خیلی وارد سایتم میشه . و سایت من را بیش از حد بررسی میکنه . وآمار بازدید سایتم ازروزی ۷۰ بازدید به۴۵۰ رسیده و همچنین پهنای باند سایتم خیلی مصرف شده .. میشه راهنمایی کنید که بفهمم مشکل از کجاست …امکان داره از robots.txt سایتم باشه وب است ….. ممنون میشم اگه بگید

    1. با سلام و احترام
      اگر اطمینان دارید که اسپایدرهای گوگل باعث مصرف منابع سرور شما میشوند ، وارد وبسایت خود در Google Webmaster Tools شوید
      سپس از بالای صفحه سمت راست Site Settings را انتخاب نمایید و Crawl Rate را به صورت دستی کاهش دهید.
      با احترام فراوان

  5. سایت خوبی دارید فقط بروز رسانی سریع تر کنید

  6. سایت زیبایی دارید.مطالب با ارزشی دارید

  7. سلام مطلب خوب و جامعی بود علی رغم سایتای دیگه:)

  8. سایت زیبایی دارید………………………….

نظر بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

میتوانید از کد های HTML زیر استفاده نمایید:

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>
*
*