Skip to content Skip to sidebar Skip to footer

Cara setting robots.txt Blogspot SEO friendly dan menghindari duplikat Content

Cara setting robot txt pada blogspot seo friendly menghindari duplikat Content
Cara setting robot.txt Blogger SEO friendly. Dengan setting Robot.txt dan Tag Header Robot Khusus, yang berguna membantu perayapan dan pengindeksan blog di search engine. Selain dari itu, mengatur robot.txt dan tag header robot khusus juga merupakan suatu optimasi search engine atau yang dikenal dengan SEO. Bagaimana membuat Blog anda lebih SEO Friendly.

Perlu anda ketahui Robots txt secara sederhana adalah sebuah konvensi untuk memerintah web crawler/robot mesin pencari untuk menelusuri atau mencegah semua halaman atau hanya beberapa halaman dari sebuah blog/ website. Misalnya ada halaman yang tidak ingin dl Index dan tampilkan kepada publik pada mesin pencari maka kita bisa memanfaatkan fungsi robot.txt ini untuk memblokir halaman tersebut.

Peringatan! Gunakan dengan hat hati. Penggunaan yang tidak tepat dari fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin telusur.

Setting Robot.txt Blogger

Semua blog di blogspot sudah mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt pada blog seperti dibawah Ini:

User-agent: Mediapatners-Google
Disallow:
User-agent: *
Dlsallow: /Serach
Allow: /
Sitemap: http://caraciri123/feeds/posts/dafault?orderby=UPDATED


    Apa arti dari semua kode di atas? berikut adalah penjelasannya:

    • User-agent: Mediapartners-Google (user agent milik google menandakan bahwa blog ini adalah partner dari google )
    • Disallow: (Yang tidak diperbolehkan tidak ada)
    • User-agent: * ( Semua robot Search Engine/mesin pencari )
    • Dlsallow: /search (tidak diperbolehkan merayapi folder search dan seterusnya, seperti ...search/label dan - search/search?updated..)
    • Allow: / ( Mengijinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda [ / ] kurang lebih artinya nama blog)
    • Sitemap: http://caraciri.123.blogspot.com/feeds/posts/default?orderby=UPDATED (sitemap atau alamat feed blog)
    Jika anda ingin memodifikasinya robot txt contohnya adalah sepeti Cara Setting Robot.txt petama dibawah ini
    User-agent: Madiapartners-Google
    Disallow:
    User-agent: *
    Dlsallow:
    Allow: /
    Sitemap: http://caraciri123/feeds/posts/default?orderby=UPDATED
    Arti konfigurasi di atas adalah semua artikel dan halaman di blog anda akan di index robot webcraw karena pada kode Disallow semuanya di kosongkan.
    Untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus /search pada kode Disallow: /search ( Disallow: /search : seperti....search/label dan search/search?updated...) untuk membolehkan robot crawler mengindex semua halaman, kita bisa mengEditnya lagi menggunakan settingan robot text kedua dengan konfigurasi seperti berikut ini.
    User-agent: Mediapartners-Google
    Disallow:
    User-agent: *
    Disallow: /search?updated-min=
    Disallow: /search?updated-max=
    Dlsallow: /search/label/*?updated-min=
    Dlsallow: /search/label/*?updated-max=
    Allow: /
    Sltemap: http://caraciri123.blogspot.com/feeds/posts/default?orderby=updated


    Kembali ke settingan default atau bawaan robot txt blogspot. Jika anda ingin memblokir halaman tertentu anda tinggal menambahakan url halaman yang ingin anda bloklr di belakang Disallow.
    Contohnya untuk memblok robot di halaman misalnya halaman About, maka contoh penulisan robot.txt adalah seperti seperti berlkut:
    User-agent Mediapartners-Google
    Disallow:
    User-agent: *
    Disallow: /p/about.html
    Allow: /
    Sitemap: http://caraciri123.blogspot.com/feeds/posts/default?orderby=updated
    Nah berikut ini adalah Settingan robottxt untuk mencegah duplikat konten atau judul di blog. khususnya duplikat konten yang terjadi karena website/blog diakses dari mobile phone mungkin anda dapat mencoba settingan robot txt ketiga dibawah ini :
    User-agent: Mediapartners-Google
    Disallow:
    User-agent: Googlebot
    Disallowe: /search
    Disallow: /?m=1
    Disallow: /?m=0
    Disallow: /*?m=1
    Disallow: /*?m=0
    User-agent: *
    Disallow: /search
    Sitemap: htth/caraciri.blogspot.com/feeds/posts/default?ordarby=UPDATED
     

    INFO TERBARU!

    Untuk Settingan Robot.txt yang ketiga silahkan digunakan untuk mengatasi duplikat halaman dan jangan digunakan bagi yang menginginkan situsnya mobile friendly karena jika kamu medisallow m=0 dan m=1 blogmu tidak lagi mobile friendly, hilangnya deskripsi potingan di pencaharian mobile, dan tentusaja akan berpengaruh pada peringkat blog anda di pencaharian Google. Karena sekarang sudah zamannya Mobilegeddon sebaiknya kamu lewati saja penggunaan robot txt yang ketiga.

    Peringatan! Gunakan dengan hatihati. Penggunaan yang tidak tepat dari fitur dibawah ini dapat mengakibatkan blog Anda diabaikan oleh mesin telusur.

    Settingan Tag Header Robot Khusus

    Setelan > Preferensi Penelusuran > Tag tajuk robot khusus > Edit > Pilih Ya Sesuaikan seperti gambar dibawah ini.↓↓↓↓
    Cara setting robot txt pada blogspot seo friendly menghindari duplikat Content
    Settingan seperti di atas bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog.

    Sekian mengenai Cara setting robots.txt di blogger SEO friendly.

    Selamat mencoba.

    Post a Comment for "Cara setting robots.txt Blogspot SEO friendly dan menghindari duplikat Content"