Tips Blog

Menambahkan robots.txt untuk Blogger

robots.txt robots.txt khusus robotsoft mouse and keyboard recorder robotshop robotsms robots.txt checker robots.txt seo friendly robots.txt wordpress robots in disguise robotsoft mouse and keyboard recorder crack robots txt robots of brixton robots vs zombies robots in disguise 2015 robots games robots have become a common sight in japanese factories robots film robots txt generator google robots imdb robots and human robots and robotics robots and i have a bow and arrow robotics applications ppt robots are everywhere robots and guns robots and pencils robots attack hacked robots allow google robots and our society a robots.txt file on your website prevented additional analysis a robots txt file a robots.txt a robots name a robots life robots a z create a robots.txt file creating a robots.txt make a robots create a robots.txt file for google robots battles robots bigweld robots buy robots blu ray robots beam robots battle robots baby one more time robots boston dynamics robots burger king robots boxing b-bots robots b movie robots b+m robots lil b robots forever ez-b robot p b robots ali b robots b&m painting robots pharma robots b.v zmk 001 - b - robots in disguise robots can't dance - bada bing (doctor p & flux pavilion remix) mp3 robots chop shop robots can't jump robots characteristics robots can't dance - roid rage (original mix) robots checker google robots checker tool robots cooperative behavior robots cast robots cartoon c robots programming c robots 3d c-robots download robotshop.c robots c est deja demain rc robots hi c robots c programmable robots move c robotstudio cheerful robots c wright mills robots disallow robots disable all robots dreams robots definition robots disallow all robots disallow indexing robots dvd robots dan mangan robots disney robots dancing robots d exploration robots d indexation robots d'usine robots d'assemblage robots asimov robots d'indexation definition robots d exploration et indexation juegos de robots festival d robots tenacious d robots robots ending robots everywhere robots exclusion protocol robots ebay robots examples robots ewan mcgregor robots ethics robotics education robots essay robots employment e robotshop robots in wall e wall-e robots wiki robots e imperio robots e imperio pdf robots e imperio epub robots e imperio isaac asimov pdf robots e imperio isaac asimov robots e imperio asimov robots e imperio doc robots for everyone robots for minecraft robots full movie download robots for everyone mp3 robots for wordpress robots for magento robots full movie 2005 robots full movie robots ftw f-robots geminoid f robots robots generator robots generator google robots gba robots game pc download robots google robots games online robots game online robots gif robots games online free g robots.txt g-robots g-robots kft g-robots.hu g-robots gr-001 g-robots hungary g-robots「g-dog」 g-robots szolgaltato es kereskedelmi kft g robots hpi g-robots g-dog robots history robots header tags robots honda robots hit me baby one more time robots humanoid robots how to build robots homemade robots household chores robots hero h&s robots ilmenau puente h robots argentina h gantry robots robots h koenig d-h robots puente h robots h und s robots robots in transformers 5 robots in spongebob battle for bikini bottom robots in disguise optimus robots index all robots in the future robots inc monkey majik robots in the classroom i robots name i robots movie i robots frau i robots full movie i robots frau lyrics i robots film i robots wiki i robots trailer i robots wikipedia i robots 3 laws robots jobs robots japan robots jobs automation robots junk song robots james patterson robots jumping robots job loss robots jobless future robots james brown robots jacksonville fl j uegos de robots parallel robots j. p. merlet kluwer les robots j'ai lu j juegos de robots robots kill graffiti robots kuka robots kraftwerk robots kraftwerk lyrics robots kiva robots kuratas robots kinds robots kinect robots kamikaze robots kenwood k-robots k-robots clustering of moving sensors using corsets k robots designs k pop star robots knex robots k'nex robots amazon k-team robots k pop robots k cleaning robots k project cleaning robots robots love ice cream robots lego robots live robots lyrics robots lego mindstorms robots list robots law robots learning robots lyrics kraftwerk robots love robots l'intelligence en partage l'épicerie robots culinaires l'histoire des robots l évolution des robots l'évolution des robots dans le temps l avenir des robots l'arme absolue robots de guerre l'origine des robots l'ile aux robots totally spies l'invention des robots robots meta robots movie game robots movie game download robots movie list robots movie dancing robot robots movie download robots movie robots meta tag generator robots movie download free robots meta noindex robotstøvsuger m-288 robotstøvsuger m-688 wasco robotstøvsuger m-688 m-blocks robots w.m. robots llc m cube robots 4m robots barry m robots in disguise m-blocks modular robots robots no follow robots no follow no index robots name robots noindex robots names robots noodp robots net robots nao robots news robots noindex nofollow guns n robots cars_n_robots download cars_n_robots cs 1.6 download cars_n_robots cs map robots and flowers robots and aliens robots in glasses robots n unicorns cecilio g cars_n_robots robots overlords robots overlord robots official site robots overlord cast robots of star wars robots overlords imdb robots of death robots overlords subtitle robots of brixton full movie no robots allowed your actions have been suspended robots o filme robots o arañas robots or spiders robots o que é robots o robots o que são big o robots jackie o robots kre o robots robots pelicula completa robots picture robots problems robots pelicula completa en español latino robots pros and cons robots ps2 robots parts robots pixar robots photos robots pc game agente p robots robots quotes robots quiz robots quotes bigweld robots qartulad robots quotev robots questions robots que juegan futbol robots quirurgicos robots que bailan robots que ayudan a la humanidad robots q q son los robots q tipo de robots hay robots q pelean robots q bailan q son los robots industriales q significa robots q tipo de robots existen q hacen los robots robots q juegan futbol robots rodney robots replacing human workers robots rule 34 robots real robots real steel robots real life robots rescue robots rise robots rock em sock em robots real steel names r. robots street art r robots real robots r us robots r us texto robots r us 3266 robots r 34 robots r us human experience r u robots limited r universal robots robots subscene robots song robots syntax checker robots soundtrack tf2 robots sapiens robots smarter than humans robots super mechs hacked cheats robots seo robots sinopsis robots search engine s robots wars online s robots wars s robots war online s-robots mini robots s.l robotsystem s.r.o h&s robots u s robots navibot s robotstøvsuger robots txt wordpress robots txt seo robots txt block all robots txt google news robots txt regex robots tattoo robots that fly and cooperate robots tag robots user agent robots uses robots underwater robots usa robots used in the military robots used in industry robots used in space robots uk robots unicorn attack robots used today youtube robots robots 4 u robots u can talk to r u robots u.n. robots u s military robots paro robots u.s. inc u tube ranting robots u.s. army robots robots vs zombies hacked robots vs aliens robots vs wrestlers robots vs zombies 2 robots vs wrestlers imdb robots vs monsters movie robots vs humans robots vs zombie hacked robots vs zombies miniclip hacked v+ robots power rangers v robots game robotstar v robots v.s zombies hacked robots v.s. monsters game robots vs art robots v gorillas in the desert aliens vs robots robots wiki robots with raspberry pi robots with rayguns robots watch online robots will kill graffiti robots wiki film robots with artificial intelligence robots wordpress robots wikipedia robots will kill w robots.txt little w robots movies w robots co wpisać w robots.txt sitemap w robots.txt w.m. robots blokowanie w robots komentarze w robots.txt robots you tube robots youtube movie robots yaskawa robots y8 robots yushin robots youtube film robots you can buy robots y androides robots yupis robots y sus funciones i robots i robots 2 i robots for sale i robots online movie i robots characters i robots streaming robots zombies robots zombies monsters robots zodiac robots zāles pļāvējs robots zoomorficos robots zāles pļāvējs cena robots zoomorficos definicion robots zodiac piscine robots zeichentrickfilm robots zoomorficos no caminadores z robots game robots z-machines mazinger z robots mazinger z robots enemigos mazinger z robots list e z robots dragon ball z robots tranzor z robots mazinger z robots malos izkušnje z robotskim sesalnikom robots 007 robots 0 humans 3 lyrics robots 008 000webhost robots.txt robots 3 humans 0 mp3 robots 3 humans 0 norma jean robots 3 human 0 lyrics 0024 - robots little robots 04 robots ost 03 humans 0 robots 3 robotics 101 robots 100 years from now robots 10 hours robots 1 humans 0 robots 1950s robots 1980s toys robots 15 robots 1999 robots 1988 robots 1988 movie transformers 1 robots transformers 1 robots list megaman 1 robots transformers 1 robots cast robots 1 5 robots 1 channel robots 1 generacion robots 1 7 little words robots 1 humans 0 lyrics robots 2005 robots 2005 subtitle robots 2005 full movie robots 2005 download robots 2005 kickass robots 2015 robots 2005 dvdrip robots 2005 full movie youtube robots 2005 subscene robots 2005 watch online 2 robots 2 doors 2 robots 2 doors riddle 2 robots talking to each other 2 robots and a garage 2 robots - alkaline (andrea bertolini remix) 2 robots watching movies 2 robots on mars 2 robots - alkaline (andrea bertolini remix) zippy 2 robots in star wars 2 robots - para noir (seismal d. remix) robots 3d robots 3 humans 0 robots 3d trailer robots 3d imax robots 3 laws robots 3 humans 0 tab robots 3d printing robots 3 humans 0 meaning robots 3d print a bridge robots 301 redirect 3 robots in origins 3 robots cartoon 3 robots laws 3 robots que tengan inteligencia artificial 3 robots singing happy birthday 3 robots in mortal kombat 3 robots rules 3 robots on mars transformers 3 robots names and pictures robots 4 autism robots 4 less robots 4 u review robots 4 u groupon robots 4 u coupon robots 4 vinylmation robots 4 u san antonio robots 4 u austin robots 4 u camp review 4 robots ni no kuni 4 robots famosos robots 50 7 little words robots 50 years from now robots 50s robots 503 robots 50 years ago 50 robots to draw and paint 50 robots to draw and paint pdf 50 robots to draw and paint download 5 robots famosos 5 robots importantes 5 robots named paul 5 robots mas avanzados 5 robots reales 5 robots qui vont changer votre vie 5 robots we wish were real hi-5 robots youtube robotstudio 5 robots 1.5 robots 60 minutes robot 6 axes robots 60's robots 60657 robots 6 en 1 6 robots named paul 67 robots 60 minutes robots 6mm robots 6 robots called paul 6 axis robots drupal 6 robots.txt iis 6 robots.txt 6 axis robots manufacturers 6 legged robots 6 foot robots for sale robots 7 little words answers robots 720p robots 7 little words cheats robots 720p latino robots 70s robots 7 little words 31 7 robots most likely 7 robots 73 robots 7 robots combine transformers drupal 7 robots txt megaman 7 robots robots 7 little words 7 team robots drupal 7 robots.txt module eureka 7 robots robots 8 letters robots 80s robots 80s cartoon cartoon robots 80's 8 robots that will haunt your soul 80legs robots txt 8 robots with unique moves 80s robots family guy 80s robots toys 8051 robots 8 ways robots stole our jobs in 2013 8 flying robots 8 bit robots megaman 8 robots iis 8 robots txt level 8 robots vs zombies 8 foot robots robots 981 y&t robots 986 y&t robots 960 robots 9000 9 robots 9 robots anime 90s robots 960 robots omega 960 robots html file 960 robots lullabot 9 robots you can replace all your friends with 9 jobs robots will replace district 9 robots 9 movie robots plan 9 robots mega man 9 robots 9/11 robots 9 jobs robots already do better than you mortal kombat 9 robots robots 1080p robots 1080p latino robots 1080p mkv robots 1001 robots 10 years from now robots 10 7 little words robots.1080p.oar.hdtv.x264-esir 10 robots that will change the world 10 robots to watch in 2014 10 robots in the workforce 10 robots that could take over the world 10 robots with dirty jobs 10 robots on the rise 10 robots that will haunt your soul 10 robots of 2012 top 10 robots top 10 robots anime

         Dalam salah satu posting saya sebelumnya saya telah membahas tentang Kustom Robot Header Tag untuk blogger. Jika Anda telah membaca posting itu maka saya harap kalian menyadari dengan pentingnya dalam peringkat pencarian. Hari ini, saya datang dengan istilah sadar sangat berguna dan harus blogging yang Robots.txt. Di blogger itu dikenal sebagai Kustom Robots.txt itu berarti sekarang Anda dapat menyesuaikan file ini sesuai dengan pilihan Anda. Dalam tutorial hari ini kita akan membahas tentang istilah ini dalam-dalam dan datang untuk tahu tentang penggunaan dan manfaat. Saya juga akan memberitahu Anda bagaimana untuk menambahkan file kustom robots.txt di blogger. Jadi mari kita mulai tutorial.txt di Blogger.

blogger custom robots txt

Apa itu Robots.txt?


Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. Hal ini disimpan di website atau server blog yang menginstruksikan web crawler untuk bagaimana indeks dan merangkak blog Anda dalam hasil pencarian. Itu berarti Anda dapat membatasi setiap halaman web di blog Anda dari web crawler sehingga tidak bisa terindeks di search engine seperti halaman label blog Anda, halaman demo Anda atau halaman lain yang tidak penting untuk mendapatkan diindeks. Selalu ingat bahwa crawler pencarian memindai file robots.txt sebelum merangkak setiap halaman web.

Setiap blog host di blogger memiliki file robots.txt default yang merupakan sesuatu yang terlihat seperti ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Penjelasan

Kode ini dibagi menjadi tiga bagian. Mari studi pertama masing-masing setelah itu kita akan belajar bagaimana menambahkan file kustom robots.txt di blog blogspot.

  1. User-agent: Mediapartners-Google
Kode ini adalah robot Google Adsense yang membantu mereka untuk melayani iklan yang lebih baik di blog Anda. Entah Anda menggunakan Google Adsense di blog Anda atau tidak cukup biarkan seperti itu.

    User-agent: *
 
Ini adalah untuk semua robot yang ditandai dengan tanda bintang (*). Dalam pengaturan default blog kita label link dibatasi untuk diindeks oleh crawler pencarian yang berarti web crawler tidak akan mengindeks kami link halaman label karena kode di bawah ini.
Disallow: /search
Itu berarti link yang memiliki kata kunci pencarian setelah nama domain akan diabaikan. Lihat di bawah contoh yang merupakan link dari halaman label bernama SEO.
http://vendi.official.web.id/search/label/Tips Blog
Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua halaman konten dan web.
Berikut Izinkan: / mengacu pada Homepage yang berarti web crawler dapat merangkak dan homepage indeks blog kita.
Larang khusus PosSekarang kira jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita dapat menambahkan di bawah garis dalam kode.
Disallow: /yyyy/mm/post-url.html
Berikut tttt dan mm mengacu pada tahun penerbitan dan bulan pos masing-masing. Sebagai contoh jika kita telah menerbitkan sebuah posting pada tahun 2013 di bulan Maret maka kita harus menggunakan format yang di bawah.
Disallow: /2015/05/post-url.html
Untuk membuat tugas ini mudah, Anda cukup menyalin URL pos dan menghapus nama blog dari awal.

Larang khusus HalamanJika kita perlu untuk melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan menghapus alamat blog dari itu yang akan sesuatu terlihat seperti ini:
Disallow: /p/page-url.html
  • Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Kode ini mengacu pada sitemap blog kita. Dengan menambahkan link di sitemap di sini kita hanya mengoptimalkan tingkat merangkak blog kita. Berarti setiap kali web crawler memindai file robots.txt kami mereka akan menemukan jalan untuk sitemap kami di mana semua link dari postingan kita diterbitkan hadir. Web crawler akan merasa mudah untuk merangkak semua postingan kita. Oleh karena itu, ada kemungkinan yang lebih baik bahwa web crawler merangkak semua posting blog kita tanpa mengabaikan satu pun. 

Catatan: Jika Postingan anda di blog belum mencapai 500 gunakan sitemap dibawah ini.

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Jika Anda memiliki lebih dari 500 posting diterbitkan dalam blog Anda, maka Anda dapat menggunakan dua Sitemaps seperti di bawah ini:
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Menambahkan robots.txt untuk Blogger


Sekarang bagian utama dari tutorial ini adalah cara menambahkan robots.txt di blogger. Jadi di bawah ini adalah langkah-langkah untuk menambahkannya.
  1.     Pergi ke blog blogger Anda.
  2.     Arahkan ke Settings >> Preferensi Pencarian >> Crawler dan pengindeksan >> Custom  robots.txt >> Edit >> Ya
  3.     Sekarang paste kode file robots.txt Anda dalam kotak.
  4.     Klik tombol Save Changes.
  5.     Kamu selesai! 


Bagaimana Cek Robots.txt ?


Anda dapat memeriksa file ini di blog Anda dengan menambahkan robots.txt akhirnya ke URL blog Anda di browser. Lihatlah contoh di bawah ini untuk contoh.
http://vendi.official.web.id/robots.txt
Setelah Anda mengunjungi URL file robots.txt Anda akan melihat seluruh kode yang Anda gunakan dalam file robots.txt kustom Anda. Lihat gambar di bawah ini.

Ini adalah tutorial lengkap hari ini tentang cara menambahkan file kustom robots.txt di blogger. Saya benar-benar mencoba dengan hati saya untuk membuat tutorial ini sederhana dan informatif mungkin. Tapi tetap jika Anda memiliki keraguan atau query maka jangan ragu untuk bertanya kepada saya. Jangan menaruh kode dalam pengaturan robots.txt kustom Anda tanpa mengetahui tentang hal itu. Hanya meminta kepada saya untuk menyelesaikan permintaan Anda. Aku akan memberitahu Anda segala sesuatu secara rinci. Thanks guys untuk membaca tutorial ini. Jika Anda suka maka silakan mendukung saya untuk menyebarkan kata-kata saya dengan berbagi posting ini di profil media sosial Anda. Selamat Blogging!
06:06
URL Print Email
Label:

Post a Comment

Berkomentarlah dengan bijak :)

Contact Form

Name

Email *

Message *

Powered by Blogger.
Javascript DisablePlease Enable Javascript To See All Widget