RE: Cara Mengatur Robots.txt WordPress Paling SEO ?

ane punya blog wordpress gan maksudnya pakai cms wordpress yang self hosting. nah ane bingung cara ngatur robots.txtnya biar gak kacau dan banyak errornya gimana ya ?

apa saja yang harus ane disallow dan harus ane allow gan :cd:

yang selama ini ane pakai tu kurang lebih tu seperti ini gan :

User-agent: *
# disallow all files in these directories
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /*?*
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/
Disallow: */trackback/
Disallow: /wp-*
Disallow: /*?*
User-agent:Mediapartners-Google*
Allow:/
User-agent:Googlebot-Image
Allow:/wp-content/uploads/
User-agent:Adsbot-Google
Allow:/
User-agent:Googlebot-Mobile
Allow:/

Dan ketika di cek sering error ketika di webmaster, tolong dong rekomendasinya

Anakdesa Sarjana Ditanyakan on 30 October 2016 pada Blog.
Tambah Komentar
Jawaban Terbaik

Jangan remehkan robots.txt karena itu bisa mempengaruhi kinerja SEO di situs agan. Kebetulan saya sudah banyak pengalaman di dunia WP dan saya juga berpatokan sama shoutmeloud dimana dia adalah patokan developer wp di seluruh dunia. Berikut ini robots.txt yang seharusnya di pakai di WP :

User-agent: *
 Disallow: /cgi-bin/
 Disallow: /wp-admin/
 Disallow: /recommended/
 Disallow: /comments/feed/
 Disallow: /trackback/
 Disallow: /xmlrpc.php
 User-agent: NinjaBot
 Allow: /
 User-agent: Mediapartners-Google*
 Allow: /
 User-agent: Googlebot-Image
 Allow: /fl/uploads/
 User-agent: Adsbot-Google
 Allow: /
 User-agent: Googlebot-Mobile
 Allow: /
 Sitemap: http://blogagan.com/sitemap.xml
 Sitemap: http://blogagan.com/sitemap-image.xml
 
Megister Terjawab on 30 October 2016
Tambah Komentar

Jawaban Anda

Dengan memposting jawaban, anda setuju dengan Kebijakan Privasi dan ketentuan layanan.