Disaat yang lain sibuk membuat tulisan tentang bagaimana meningkatkan traffic, saya malah kebingungan bagaimana untuk menurunkan traffic. Beberapa hari yang lalu di awal bulan maret 2009, blog saya mengalami lonjakan traffic yang saya nilai tidak wajar. Bandwidth yang terpakai sangat tinggi tetapi pengunjung blog relatif tetap, bahkan cenderung menurun. Kemudian saya bandingkan statistik antara awstats dan google analytics. Dan saya menarik kesimpulan bahwa traffic yang tinggi berasal dari robot spider mesin pencari.
Seperti yang kita ketahui, robot/spider/bot atau apalah namanya itu bertugas membaca isi dari blog atau website kita agar blog kita bisa terindex ke mesin pencari darimana robot tersebut berasal. Sebenarnya robot itu sangat membantu kita agar blog kita bisa masuk ke mesin pencari. Tetapi kalo kebanyakan robot sok tahu yang meng-crawl halaman website kita, padahal jatah bandwidth kita terbatas akan menjadi masalah.
Salah satu cara mengatasainya adalah dengan menggunakan robots.txt. Untuk lebih mengenal tentang robot.txt bisa membaca tentang robot.txt disini atau bisa juga baca FAQ-nya di FAQ Robot.TXT. Karena saya tidak paham dengan Robots.Txt maka saya membuat robots.txt menggunakan Robots.Txt Generator, dan hasilnya menjadi seperti ini robot.txt saya. Dan sekarang traffic blog saya kembali normal.
Tags: bandwidth, google, robot, robots.txt, robots.txt generator, traffic
Sama bro, bandwidth akhir2 ini boros semenjak pindah hosting. Tapi pngunjung ya segitu2 aja, ga nambah, kurang iya
Eh, ikut ngopy robotnya yee..
Silakan aja. Tapi kalo mau buat sendiri ada generator untuk buat robot.txt untuk milih spider mana saja yang diperbolehkan
hihihihi…punya sayamalah saya cuekkin masalah kayak traffic..nggak pusingin masalah itu..hihihi…tapi buat share infonya…lumayanlah, buat bekal nanti..hiihihi..:p
Lha iya, kalo wordpress gratisan emang nggak bisa dimainin ataupun ditambahin robot.txt. Kalopun terjadi ledakan traffic ya yg bermasalah wordpress.com-nya, bukan kita…
info yg bermanfaat sekali, thx
Sama-sama
wah.. saya masih bingung naikkan traffic, yg sini malah berusaha menghapus traffic…
thanx infonya boss.. tuk jaga2 aja, ntar kalo terjadi lonjakan traffic yg ga wajar…
Yupz, sama-sama bro
Trafic blog saya malah anjlok nih…
Ya dinaikin lagi bro
Saat orang sedang ngomongin yg ginian, aku kok tetap saja ga dong yach
*Maap baru ngeblog sich
Salam
Wah, kalo masalah ngeblog kayaknya duluan mas Ari deh. Lebih baru saya. Cuma mungkin bukan bidangnya atau mas Ari nggak fokus disitunya. Salam juga…
mngkin nggak mas karena suatu plugin??
bulan kemarin akun saya sempat di suspend sama hosting yg katanya membahayakan server karena tinggi nya trafict ke blog saya, bayangkan saja, UV cuma 50 tapi page impression ampe 5000 lebih, gw mikir dari mana datangnya tuh PI, lalu aku konfirm ke hosting nya dan katanya ada mugnkin pluginku yg bikin itu, lalu saya ilangkan plugin, kalau ga salah aku iseng pasang pingcrawl..
OK deh, manfaat banget infonya, makasih.. nanti coba saya implementasikan
(haiyah sok diplomatis ngomongnya kayak caleg saja.. hahaha)
salam
Kayaknya nggak deh, Mas. Soalnya saya sudah lama nggak nambah plugin. Pingcrawl tu buat apa? Saya jarang nambah plugin kecuali kalo ada rekomendasi dari para ahli *kayak iklan sampo aja*
Salam juga
maksih atas info nya mas
salam knl ya
Salam kenal juga
wah,saking banyaknya pengunjung mpe harus ngurangin pengunjung..keren..hehhehe
kl tempatku tak kasih itu bisa 0 pengunjung perhari bahkan minus…
hahahha
Yang saya batasi pengunjung yang tidak nampak kok. Yang saya kurangi robot sok tau mesin pencari. Bukan penhunjung normalnya
hem, saya juga lagi menghemat bw nih.. mklum satu hostingan keroyokan berapa domain
Mungkin yang sedikit ini bisa membantu…
emang berpengaruh yah… trafic itu kita lihat dimana sih..
makasih ya mas..dah berbagi sama kita2 yng newbie yang masih baru masuk ke dunia blogging
Bisa pake awstat atau pakai google analytics. Kalo awstat masuk ke cpanel kemudian pada bagian logs pilih awstats. Kalo pake google analytics harus punya akun google.
Saya juga masih baru dalam dunia blogging kok bang…
wah beneran nih???
waduh…
Yupz
ga pernah mikirin robot.txt deh… soalnya masih pake blogspot jadi kalopun ada lonjakan trafik yang bermasalah paling si blogspotnya…
tapi kayaknya cukup ngaruh buat yang trafiknya dibatasi
Hehehe, iya, trik buat blog atau website dengan hosting sendiri.
PageRank nya juga ikut turun….
Ya nggak pengaruh, selama robot google masih dipersilakan masuk untuk meng-crawl.
Pagerank khan milik google, dan robot google tidak dilarang untuk crawl halaman kita.
baru tau nih tentang robot.txt, thx for sharing
bagus juga tuh….
hehehe lom ngeh d masalah robot.txt karena traffic saya normal2 ajaah… serem juga kalo kebanyakan robot yang crawl…btw kok bisa tiba2 banyak robot yang crawl napa mas? apa habis submit2 ke directory ato napa? thanks yaaah..
Saya tidak tahu juga kenapa tiba-tiba banyak tamu tidak diundang (robot). Soalnya kayaknya optimasi saya biasa-biasa saja. submit dir, submit rss dll. Mungkin resikonya gitu kali. sekarang juga banyak spam di komentar semacam buy viagra, casino dll. nggak tau tu orang dapet darimana blog ini.
berarti selama ini yang banyak masuk bot-nya siapa?
Kedeteknya “Unknown spider”, Pak
Sekarang udah berkurang…
Bos, kalau Googlebot DISALLOW, apakah nanti web kita jadi tidak bisa di halaman 1 google atau tidak dikanali lg ??
Thanks
Artinya google dipersilakan mengindex halaman kita, jadi kemungkinan bisa masuk halaman 1 (kalau SEO-nya bagus atau lagi beruntung)
Artinya google tidak diperkenankan mengindex halaman kita. Secara teori halaman kita tidak akan ada di halaman google.
naiz inpo gan….
saia masi berjuang naikin trafik….
klo seting crawl di gugel webmaster dinaikin mpe mentok bisa bkin bw jebol g gan?
Kemungkinan bisa juga. Kalo sering update sie kayaknya malah bagus kalo setting crawl-nya dinaikin. tapi ya resiko mungkin BW-nya naik.
salam kenal
untung cepet ketauan kl ga lumayan tuh ngabis2in bandwith
izin copy robot.txt nya mas
makasih buat info & robot nya
OK, silakan.
Sama-sama
aku masuk blog mu malah bukan karena tulisannya…tapi karena foto yang u pajang buat blogwalking kemana2,habisnya aku penasaran dengan fotomu itu mirip dengan kakakku yang hilang :=( tapi kayaknya tidak….
kakakku
Tulisannya emang nggak bermutu kok, hanya celotehan
BTW gambar yang mana? Di gravatar??
Saya cowok lho…
good lesson.. thanks bro
Postingnya menarik baget ni, saya suka banget, mudah2an bermanfaat..
Salam kenal ya.
Silahkan berkunjung ke BLOG HEBOH dan berkomentar ria ya, soalnya BLOG HEBOH make sistem Dofollow
Oh iyah satu lagi gabung jadi pengikut saya yah..
Di tunggu yah kedatangannya,.
Salam kenal juga, Mas. Blog heboh memang heboh.
Boleh balas nyepam disana???
Lama nggak masuk sini, eh setelah masuk ternyata belum di update artikelnya …
btw lagi sibuk apa memangnya ?
Oh ya, tuh pinjam fotonya siapa memang ? teknik untuk memperbanyak pengunjung ya ? hehe…
Iya mas. hehehe. sibuk nge-game
Lagi mau rilis blog untuk komunitas sekolah. tapi masie dalam tahap pengembangan sambil nyoba-nyoba parking.
Itu fotonya Putri Titian, Mas. hehehe, selama kampanye aja mungkin
Betul Di untuk menghemat bandwidth yg imbasnya hemat biaya:D
Iya, saya cuma belajar optimasi untuk semuanya, baik online maupun offline, penggunaan resource-bandwidth-optimasi page dll. Ngerjain jadi enak dan puas kalo semuanya bisa efektif.
Menarik sekali..saya baru tahu kalau robot.txt bisa menangkal traffik yg nggak wajar…makasih banget mas infonya
Setahu saya begitu, bu. Mungkin juga saya salah…
thenk kyuu bossssss
U’re welcome
wah, artikel yang sangat bagus neh.
btw, boleh ga kalo saya cantumkan artikel di atas di website butik online kami?
butiknya :
http://www.bungkusan.com
kalo boleh, tolong email saya yah ^^
Boleh, silakan saja. asal masie menyebutkan sumbernya (link kesini)
da yang punya invite chi.mp g? lo ada aku dikasih satu ya?
Tapi sayangnya saya belum punya. Saya juga masih nunggu dan cari…
Saya lihat link menuju sitemap dimasukkan ke dalam robots.txt. Apakah ini akan mempermudah crawler mengindeks blog kita? Memangnya apa akibatnya bila kita tidak memasukkan link menuju sitemap di dalam robots.txt? Btw kok harus yg *.xml.gz ya?
Setahu saya iya. Saya menggunakan plugin wordpress bernama XML sitemap plugin secara otomatis menambahkan sitemap.xml.gz di file robots.txt
Kalo untuk detail tentang optimasi sitemap saya kurang tahu.
Saya memasukkan sitemap di halaman http://www.ardi.web.id/sitemap
Untuk masalah sitemap di blog ini saya menggunakan plugin Google XML Sitemaps dan Dagon Design Sitemap Generator
ooh pantesan ..
saya liat di statpress banyakan spidernya,
dicoba dlu ya..
pas dari generatornya
default smua??
g ada yg diganti?
cuma nama site ny aja yg diganti ato gmn?
Silakan dicoba…
Default – All Robots are: Refused
Specific Search Robots : Saya isi Alowed semua
Sitemap: http://namadomainanda/sitemap.xml.gz
Hasilnya menjadi seperti ini http://www.ardi.web.id/robots.txt
Cuma mw diskusi aj…
klo ga salah robot.txt itu digunakan untuk menghindari hacking melalui search engine terhadap folder dan file2 kita. klo search engine mengcrawl folder atau file2 penting kita bisa gawat tuh. Peluang dihack atau dicuri sangat besar. Jadi isi robot.txt gw set:
User-agent:* //semua search engine
Disallow:”folder2 yang ga boleh dicrawl oleh search engine apapun”
Selain itu,file robot.txt gw jg diproteksi lewat file .htaccess biar ga ad yg tau folder atau file penting apa yg gw simpen di web hosting. Jadi web gw aman banged dari Google hacks. Coba lo cari file robot.txt dan .htaccess gw. Dijamin muncul ‘Not Found’.
Klo masalah PR, blog gw msh jauh bgd sktr 20jutaan based on Alexa (hiks3..)cz gw lg jrang promosi n tulis artikel plus msh daun muda bgd. Sibuk soalnya. hehehe.
Tp ini hnya pendapat gw semata,mungkin gw salah. So bales comment gw y!
Yupz, yang saya ketahui robots.txt memang digunakan untuk mencegah search engine dari apapun menangkap nama folder dan file yang kita lindungi di dalam blog kita.
Saya juga sudah melihat ke blog Mas, dan melihat robots.txt mas. Tapi saya pernah baca tentang robots.txt (sumbernya lupa), robots.txt nya bisa disederhanakan menjadi :
Kalo robots.txt saya memang sengaja saya setting untuk search engine selain yang saya sebutkan tidak bisa mengcrawl.
CMIIW ya… ini juga hanya pendapat saya.
klo mengedit robot.txt di blogger kayak gmana mas?
Waduh, saya nggak ngerti kalo di blogger. Maaf mas, ganti custom template aja belum bisa..
wah mantab nich artikelnya bro, salam kenal
Salam kenal juga, mas Dwi
Cara memasukkan robots.txt ke blog kita bagaimana yaa?
Kalo blog gratisan ya nggak bisa dunk
Boss tolong terjemahin apa arti robot.txt ini.
User-agent: IRLbot
Crawl-delay: 3600
User-agent: *
Disallow: /next/
# har har
User-agent: *
Disallow: /activate/
User-agent: *
Disallow: /signup/
User-agent: *
Disallow: /related-tags.php
User-agent: *
Disallow:
saya nanya lagi, emang kalo ada perubahan robot.txt di wordpress gratisan itu yang merubah dari wordpressnya ya? sebab kalo saya tidak salah robot.txt blog saya berubah, semenjak perubahan itu halaman yang biasa terindex di 5 besar di google sekarang 10 besar aja gak ada?
salam kenal dan terimakasih banyak.
Kalo yg paling atas nggak tahu, tapi kalo yg User-agent: * ke bawah itu artinya semua robot dilarang meng-crawl isi folder next, activate, signup dan file related-tags.php. Selain itu tidak masalah.
Kalo yg saya tahu, walau halaman Anda sudah terindeks google dan menempati urutan pertama pencarian, kalo tidak dijaga dengan baik akan mudah terlempar dari hasil pencarian.
salam kenal juga…
wah online malam terus nih…..
tanya lagi boleh ya? “cara menjaganya” agar tidak terlempar dari hasil pencarian bagaimana mas ardi ?
ngomong2 tuh avatar foto ceweknya ya
cekep juga.
Kalo cara yang paling mudah menurut saya ya rajin-rajin posting dan blog walking. Dan kalo buat posting sedapat mungkin saling terkait satu dengan yang lain. Dan link yang ada dibuat senatural mungkin.
Avatarnya cakep ya? hehehe, itu Gita Gutawa
helep helep bagaimana cara mengecek halaman mana aja yang tak ditemukan
Kalo itu setahu saya harus ngecek satu-satu mas.
wah makasih ya..saya tadi sempat heran kok web site saya tiba tiba nggak bisa nggak bisa connect ke database dan user tidak bisa akses ke database…padahal biasanya bisa…jadi sekarang saya coba pelajari bentar mengenai robots.txt ini ..makasih ya..wassalammu’alaikum wr wb..
thx atas infonya
thx bro
Hi, I can?t understand how to add your site in my rss reader. Can you Help me, please
very nice post dude! great website… will be back soon!