Tentang crawler konten

Crawler, yang juga dikenal sebagai spider atau bot, adalah software yang digunakan Google untuk memproses dan mengindeks konten halaman web. Crawler konten mengunjungi situs Anda untuk mengetahui kontennya guna menyediakan iklan yang relevan.

Beberapa hal penting yang perlu diketahui tentang crawler konten:

• Laporan crawler diperbarui setiap minggu.
  Crawl dilakukan secara otomatis. Kami tidak dapat memenuhi permintaan untuk menjalankan crawl secara lebih sering.
• Crawler konten berbeda dengan crawler Google.
  Kedua crawler tersebut terpisah, tetapi memiliki cache yang sama. Kami merancangnya demikian agar kedua crawler tersebut tidak meminta halaman yang sama, sehingga membantu Anda menghemat bandwidth. Crawler Search Console juga terpisah.
• Mengatasi masalah crawler konten tidak akan menyelesaikan masalah crawl Google.
  Memperbaiki masalah yang tercantum di halaman Akses crawler tidak akan memengaruhi peringkat penelusuran Google Anda.
  Catatan: Untuk mempelajari lebih lanjut peringkat situs Anda di Google, buka cara agar disertakan di hasil penelusuran Google.
• Crawler melakukan pengindeksan berdasarkan URL.
  Misalnya, crawler kami akan mengakses "site.com" dan "site.com" secara terpisah. Namun, crawler kami tidak menghitung "site.com" dan "site.com/#anchor" secara terpisah.
• Crawler tidak akan mengakses halaman atau direktori yang dilarang oleh file robots.txt.
  Crawler Google dan AdMob Mediapartners akan mematuhi file robots.txt Anda. Jika file robot.txt Anda melarang akses ke halaman atau direktori tertentu, halaman atau direktori tersebut tidak akan di-crawl.
  Catatan: Jika Anda menayangkan iklan di halaman yang diblokir file robot.txt dengan baris User-agent: *, crawler konten akan tetap meng-crawl halaman tersebut. Untuk mencegah crawler konten mengakses halaman tersebut, Anda harus mencantumkan User-agent: Mediapartners-Google di file robots.txt.

  Pelajari lebih lanjut cara memberi crawler kami akses ke halaman Anda.
• Crawler akan mencoba mengakses URL hanya jika tag iklan kami diterapkan.
  Hanya halaman yang menampilkan iklan Google yang harus mengirimkan permintaan ke sistem kami dan di-crawl.
• Crawler akan mencoba mengakses halaman yang melakukan pengalihan.
  Jika Anda memiliki "halaman awal" yang melakukan pengalihan ke halaman lain, crawler kami harus mengakses halaman awal tersebut untuk mengetahui apakah pengalihan diterapkan. Oleh karena itu, kunjungan crawler kami ke halaman awal tersebut akan muncul di log akses Anda.
• Tidak ada cara untuk mengontrol seberapa sering crawler kami mengindeks konten di situs Anda.
  Saat ini, crawling dilakukan secara otomatis oleh bot kami. Jika Anda membuat perubahan pada sebuah halaman, mungkin perlu waktu hingga 1 atau 2 minggu agar perubahan tersebut tercermin dalam indeks kami.