Memastikan ads.txt/app-ads.txt dapat di-crawl

Setelah file ads.txt/app-ads.txt disiapkan di domain Anda, crawler Google akan:

• Mencoba meng-crawl file setiap 24 jam.
• Menguraikan konten file untuk menentukan ID penjual yang diizinkan untuk memonetisasi inventaris Anda.

Anda dapat memantau status ads.txt/app-ads.txt domain di Alat pengelolaan Ads.txt Ad Manager. Dalam beberapa kasus, file ads.txt/app-ads.txt mungkin telah diposting di domain, tetapi Ad Manager menunjukkan “File ads.txt tidak ditemukan”.

Jika file telah diposting lebih dari 48 jam, hal ini biasanya menunjukkan bahwa Google tidak dapat menemukan/meng-crawl/menguraikannya, meski file tersebut mungkin ada. Jika hal ini terjadi, sebaiknya lakukan langkah-langkah pemecahan masalah berikut dengan Webmaster Anda.

File app-ads.txt tersedia untuk umum dan dapat di-crawl oleh bursa, platform sisi suplai (SSP), dan pembeli serta vendor pihak ketiga lainnya.

Mengonfirmasi bahwa file tersebut selalu ada

Jika file ads.txt/app-ads.txt yang sebelumnya ada tidak tersedia pada saat crawl ulang berikutnya, entri yang sebelumnya ada akan:

• Dihapus permanen jika responsnya berupa error hard 404 (halaman yang sebenarnya tidak ada; status HTTP 404).
• Disimpan hingga lima hari jika responsnya berupa error soft 404 (halaman sungguhan yang ditampilkan untuk URL yang sebenarnya tidak ada; status HTTP 200) atau error server 500. Dalam kasus ini, Ad Manager menampilkan waktu “Terakhir dilihat” yang mungkin lebih lama dari periode pembaruan 24 jam yang diharapkan.

Mengonfirmasi bahwa file dapat dijangkau dari domain root

Pengalihan dari domain.com/ads.txt ke www.domain.com/ads.txt sering terjadi. Crawling ads.txt akan dimulai di root domain, dan root domain harus ditampilkan dari, atau dialihkan ke, file ads.txt tersebut.

• File ads.txt di www.domain.com/ads.txt hanya akan di-crawl jika domain.com/ads.txt dialihkan ke URL tersebut.
• Hanya satu pengalihan di luar domain root asli yang diikuti (misalnya, example1.com/ads.txt → example2.com/ads.txt). Jika pengalihan kedua disertakan — meskipun untuk domain yang sama — file tidak akan di-crawl.

Memeriksa apakah robots.txt mengizinkan crawling

File ads.txt/app-ads.txt untuk domain dapat diabaikan oleh crawler jika file robots.txt di domain tidak mengizinkan salah satu dari hal berikut:

• Crawling jalur URL tempat file ads.txt/app-ads.txt diposting.
• Agen-Pengguna crawler.

Memastikan file menampilkan kode status HTTP 200 OK

Meskipun permintaan untuk file ads.txt/app-ads.txt dapat menampilkan konten file di isi respons, jika kode status di header respons menunjukkan bahwa file tidak ditemukan (misalnya kode status 404):

• Respons akan diabaikan.
• File tersebut akan dianggap tidak ada.

Pastikan file memiliki kode status HTTP 200 OK.

Memastikan tidak ada error format atau karakter yang tidak valid dalam file

Error format, seperti karakter spasi kosong yang tidak valid, mungkin sulit dideteksi tetapi dapat membuat file ads.txt/app-ads.txt sulit diuraikan oleh crawler, dan karenanya dapat menyebabkan file diabaikan.

Jangan menyalin dan menempelkan entri ads.txt/app-ads.txt dari editor rich text. Sebaiknya gunakan editor teks biasa. Anda juga dapat memeriksa karakter UTF-8 yang tidak valid dalam file ads.txt/app-ads.txt menggunakan editor HEX

Membuat file ads.txt/app-ads.txt dapat dijangkau melalui HTTP dan HTTPS

Crawler Google akan mencoba meng-crawl semua file ads.txt/app-ads.txt di HTTP dan HTTPS. Namun, respons 404 (atau 40X) dapat menyebabkan penghapusan permanen entri yang di-crawl sebelumnya. Oleh karena itu, jika crawling melalui HTTP atau HTTPS menampilkan 404 (atau 40X):

• Entri yang di-crawl sebelumnya akan dihapus permanen.
• Ad Manager akan menampilkan status “tidak ada file ads.txt”.

Harap pastikan ads.txt/app-ads.txt dapat diakses melalui HTTP dan HTTPS.

Mengonfirmasi server/CDN Anda tidak menampilkan respons yang tidak valid ke crawler Google

Saat dilihat di browser, ads.txt yang valid mungkin tampak ditampilkan. Namun, jika respons non-ads.txt yang tidak valid ditampilkan ketika Agen Pengguna menunjukkan bahwa crawler tersebut adalah Googlebot:

• Google tidak akan mendeteksi file ads.txt.
• Ad Manager akan menunjukkan status “Tidak ditemukan ads.txt”.

Untuk melakukan debug skenario ini, minta agar webmaster menjalankan perintah shell berikut (ganti mydomain.com dengan domain Anda):

1. Untuk mengonfirmasi bahwa file ads.txt dapat dijangkau, jalankan:
   curl -iL http://mydomain.com/ads.txt
   
   Konten file ads.txt ditampilkan sebagaimana terlihat di browser saat Anda membuka mydomain.com/ads.txt.
2. Untuk mengonfirmasi bahwa file ads.txt dapat ditemukan oleh crawler Google, jalankan:
   curl -iL -A "'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).'"
http://mydomain.com/ads.txt
   
   Jika respons non-ads.txt yang tidak valid ditampilkan, ini menunjukkan bahwa server atau Jaringan Distribusi Konten (CDN) Anda menampilkan respons tidak valid saat crawler Google mencoba mengambil file ads.txt Anda.

Mungkin ada alasan lain, selain pemeriksaan agen-pengguna crawler yang dijelaskan di atas, yang menyebabkan server Anda tidak menampilkan respons yang valid ke crawler Google. Harap bekerja sama dengan webmaster Anda untuk menyelidiki dan memperbaiki masalah tersebut dengan memeriksa crawl Google yang gagal untuk mydomain.com/ads.txt atau mydomain.com/robots.txt di log server Anda.

Tips khusus aplikasi

Saran ini hanya berlaku untuk file app-ads.txt:

• Daftarkan aplikasi Anda dengan Google Play atau App Store. 
• Sertakan situs developer di Google Play Store dan/atau situs marketing di listingan Play Store.
• Pastikan situs developer yang tercantum di Google Play dan/atau situs marketing yang ada di App Store untuk aplikasi ini merupakan URL yang valid. Periksa apakah ada kesalahan ketik dan pastikan bahwa file app-ads.txt tidak berada pada subdomain.