Crawler หรือที่เรียกว่าสไปเดอร์หรือบ็อต เป็นซอฟต์แวร์ที่ Google ใช้เพื่อประมวลผลและจัดทำดัชนีเนื้อหาในหน้าเว็บ Crawler ของ Ad Manager จะเข้าชมเว็บไซต์เพื่อพิจารณาเนื้อหาและแสดงโฆษณาที่เกี่ยวข้อง
ข้อเท็จจริงสำคัญบางประการที่ควรทราบเกี่ยวกับ Crawler ของ Ad Manager มีดังนี้
- Crawler ของ Ad Manager แตกต่างจาก Crawler ของ Google Crawler 2 โปรแกรมนี้แยกต่างหากกัน แต่จะใช้แคชร่วมกัน ทั้งนี้เพื่อหลีกเลี่ยงไม่ให้เรียกใช้หน้าเว็บเดียวกัน จึงช่วยให้ผู้เผยแพร่โฆษณาประหยัดแบนด์วิดท์ ในทำนองเดียวกัน Crawler ของเครื่องมือของผู้ดูแลเว็บก็แยกกันด้วย
- ปัญหาการ Crawl ของ Ad Manager ที่แก้ไขแล้วจะไม่เป็นการแก้ปัญหาการ Crawl ของ Google การแก้ปัญหา Crawler ของ Ad Manager จะไม่มีผลใดๆ ต่อตำแหน่งโฆษณาในผลการค้นหาของ Google อ่านบทความวิธีทำให้ได้รวมอยู่ในผลการค้นหาของ Google เพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับการจัดอันดับเว็บไซต์ใน Google
- Crawler จัดทำดัชนีตาม URL Crawler ได้รับสิทธิ์เข้าถึง site.com และ
www.site.com
แยกกัน แต่จะไม่นับsite.com
และsite.com/#anchor
เป็น URL เดี่ยว - Crawler จะไม่เข้าถึงหน้าเว็บหรือไดเรกทอรีที่ไฟล์ robots.txt ไม่อนุญาต ทั้ง Crawler ของพาร์ทเนอร์ Google และ Ad Manager จะยึดตามไฟล์ robots.txt ดังนั้น จะไม่มีการทำการ Crawl หากไฟล์ robots.txt ไม่อนุญาตให้เข้าถึงหน้าเว็บบางหน้าหรือไดเรกทอรีบางรายการ
หากคุณแสดงโฆษณาในหน้าเว็บที่ใช้ไฟล์ robot ป้องกันโดยระบุบรรทัดคำสั่งเป็น
User-agent: *
Crawler ของ Ad Manager จะยังคงทำการ Crawl หน้าเหล่านี้ หากต้องการป้องกันไม่ให้ Crawler ของ Ad Exchange เข้าถึงหน้าเว็บ คุณจะต้องระบุUser-agent: Mediapartners-Google
ในไฟล์ robots.txtดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีให้สิทธิ์เข้าถึงแก่โปรแกรมรวบรวมข้อมูลในไฟล์ robots.txt
- Crawler จะพยายามเข้าถึง URL เฉพาะเมื่อมีการใช้แท็กโฆษณา ควรจะมีเฉพาะหน้าเว็บที่แสดงโฆษณา Google เท่านั้นที่ส่งคำขอมาที่ระบบของเราและได้รับการ Crawl
- Crawler จะพยายามเข้าถึงหน้าเว็บที่เปลี่ยนเส้นทาง เมื่อมี "หน้าเว็บเดิม" ที่เปลี่ยนเส้นทางไปยังหน้าเว็บอื่นๆ Crawler ต้องเข้าถึงหน้าเว็บเดิมเพื่อพิจารณาว่ามีการเปลี่ยนเส้นทางหรือไม่ ดังนั้น การไปยังหน้าเว็บเดิมของ Crawler จะปรากฏในบันทึกการเข้าถึงของคุณ
- การทำการ Crawl เว็บไซต์อีกครั้ง ขณะนี้เราควบคุมไม่ได้ว่าจะให้ Crawler จัดทำดัชนีเนื้อหาในเว็บไซต์บ่อยเพียงใด การ Crawl จะทำงานโดยบ็อตแบบอัตโนมัติ หากคุณเปลี่ยนแปลงหน้าเว็บ อาจใช้เวลา 1-2 สัปดาห์ก่อนที่การเปลี่ยนแปลงดังกล่าวจะแสดงในดัชนี