Beta 版阶段的功能可能并未在您的广告资源网中提供。敬请关注版本说明,了解此功能何时会推出正式版。
一旦您的网域上设置了 ads.txt
/app-ads.txt
文件,Google 抓取工具就会执行以下操作:
- 尝试按每 24 小时 1 次的频率抓取该文件。
- 解析该文件的内容,以确定有权通过您的广告资源获利的卖方 ID。
您可以在 Ad Manager 的 ads.txt 管理工具中监控网域的 ads.txt/app-ads.txt 状态。在某些情况下,ads.txt
/app-ads.txt
文件可能已发布到某个网域中,但 Ad Manager 却显示“找不到 ads.txt 文件”。
倘若该文件处于已发布状态的时长已超过 48 小时,这通常意味着,尽管该文件可能存在,但 Google 无法找到/抓取/解析该文件。如果出现这种情况,建议您与网站站长一起完成下述问题排查步骤。
app-ads.txt
文件是公开的,可供广告交易平台、供应方平台 (SSP) 以及其他买方和第三方供应商抓取。
确认文件未出现暂时不可用的情况
倘若先前看到的 ads.txt
/app-ads.txt
文件在后续重新抓取时不可用,那么先前看到的条目将会:
- 被完全清除,如果响应为硬 404 错误(网页实际不存在;HTTP 404 状态)。
- 被保留最多 5 天,如果响应为软 404 错误(针对实际不存在的网址返回实际网页;HTTP 200 状态)或服务器错误 500。在这种情况下,Ad Manager 所显示的“最新版本出现时间”可能就会不符合常规的 24 小时更新周期,而是会更早。
确认文件可以通过根网域访问
从 domain.com/ads.txt
到 www.domain.com/ads.txt
的重定向相当常见。ads.txt 的抓取将从根网域开始,而根网域需要从 ads.txt 文件返回或重定向到 ads.txt 文件。
www.domain.com/ads.txt
上的ads.txt
文件只有在domain.com/ads.txt
重定向到它时才会被抓取。- 系统仅会追踪原始根网域以外的一个重定向(例如
example1.com/ads.txt
→example2.com/ads.txt
)。如果包含第二个重定向,即使它指向同一个网域,该文件也不会被抓取。
检查 robots.txt
是否允许抓取内容
如果某个网域中的 robots.txt 文件不允许以下任意一项,抓取工具可能会忽略该网域的 ads.txt
/app-ads.txt
:
- 抓取
ads.txt
/app-ads.txt
文件发布所在的网址路径。 - 使用抓取工具的用户代理。
对于 example1.com:
ads.txt
文件发布在example1.com/ads.txt
上。example1.com/robots.txt
中包含以下两行内容:User-agent: *
Disallow: /ads
- 遵守 robots.txt 标准的抓取工具会忽略
ads.txt
文件。 - 您可以按如下方法修改
robots.txt
文件以允许抓取文件(也可以采用其他方法):- 方法 1:修改不允许抓取的路径。
User-agent: *
Disallow: /ads/
- 方法 2:明确允许
ads.txt
;这取决于抓取工具对Allow
robots.txt 指令的支持情况。User-agent: *
Allow: /ads.txt
Disallow: /ads
- 方法 1:修改不允许抓取的路径。
以 example2.com 为例:
- ads.txt 文件发布在
example2.com/ads.txt
上。 example2.com/robots.txt
中包含以下两行内容:User-agent: Googlebot Disallow: /
- Google 抓取工具会忽略 ads.txt 文件。
确保在返回文件的同时,显示的状态代码是 HTTP 200 OK(200 成功)
虽然对 ads.txt
/app-ads.txt
文件的请求可能会在响应正文中返回文件内容,但是如果响应标头中的状态代码指示未找到该文件(例如状态代码 404),那么:
- 系统将会忽略该响应。
- 该文件将被视为不存在。
因此,请确保在返回文件的同时,显示的状态代码是 HTTP 200 OK。
确保文件中没有格式错误或无效字符
格式错误(例如无效的空白字符)可能难以检测到,但却会使 ads.txt/app-ads.txt 文件难以被抓取工具解析,进而可能导致文件被忽略。
请避免从富文本编辑器复制和粘贴 ads.txt
/app-ads.txt
条目。建议使用纯文本编辑器。您还可以使用十六进制编辑器检查 ads.txt
/app-ads.txt
文件中是否存在无效的 UTF-8 字符。
确保通过 HTTP 和 HTTPS 均可访问 ads.txt/app-ads.txt 文件
无论在 HTTP 上还是 HTTPS 上,Google 抓取工具都会尝试抓取所有 ads.txt
/app-ads.txt
文件。但是,404(或 40X)响应会导致先前被抓取的条目被完全清除。因此,如果通过 HTTP 或 HTTPS 实施的抓取返回 404(或 40X),那么:
- 之前抓取的条目将会被完全清除。
- Ad Manager 将显示“无 ads.txt”状态。
因此,请确保通过 HTTP 和 HTTPS 均可访问 ads.txt
/app-ads.txt
。
确认您的服务器/CDN 未向 Google 抓取工具返回无效响应
您在浏览器中查看时,系统可能会显示返回了有效的 ads.txt。但是,如果在用户代理指示抓取工具是 Googlebot 时返回了无效的非 ads.txt 响应,那么:
- Google 不会检测 ads.txt 文件。
- Ad Manager 将指示“找不到 ads.txt 文件”状态。
要针对这种情况进行调试,请让您的网站站长运行以下 shell 命令(将 mydomain.com
替换为您的网域):
- 如要确认 ads.txt 文件是否可访问,请运行以下命令:
curl -iL http://mydomain.com/ads.txt
当您转到mydomain.com/ads.txt
时,应该会在浏览器中看到所返回的 ads.txt 文件的内容。 - 要确认 Google 抓取工具能否找到 ads.txt 文件,请运行以下命令:
curl -iL -A "'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).'"
http://mydomain.com/ads.txt
如果返回了无效的非 ads.txt 响应,则表示当 Google 抓取工具尝试抓取 ads.txt 文件时,您的服务器或内容分发网络 (CDN) 返回了无效响应。
除了上面介绍的抓取工具用户代理检查之外,可能还有其他原因会导致您的服务器无法向 Google 抓取工具返回有效的响应。请与您的网站站长合作,以便调查并解决此类问题,具体方法是查看您的服务器日志,看看 Google 在抓取 mydomain.com/ads.txt
或 mydomain.com/robots.txt
时是否失败了。
针对应用的提示
以下建议仅适用于 app-ads.txt
文件:
- 在 Google Play 或 App Store 中注册您的应用。
- 在 Google Play 商店和/或 App Store 商品详情中的营销网站内添加开发者网站。
- 确保 Google Play 商店中为此应用列出的开发者网站和/或 App Store 中为此应用列出的营销网站是有效的网址。检查是否存在拼写错误,并确保 app-ads.txt 文件不是在子网域中。