关于站点地图 sitemap 的疑问

9 天前
 manami

为了安全，我的一个网站的 robots.txt 设置了不允许抓取/admin/

但是自己的站点地图又不想被别人看到，因此放在了/admin/下，比如/admin/sitemap.xml

在 Google Search Console 提交了这个地址，被 Google 告知无法抓取（ robots.txt 不允许抓取/admin/）……

其他的搜索引擎都可以，只有 Google 不行

大家一般是如何做隐藏站点地图 sitemap 路径的，求解答

1172 次点击
所在节点    程序员
18 条回复
Track13
9 天前
为什么要隐藏？里面有见不得人的东西吗？是个生物都不会去看这个。
SanjinGG
9 天前
站点地图就是给 bot 看的吧，正经人谁去看你这个啊。反向思考是不是只有 google bot 遵守了 robots 规则？
wogogoing
9 天前
robots 只是告诉爬虫抓取的规则，但是爬虫是不是遵守就不得而知了。

这么看来，就 Google 的爬虫遵守了规则。
rbe
9 天前
robots.txt 中支持直接声明 sitemap 地址，可以试试直接写在上面，看看 google 会不会优先读取这个配置
manami
9 天前
@Track13 @SanjinGG 安全方面的考虑。帖子的序列号是随机生成的，靠暴力遍历无法完成。站点地图有帖子的序列号，爬虫很容易爬去
manami
9 天前
@rbe 这样隐藏不了，因为大部分人都会看 robots
duoduo1x
9 天前
手动提交，sitemap 放在一个新建的目录不行么？
manami
9 天前
@duoduo1x 除了 robots.txt 指定的禁止抓取规则（搜索引擎遵不遵守是另一回事），大部分搜索引擎都会抓取收录。Google 就是例子，随便搜一些网站都能看到管理后台地址啥的
manami
9 天前
@duoduo1x 手动提交是指一个个链接提交吗？工作量太大了
shortawn
9 天前
example.com/this/is/a/directory/that/only/search/engine/bots/can/access/sitemap.xml
manami
9 天前
@shortawn 弄一个无限长路径的意思吗？只怕搜索引擎连这种也收录就没办法了 还是会暴露
shortawn
9 天前
@manami 那就把站点地图放在其他站点，增加破解者把两者关联起来的难度。
manami
9 天前
@shortawn 这个想法好😂
opengps
9 天前
站点地图不开放，那你干嘛还要有站点地图？
另外，robots.txt 是个君子协议，爬虫文明点按照你的要求去抓取，但黑客也用来知道你后台路径，所以这玩意的使用要慎重
tavimori
8 天前
如果是在 Cloudflare 上的话，可以使用访问规则使得只有 Google Bots (known bots)可以访问特定 URL 。
iv8d
8 天前
robots 只是爬虫抓取的规则用的，不遵守你又能咋
suweia
8 天前
robots 君子协议
duoduo1x
8 天前
@manami 手动提交 sitemap.xml 文件

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1140875

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX