关于站点地图 sitemap 的疑问

55 天前
 manami

为了安全，我的一个网站的 robots.txt 设置了不允许抓取/admin/

但是自己的站点地图又不想被别人看到，因此放在了/admin/下，比如/admin/sitemap.xml

在 Google Search Console 提交了这个地址，被 Google 告知无法抓取（ robots.txt 不允许抓取/admin/）……

其他的搜索引擎都可以，只有 Google 不行

大家一般是如何做隐藏站点地图 sitemap 路径的，求解答

1539 次点击
所在节点    程序员
18 条回复
Track13
55 天前
为什么要隐藏？里面有见不得人的东西吗？是个生物都不会去看这个。
SanjinGG
55 天前
站点地图就是给 bot 看的吧，正经人谁去看你这个啊。反向思考是不是只有 google bot 遵守了 robots 规则？
wogogoing
55 天前
robots 只是告诉爬虫抓取的规则，但是爬虫是不是遵守就不得而知了。

这么看来，就 Google 的爬虫遵守了规则。
rbe
55 天前
robots.txt 中支持直接声明 sitemap 地址，可以试试直接写在上面，看看 google 会不会优先读取这个配置
manami
55 天前
@Track13 @SanjinGG 安全方面的考虑。帖子的序列号是随机生成的，靠暴力遍历无法完成。站点地图有帖子的序列号，爬虫很容易爬去
manami
55 天前
@rbe 这样隐藏不了，因为大部分人都会看 robots
duoduo1x
55 天前
手动提交，sitemap 放在一个新建的目录不行么？
manami
55 天前
@duoduo1x 除了 robots.txt 指定的禁止抓取规则（搜索引擎遵不遵守是另一回事），大部分搜索引擎都会抓取收录。Google 就是例子，随便搜一些网站都能看到管理后台地址啥的
manami
55 天前
@duoduo1x 手动提交是指一个个链接提交吗？工作量太大了
shortawn
55 天前
example.com/this/is/a/directory/that/only/search/engine/bots/can/access/sitemap.xml
manami
55 天前
@shortawn 弄一个无限长路径的意思吗？只怕搜索引擎连这种也收录就没办法了 还是会暴露
shortawn
55 天前
@manami 那就把站点地图放在其他站点，增加破解者把两者关联起来的难度。
manami
55 天前
@shortawn 这个想法好😂
opengps
55 天前
站点地图不开放，那你干嘛还要有站点地图？
另外，robots.txt 是个君子协议，爬虫文明点按照你的要求去抓取，但黑客也用来知道你后台路径，所以这玩意的使用要慎重
tavimori
55 天前
如果是在 Cloudflare 上的话，可以使用访问规则使得只有 Google Bots (known bots)可以访问特定 URL 。
iv8d
54 天前
robots 只是爬虫抓取的规则用的，不遵守你又能咋
suweia
54 天前
robots 君子协议
duoduo1x
54 天前
@manami 手动提交 sitemap.xml 文件

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1140875

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX