paper写作网站的robots文件怎么写？
在使用谷歌页面分析工具的时候显示我的paper写作网站有robots错误，我去查看文件才看到没有这个文件。想问问大家这个robots文件应该写哪些内容呢？
全部回复 (1)
以下为老论坛历史回复
ぅ`海灘ゞ`历史回复2024-03-12 12:32:22
1、首先可以先了解下Robots文件的作用；
2、如果自己有想要屏蔽禁止蜘蛛或者机器人抓取的文件，可进行屏蔽。
2、如果自己有想要屏蔽禁止蜘蛛或者机器人抓取的文件，可进行屏蔽。
请登录后回复