蜘蛛爬取网站没有记录怎么回事？
网站有蜘蛛爬取页面，反复多次的爬取页面，但是蜘蛛依然没有任何记录，奇怪为什么爬取页面都没有记录了呢？怎么更好的把网站蜘蛛爬取页面有记录，当爬取没有记录是不是假蜘蛛呢，这是什么原因导致的，为什么蜘蛛爬取页面没有记录呢？麻烦各位高手指点一下谢谢！
全部回复 (1)
以下为老论坛历史回复
黑米哥哥的fans历史回复2024-03-19 13:42:08
不知道你是怎么确认蜘蛛反复爬取的，如果是第三方组件，比如宝塔的网站监控。不一定准，先核实蜘蛛是不是搜索引擎的
就是是搜索引擎的，蜘蛛在爬取的时候也会直接丢弃一些页面
就是是搜索引擎的，蜘蛛在爬取的时候也会直接丢弃一些页面
请登录后回复