如何让蜘蛛爬取网站内页

这几天有朋友遇到了一个相同的问题，为什么蜘蛛只爬取了网站的首页而没有爬取内页，不同的是一个是新站点，一个是老站点。今天就这个问题分享一下出现这种情况的原因及应对策略。   一、新新的网站 对于新新的网站，首页刚刚被收录，这时候网站的权重是极低的。就不要期望这么快收录内页了，制定一个详细的优化方案，定时更新，切记使用一些舞弊的手法。   二、robots.txt文件、服务器限制...