摘要：

• 1、百度蜘蛛爬行CSS和JS很多,这会不会浪费了蜘蛛的资源

百度蜘蛛爬行CSS和JS很多,这会不会浪费了蜘蛛的资源

1、百度爬虫能识别css和js里的内容，而且一般查看服务器日志里，都会有对js、css以及图片的抓取，不用担心浪费爬虫资源，一般来说百度都会派出一些爬虫去抓取样式表script等，主要是为了确保快照的正常展示，我自己也尝试过屏蔽，对百度快照的影响比较大。

2、这个没有影响，蜘蛛爬取可以识别到，有条件可以将js css本地化 防止对方站问题导致自己网站出错。

3、经常有站长咨询说百度蜘蛛频繁抓取网页的js文件和css文件，想屏蔽百度蜘蛛不让百度蜘蛛抓取这些文件，但是很多站长有担心如何屏蔽了百度蜘蛛抓取css文件和js文件是否会对网站排名产生不利影响，于是这些站长很纠结。

4、如果你确实不想让百度蜘蛛抓取js和css，可以通过robots.txt进行屏蔽。

5、现在来说，JS对于搜索引擎并不不友好，虽然有消息称搜索引擎不会对JS有厌恶的情绪，但是多一事不如少一事，虽然JS可以制作出很多的效果，但是网页中大量的JS将影响蜘蛛对页面的抓取和增加网页体积，尤其是页面的关键位置如导航栏，尽量采用DIV+CSS的设计方法。

6、搜索引擎蜘蛛陷阱导致了不利于蜘蛛的爬行和抓取，从而导致网站收录情况不佳，最终影响网站关键词排名。 搜索引擎蜘蛛陷阱的主要类别 登录要求 有些企业站和个人站的设置一定要注册登录后才能看到相关的文章内容，这种对蜘蛛不是很友好，蜘蛛不会注册、也不会登录。