站点的robots.txt文件已损坏或者在书写的时候出现错误，书写不规范、写错了或者拒绝蜘蛛的抓取，robots.txt文件书写的时候要注意内容的大小写，许多网站都是这个问题，

并确保您网页上的参数是正确的可以使用谷歌网站管理员工具来创建一个robots.txt文件。如果搜索引擎机器人错误的理解了您的robots.txt文件,解决的方法是仔细检查您的robots.txt文件。可能会完全无视你网页。对于这个问题。>

址中包含太多的变数网址

URL中包含太多的变数可能会造成搜索引擎机器人搜索困难。搜索引擎漫游器可能会忽视您的网页，如果您的URL包括变数太多。对于这个问题一些比较熟悉网站建设的人可能会想到动态网页助企优化认为的确就是这个问题，动态生成的网页（括ASPPHP可能导致抓取工具无法收录，解决方法，使用静态页面或者伪静态。

您的网址中使用了会话ID

许多搜索引擎不去收录那些包含会话ID网页。如果可能的话，因为它可导致内容的重复。防止会话ID呈现在您的网址，而使用cooki存储会话ID

您的网页中包含太多的JS代码

网页中包含了JavaScript代码、CSS代码以及其他脚本代码。这些代码与内容没有直接的联系。那么通常情况下搜索引擎收录起来也很困难。

网站导航

大多数搜索引擎的机器人不能解析JavaScript或DHTML菜单。应尽量防止使用这些对搜索引擎不友好的方式。

贵阳网站推广