网站筛选列表页承担着流量分发与权重流通的重要角色,所以对于大多数电商网站来说,筛选列表页优化是一项重中之重的工作。当我们谈电商网站筛选列表页优化的时候,便无法回避URL、内链层级、页面基础元素、页面质量、代码、返回码等具体的优化细节。那么我们重点来谈一下URL这个问题。谈URL的时候无非就是静态化、要短、最好要利于理解和传播、以及利于数据分析等要求。这里我们需要思考个问题,URL静态化是必须的吗?
回答这个问题,我们需要再次思考抓取这个步骤。让爬虫抓取筛选列表页,一是为了抓取本页面的内容,产生收录并取得分类型关键词的排名;二是为了下一级商品详情页等页面的收录与权重传递。那么筛选列表页必须要获取排名吗?商品详情页的抓取入口必须是单一的路径吗?
首先,筛选列表页由于众多筛选项的原因,通过筛选组合出来的关键词由深层页面承载,获取的内链支持并不多,页面权重较低,实际上很难获取排名(浅层筛选页能获取一定排名)。
其次,即使URL静态化了,筛选列表页的收录表现也不是特别好,特别是高级筛选列表页(往往多达10几项的筛选参数),对于百度等深度抓取能力稍显薄弱的搜索引擎而言,有点类似爬虫陷阱,爬虫对于此类页面的抓取并不活跃,所以收录率并不高。
再次,电商网站商品的属性众多,从结构化的内容提取维度众多,意味着我们可以衍生出来非常多的产品,比如专题页、热搜词、品牌页、品牌评价页等等,这些页面都可以承担传递权重、排名的角色。不仅用户体验需要借助百度问答、贴吧这样的平台,后期的网站推广、seo优化同样需要,但是在过程中如果大量使用同一个IP重复操作,必然会受到限制,这个时候必须使用代理IP的帮助,将效率和效果最大化。
最后,伪静态往往需要看网站底层是否支持,以及支持到何种程度,如果无法执行,或者伪静态后,严重影响了网站性能,那SEO必须绕道而行。
所以,筛选列表页URL并非必须伪静态,但是能静态化处理最好。这时需要注意,一是URL不随筛选参数点击顺序变化而变化;二是对于非重要的筛选参数最好采用nofollow或者robots的方式禁止抓取,以便集中重要筛选参数组合页面的权重;三是采用缓存方式,动态变化筛选参数,如果某筛选参数下没有商品了,则不显示筛选该筛选参数,减少空页面的产生,同时减少爬虫对空页面的抓取。兔子动态换IP软件可以实现一键IP自动切换,千万IP库存,自动去重,支持电脑、手机多端使用,智能加速技术多IP池自动分配。
原文地址:https://blog.51cto.com/14601538/2480694