网站URL静态化是必须的吗?

网站筛选列表页承担着流量分发与权重流通的重要角色,所以对于大多数电商网站来说,筛选列表页优化是一项重中之重的工作。当我们谈电商网站筛选列表页优化的时候,便无法回避URL、内链层级、页面基础元素、页面质量、代码、返回码等具体的优化细节。那么我们重点来谈一下URL这个问题。谈URL的时候无非就是静态化、要短、最好要利于理解和传播、以及利于数据分析等要求。这里我们需要思考个问题,URL静态化是必须的吗?

回答这个问题,我们需要再次思考抓取这个步骤。让爬虫抓取筛选列表页,一是为了抓取本页面的内容,产生收录并取得分类型关键词的排名;二是为了下一级商品详情页等页面的收录与权重传递。那么筛选列表页必须要获取排名吗?商品详情页的抓取入口必须是单一的路径吗?

首先,筛选列表页由于众多筛选项的原因,通过筛选组合出来的关键词由深层页面承载,获取的内链支持并不多,页面权重较低,实际上很难获取排名(浅层筛选页能获取一定排名)。

其次,即使URL静态化了,筛选列表页的收录表现也不是特别好,特别是高级筛选列表页(往往多达10几项的筛选参数),对于百度等深度抓取能力稍显薄弱的搜索引擎而言,有点类似爬虫陷阱,爬虫对于此类页面的抓取并不活跃,所以收录率并不高。

再次,电商网站商品的属性众多,从结构化的内容提取维度众多,意味着我们可以衍生出来非常多的产品,比如专题页、热搜词、品牌页、品牌评价页等等,这些页面都可以承担传递权重、排名的角色。不仅用户体验需要借助百度问答、贴吧这样的平台,后期的网站推广、seo优化同样需要,但是在过程中如果大量使用同一个IP重复操作,必然会受到限制,这个时候必须使用代理IP的帮助,将效率和效果最大化。

最后,伪静态往往需要看网站底层是否支持,以及支持到何种程度,如果无法执行,或者伪静态后,严重影响了网站性能,那SEO必须绕道而行。

所以,筛选列表页URL并非必须伪静态,但是能静态化处理最好。这时需要注意,一是URL不随筛选参数点击顺序变化而变化;二是对于非重要的筛选参数最好采用nofollow或者robots的方式禁止抓取,以便集中重要筛选参数组合页面的权重;三是采用缓存方式,动态变化筛选参数,如果某筛选参数下没有商品了,则不显示筛选该筛选参数,减少空页面的产生,同时减少爬虫对空页面的抓取。兔子动态换IP软件可以实现一键IP自动切换,千万IP库存,自动去重,支持电脑、手机多端使用,智能加速技术多IP池自动分配。

原文地址:https://blog.51cto.com/14601538/2480694

时间: 2024-10-03 22:38:58

网站URL静态化是必须的吗?的相关文章

如何做URL静态化 和页面的静态化

为什么要进行URL静态化?   1.更好的迎合搜索引擎工作原理的爬行抓取机制:2.把网站URL静态化更有助于网站获得好的排名:3.URL静态化有利于用户体验.不容易出错4.可以提高网站访速度.完全性.稳定性 URL重写 最常见的方法是使用服务器的URL重写模块,在LAMP (Linux十Apache MySQL PHP)服务器上一般使用mod_rewrite模块,Windows服务器也有功能相似的ISAPI Rewrite等模块. 以LAMP服务器为例,要想把URL : http://www.X

网站页面静态化详解

URL静态化 静态化一直以来都是最基本的seo要求之一,但近一两年seo行业对是否一定要做静态化有了一些观念上的改变. 为什么静态化 现在的网站绝大多数是数据库驱动,页面由程序实时生成,而不是其的在服务器上有一个静态html文件存在.当用户访问一个网址时,程序根据url中的参数调用数据库数据,实时生成页面内容.因此动态页面相对应的url原始状态也是动态的,包含问号.等号及参数,如下面这种典型论坛的url: 3w点website点com/viewthread.php?tid=1234&&pa

PHP网站页面静态化之OB法

将PHP的执行页面预先转换成HTML,是所谓的PHP静态化方法之一. 其他还有模板替换法,opcache等方法. 静态化的作用: 提高网站的响应速度,降低服务器的负载: 用于搜索引擎的SEO: 利用PHP输出buffer直接写成html,定时后台定时扫一遍网站,是比较容易实现的网页静态化. 静态化之前: <?php for($i=0;$i<1000;$i++){ echo "bull<br>"; } ?> 静态化: <?php ob_start();

网站页面静态化与Apache调优(图)

------------------------------------------------------------------------------------------------------- 概念=> 静态网址(静态页面):  1.利于seo 2.访问速度块 3.防止sql注入 动态网址(php页面,可传参数):1.不利seo 2.访问速度慢 3.有被注入sql可能 伪静态(对动态网址的重写):  1.利于seo 2.防止注入 3.仍然访问数据库,访问速度没有变化 [email 

使用Apachmod_rewrit对URL重写来完成网站URL伪静态化

A pachMod_Rewrit对URL进行重写.linux系统途径通常为 /etc/httpd/conf/httpd.conf第二步首要必需得让服务器支撑mod_rewrit假如你使用的虚拟主机,完成网站伪静态化. 装备办法: 第一步找到apach装备文件httpd.conf文件在conf目录下.请事前问询你主机提供商.翻开httpd.conf找到#LoadModulrewrite_modulmodules/mod_rewrite.so把#去掉 找到A llowOverridNone 改成 A

PHP 404页面/如何设置404页面/URL静态化/URL伪静态化

php中如何设置404页面及其他错误页面 首先在项目根目录下新建文件,文件名为" .htaccess " 在该文件中写入一下配置项: ErrorDocument 404 /404.html 或者是带有文件路径的地址: ErrorDocument 404 /error_pages/404.html 其他 401.500 等错误同理 注意点是:( 参考 ) 不要将错误页面指向主页面,可能会导致主页在搜索引擎中消失: 错误页面地址设置用相对路径(如果有绝对地址,会返回发起两次请求,第一次是3

【转载】如何对ASP.NET网站实现静态化

静态化方法一: 重写每个页面需要静态化的动态页面.cs文件的 Render()方法,如下图所示.注意红框处,红框处的参数表示要生成静态页面的名字.该方法实现简单,但是每次访问该页面时,都会重新再次执行Render()方法,生成页面,性能较低. 静态化方法二: 重新制作一个aspx页面,专门用来生成各个动态aspx页面的静态页面.如下图所示,仅将内容页和主页面生成静态页面,当然本例只是一个简单的范例,实际情况如很复杂,但原理都是相同的. 生成内容页: 本例中的不同内容页以不同的ID来进行区分,输入

通用大型网站页面静态化解决方案

大型网站架构技术系列收藏文章更新列表 http://www.cnblogs.com/ruthon/p/4477899.html  多个文件服务器读写,这里可采用SMB协议 页面静态化,可采用freemarker开源框架 如果考虑到大量的读写请求,则将请求分布式或采用调度的办法来解决 第一点我们首先应该考虑文件服务器与静态页面的映射关系,即什么文件应该读写到哪台服务器,这个关系最简单的办法是随机映射,然后将映射关系保存到数据库中即可,SMB常用的操作代码如下: public static bool

将JSP程序URL静态化

今天在将网站地图提交给google时,不能通过,原因是url是动态的,还参数,如这样/d?B=2&A=1 没办法,只能改成静态的.改成静态的几类方式,一种是直接在程序里生成html,使用模板:另一种是使用httpd的RewriteRule功能,这个叫伪静态.不过对搜索引擎来说真静态和伪静态是一样的. 配置如下: 1.修改<VirtualHost *:443> 配置 添加如下内容 <VirtualHost *:80>     ServerName yourdomain