如何打造符合搜索引擎抓取的网站？

正如我上篇文章《如何提升企业网络的曝光率》，曾说过一个解决企业网络曝光率的方法：拥有一个适合搜索引擎的网站，那么，如何打造符合搜索引擎抓取的网站?我个人的理解应该从以下四个方面去考虑：

1.从网站的栏目而论，首页内容如何，是一个对于搜索引擎抓取十分重要的步骤。部分企业的网站为了追求美观、大气采用全Flash的首页。搜索引擎的技术无论如何的先进，毕竟也是由机器去实施。因此，它的抓取根本无法识别Flash，而我推荐大家使用博客中的轮展样式，通过轮展图可以使网站达到高端大气上档次的效果同时也具备利于抓取的效果，增加用户的视觉体验。

因此，从网站的程序角度出发，首页的设定是至关重要的，尽量不要采用全Flash首页！

2.代码过于冗余，简单的例子，如果在同一个服务器的网站，相同的宽带带宽的前提下，搜索用户打开两个同行业的企业网站，一个秒开，一个却缓冲时间长。搜索用户会看看哪个站呢？

答案是想必是显而易见的。那么，在上述的情景下为什么却存在网站缓冲的情况？这多数就是因为网站的程序对代码上的选择。

http://travel.tianya.cn/travelPlan/showPlan?planId=8377636

http://travel.tianya.cn/travelPlan/showPlan?planId=8377641

http://travel.tianya.cn/travelPlan/showPlan?planId=8377648

http://travel.tianya.cn/travelPlan/showPlan?planId=8377652

http://travel.tianya.cn/travelPlan/showPlan?planId=8377656

http://travel.tianya.cn/travelPlan/showPlan?planId=8377659

http://travel.tianya.cn/travelPlan/showPlan?planId=8377662

http://travel.tianya.cn/travelPlan/showPlan?planId=8377663

http://travel.tianya.cn/travelPlan/showPlan?planId=8377668

http://travel.tianya.cn/travelPlan/showPlan?planId=8377879

http://travel.tianya.cn/travelPlan/showPlan?planId=8377886

http://travel.tianya.cn/travelPlan/showPlan?planId=8377895

http://travel.tianya.cn/travelPlan/showPlan?planId=8377903

http://travel.tianya.cn/travelPlan/showPlan?planId=8377910

http://travel.tianya.cn/travelPlan/showPlan?planId=8377918

http://travel.tianya.cn/travelPlan/showPlan?planId=8377925

http://travel.tianya.cn/travelPlan/showPlan?planId=8377931

http://travel.tianya.cn/travelPlan/showPlan?planId=8377940

http://travel.tianya.cn/travelPlan/showPlan?planId=8377949

http://travel.tianya.cn/travelPlan/showPlan?planId=8377971

http://travel.tianya.cn/travelPlan/showPlan?planId=8377977

http://travel.tianya.cn/travelPlan/showPlan?planId=8377983

http://travel.tianya.cn/travelPlan/showPlan?planId=8377992

http://travel.tianya.cn/travelPlan/showPlan?planId=8377998

http://travel.tianya.cn/travelPlan/showPlan?planId=8378014

http://travel.tianya.cn/travelPlan/showPlan?planId=8378022

http://travel.tianya.cn/travelPlan/showPlan?planId=8378029

http://travel.tianya.cn/travelPlan/showPlan?planId=8378038

http://travel.tianya.cn/travelPlan/showPlan?planId=8378047

http://travel.tianya.cn/travelPlan/showPlan?planId=8378058

http://travel.tianya.cn/travelPlan/showPlan?planId=8378064

http://travel.tianya.cn/travelPlan/showPlan?planId=8378071

http://travel.tianya.cn/travelPlan/showPlan?planId=8378080

http://travel.tianya.cn/travelPlan/showPlan?planId=8378088

http://travel.tianya.cn/travelPlan/showPlan?planId=8378096

http://travel.tianya.cn/travelPlan/showPlan?planId=8378105

http://travel.tianya.cn/travelPlan/showPlan?planId=8378112

http://travel.tianya.cn/travelPlan/showPlan?planId=8378119

http://travel.tianya.cn/travelPlan/showPlan?planId=8378135

http://travel.tianya.cn/travelPlan/showPlan?planId=8378251

http://travel.tianya.cn/travelPlan/showPlan?planId=8378257

http://travel.tianya.cn/travelPlan/showPlan?planId=8378267

http://travel.tianya.cn/travelPlan/showPlan?planId=8378292

http://travel.tianya.cn/travelPlan/showPlan?planId=8378282

http://travel.tianya.cn/travelPlan/showPlan?planId=8378299

http://travel.tianya.cn/travelPlan/showPlan?planId=8378309

http://travel.tianya.cn/travelPlan/showPlan?planId=8378317

http://travel.tianya.cn/travelPlan/showPlan?planId=8378327

http://travel.tianya.cn/travelPlan/showPlan?planId=8378321

http://travel.tianya.cn/travelPlan/showPlan?planId=8378585

http://travel.tianya.cn/travelPlan/showPlan?planId=8378601

http://travel.tianya.cn/travelPlan/showPlan?planId=8378611

http://travel.tianya.cn/travelPlan/showPlan?planId=8378624

http://travel.tianya.cn/travelPlan/showPlan?planId=8378636

http://travel.tianya.cn/travelPlan/showPlan?planId=8378646

http://travel.tianya.cn/travelPlan/showPlan?planId=8378656

http://travel.tianya.cn/travelPlan/showPlan?planId=8378669

http://travel.tianya.cn/travelPlan/showPlan?planId=8378693

http://travel.tianya.cn/travelPlan/showPlan?planId=8378676

http://travel.tianya.cn/travelPlan/showPlan?planId=8378702

http://travel.tianya.cn/travelPlan/showPlan?planId=8378716

http://travel.tianya.cn/travelPlan/showPlan?planId=8378725

http://travel.tianya.cn/travelPlan/showPlan?planId=8378736

http://travel.tianya.cn/travelPlan/showPlan?planId=8378749

http://travel.tianya.cn/travelPlan/showPlan?planId=8378761

http://travel.tianya.cn/travelPlan/showPlan?planId=8379402

http://travel.tianya.cn/travelPlan/showPlan?planId=8379413

http://travel.tianya.cn/travelPlan/showPlan?planId=8379425

http://travel.tianya.cn/travelPlan/showPlan?planId=8379432

http://travel.tianya.cn/travelPlan/showPlan?planId=8379443

http://travel.tianya.cn/travelPlan/showPlan?planId=8379452

http://travel.tianya.cn/travelPlan/showPlan?planId=8379463

http://travel.tianya.cn/travelPlan/showPlan?planId=8379471

http://travel.tianya.cn/travelPlan/showPlan?planId=8379481

http://travel.tianya.cn/travelPlan/showPlan?planId=8379490

http://travel.tianya.cn/travelPlan/showPlan?planId=8379497

http://travel.tianya.cn/travelPlan/showPlan?planId=8379509

http://travel.tianya.cn/travelPlan/showPlan?planId=8379518

http://travel.tianya.cn/travelPlan/showPlan?planId=8379526

http://travel.tianya.cn/travelPlan/showPlan?planId=8379538

http://travel.tianya.cn/travelPlan/showPlan?planId=8379550

http://travel.tianya.cn/travelPlan/showPlan?planId=8379723

http://travel.tianya.cn/travelPlan/showPlan?planId=8379840

http://travel.tianya.cn/travelPlan/showPlan?planId=8379884

http://travel.tianya.cn/travelPlan/showPlan?planId=8379895

http://travel.tianya.cn/travelPlan/showPlan?planId=8379910

http://travel.tianya.cn/travelPlan/showPlan?planId=8379931

http://travel.tianya.cn/travelPlan/showPlan?planId=8379945

http://travel.tianya.cn/travelPlan/showPlan?planId=8379962

http://travel.tianya.cn/travelPlan/showPlan?planId=8379980

http://travel.tianya.cn/travelPlan/showPlan?planId=8379997

http://travel.tianya.cn/travelPlan/showPlan?planId=8380009

http://travel.tianya.cn/travelPlan/showPlan?planId=8380026

http://travel.tianya.cn/travelPlan/showPlan?planId=8380042

http://travel.tianya.cn/travelPlan/showPlan?planId=8380058

http://travel.tianya.cn/travelPlan/showPlan?planId=8380075

时间： 2024-12-24 22:52:48

如何打造符合搜索引擎抓取的网站？的相关文章

nutch2.1抓取中文网站

对nutch添加中文网站抓取功能. 1.中文网页抓取 A.调整mysql配置,避免存入mysql的中文出现乱码.修改 ${APACHE_NUTCH_HOME} /runtime/local/conf/gora.properties ############################### # MySQL properties # ############################### gora.sqlstore.jdbc.driver=com.mysql.jd

asp.net如何抓取其他网站的内容

1. 需要引用的类库 using System.Net; using System.IO; using System.Text; using System.Text.RegularExpressions; 2. 获取其他网站网页内容的关键代码 WebRequest request = WebRequest.Create("http://目标网址.com/"); WebResponse response = request.GetResponse(); StreamReader read

快速抓取某个网站内容方法

是不是有人相抓取网页上面的内容,放到别的网站上面.下面我给大家介绍一种最常用的方法: 用HtmlAgilityPack 组件. public String GetHtml() { string url = "http://t.news.fx168.com/"; HttpWebRequest request = HttpWebRequest.Create(url) as HttpWebRequest; using (HttpWebResponse response = request.G

Java爬虫实战（一）：抓取一个网站上的全部链接

前言:写这篇文章之前,主要是我看了几篇类似的爬虫写法,有的是用的队列来写,感觉不是很直观,还有的只有一个请求然后进行页面解析,根本就没有自动爬起来这也叫爬虫?因此我结合自己的思路写了一下简单的爬虫,测试用例就是自动抓取我的博客网站(http://www.zifangsky.cn)的所有链接. 一算法简介程序在思路上采用了广度优先算法,对未遍历过的链接逐次发起GET请求,然后对返回来的页面用正则表达式进行解析,取出其中未被发现的新链接,加入集合中,待下一次循环时遍历. 具体实现上使用了Map<

BeautifulSoup抓取门户网站上的链接

使用BeautifulSoup抓取门户网站上的所有跳转链接 from bs4 import BeautifulSoup import urllib2 request = urllib2.Request('http://www.163.com') response = urllib2.urlopen(request) html_doc = response.read() soup = BeautifulSoup(html_doc , from_encoding = "gb18030")

无比强大！Python抓取cssmoban网站的模版并下载

Python实现抓取http://www.cssmoban.com/cssthemes网站的模版并下载实现代码 # -*- coding: utf-8 -*- import urlparse import urllib2 import re import os import os.path URL='http://www.cssmoban.com/cssthemes' #全局超时设置 urllib2.socket.setdefaulttimeout(500) #根据url获取内容 def ge

Scrapy抓取360网站图片

项目名称:抓取360网站图片目标url:http://image.so.com 项目描述:利用Scrapy的ImagePipeline抓取360网站的图片要利用Scrapy抓取图片,第一步还是先定义item 1 # -*-coding: utf-8 -*- 2 import scrapy 3 4 class ImageItem(scrapy.Item): 5 image_urls = scrapy.Field() 第二步是在settings.py中打开ImagePipeline,然后定义一下

scrapy抓取某些网站出现AttributeError_ object has no attribute 的解决办法的代码.txt

把写内容过程中经常用的内容段备份一下,下面的内容内容是关于scrapy抓取某些网站出现AttributeError: 'Response' object has no attribute 'body_as_unicode'的解决办法的内容,应该是对码农们也有用. def parse(self, response): hxs=Selector(response) for url in detail_url_list: if 'goods' in url: yield Request(url, ca

History API使搜索引擎抓取AJAX内容

我一直以为没有办法做到,直到前两天看到了Discourse创始人之一的Robin Ward的解决方法,不禁拍案叫绝. Discourse是一个论坛程序,严重依赖Ajax,但是又必须让Google收录内容.它的解决方法就是放弃井号结构,采用 History API. 所谓 History API,指的是不刷新页面的情况下,改变浏览器地址栏显示的URL(准确说,是改变网页的当前状态).这里有一个例子,你点击上方的按钮,开始播放音乐.然后,再点击下面的链接,看看发生了什么事? 地址栏的URL变了,但是