让GitHub Pages博客支持百度搜索引擎收录

原文链接:http://tabalt.net/blog/make-blog-support-baidu-search-engine/
本博文章如无说明均为原创,转载时请注明以上链接

GitHub Pages搭建的网站,在百度搜索引擎访问的时候,经常性的会返回 403 forbidden,从而百度会认为网站访问不稳定,对网站降权,甚至K站。

要想解决这个问题,只有买个VPS自己撘一个jekyll解析博客了。但是我的域名没有备案,单纯用国外的VPS,用户访问起来也会有慢的问题,毕竟Github Pages的CDN还是很牛逼的(页面响应时间200ms左右)。那有没有什么办法,让百度爬虫去抓国外VPS上的内容,普通用户直接访问Github Pages呢?

现在科技这么发达,这玩意当然是小Case啦。一般大公司内的域名解析是可以按省、运营商等来做的;大家常用的DNSPOD也支持这么牛逼的功能,免费用户可以 按电信、联通、教育网、百度、搜索引擎等分别设置解析,付费用户可以分省、分国家、分大洲等等。对于我的小博客来说,免费的就非常够用了。

下面是我的折腾过程,记录下来备忘。

安装Jekyll

  • 编译安装Node.js

Jekyll是基于Ruby开发的,用到了Ruby的execjs方法来执行JavaScript代码,而这需要自己指定一个JavaScript runtime;这里我们选择安装Node.js。

sudo yum install libtool automake autoconf gcc-c++ openssl-devel wget

mkdir ~/soft/
cd ~/soft/

wget http://nodejs.org/dist/v0.12.4/node-v0.12.4.tar.gz
tar -zxvf node-v0.12.4.tar.gz
cd node-v0.12.4

./configure --prefix=/usr
make && sudo make install

node -v
npm -v

  

  • 安装Ruby、RubyGems
sudo yum install ruby ruby-devel gem

  

  • 使用RubyGems安装Jekyll
gem install jekyll

搭建博客站点

  • 克隆博客代码
sudo yum install git
sudo mkdir -p ~/mydomain.com/

git clone https://github.com/username/username.github.io.git ./

  

  • 定时更新博客代码

配置crontab 2分钟pull一下代码:

crontab -e 

# 添加下面的代码:
*/2 * * * * cd ~/mydomain.com/; git pull >> /tmp/github_blog_pull_record.log 2>&1;

  

  • 启动博客站点

Jekyll 2.4 版本之后,会关注文件的变动,自动重新生成静态文件。使用--detach参数指定在后台执行,--port指定端口,--host指定当前机器的外网ip。

cd ~/mydomain.com/
jekyll serve --port 80 --host 192.168.1.101 --detach

  

绑host 测试,能正常访问则搭建完成。更多Jekyll的用法可以参考文档: http://jekyllrb.com/docs/usage/ 。

  • 使用web服务器Nginx

使用前述方式启动的http服务,会独占这台服务器的 80 端口,如果这台机器还需部署其他的web站点,则不得不使用其他非80的端口。

使用Nginx可以解决这个问题,配置一个Nginx的vhost,可以使用jekyll build --watch &生成博客的静态内容,并将站点根目录设置为 ~/mydomain.com/_site/,这里不做具体介绍了。

配置智能dns

登录DNSPOD,进入域名解析的设置页面,添加一条针对百度的解析:

后记

以上步骤做完后,再用百度的抓取工具测试,就能正常抓取到内容了。

我做完后第二天,原本剩下的8条收录,立马变成了1条。当然这个是可以理解的,毕竟是突然换了个ip,多发发文章和外链,恢复收录和权重是早晚的事。另外我这个vps在国内访问还是有点慢,首次请求返回要500ms左右,还是得把域名备案了,在国内弄个云主机才行。

原文链接:http://tabalt.net/blog/make-blog-support-baidu-search-engine/
本博文章如无说明均为原创,转载时请注明以上链接

时间: 2024-10-09 10:07:39

让GitHub Pages博客支持百度搜索引擎收录的相关文章

在Ubuntu 14.04上搭建github Pages博客

背景 github是一个全球性的代码托管平台,支持github Pages服务.这个服务可以为个人.组织或项目建立静态主页.github为用户提供项目托管.git.pages等用于项目开发的功能.我们使用的就是其pages服务.相对于其他提供免费博客的网站,github的最大优点是无任何广告且提供git版本管理工具对博客进行管理.但劣势是需要一定的命令行操作,对于普通用户有一定门槛.Octopress是一款优秀的静态化博客系统,官方将它简称为:"A blogging framework for

Github pages博客搭建与域名绑定

Github Page github page是由用户编写的托管在github上的静态网页,为了搭建一个个人博客,我们可以租用一个云服务器然后部署我们的博客项目,常见的比如wordpress,像wp这样的博客系统需要用到服务器后台的数据库,所以是动态的,github page相对于云服务器来说,不能提供数据库服务,所以资源都是静态存放在github上的,但是是免费的,而且速度也还可以,相对来说很稳定. Hexo 什么是Hexo? Hexo 是一个快速.简洁且高效的博客框架.Hexo 使用 Mar

github文件上传及github pages博客搭建教程

一.与github建立连接 1.安装node.js和git 2.桌面新建文件夹[github],右键“git bash here” 3.注册github账号,新建仓库“new repository”,勾选“Initialize this repository with a README” 4.生成新的SSH key,需要输入密钥时直接回车即可 $ ssh-keygen -t rsa -C "邮件地址@youremail.com" 5.在[id_rsa.pub]文件中找到新生成的ssh

希望自己的博客被知名搜索引擎收录的网址

百度站长:http://zhanzhang.baidu.com/linksubmit/url 谷歌管理:http://www.google.com/intl/zh-CN/add_url.html

手把手教你建github技术博客by hexo

适合人群 喜欢写Blog的人 有一定的编程基础 爱折腾的人 熟练使用版本控制Git 了解使用Github 熟悉基本的MarkDown语法 环境准备 安装Git 下载 msysgit 并执行即可完成安装. 安装Node.js 在 Windows 环境下安装 Node.js 非常简单,仅须下载安装文件并执行即可完成安装. 安装hexo 利用 npm 命令即可安装.(在任意位置点击鼠标右键,选择Git bash) npm install -g hexo 问题 * npm ERR! registry e

使用shake.js让你博客支持摇一摇

大家好,又到了随机文章的时间,请使用手机打开演示站点,然后像摇妹子一样摇晃手机,你会发现非常牛逼的事情,炫酷吧.该功能已经集成在Oconnor1.8中.本文主要讲解这货的原理. 首先需要下载shake.js,shake.js github地址,我们只需要里面的shake.js,然后引入. 添加“摇一摇”事件监听 window.addEventListener('shake', shakeEventDidOccur, false); //function to call when shake oc

mycncart系统后台主动推送网址url给百度搜索引擎收录

自mycncart 1.3版本开始具有此功能.本功能主要作用是利用百度的主动推送功能,将mycncart系统的相关网址,如分类,品牌,商品,文章等url地址主动推送给百度搜索引擎,百度搜索引擎收录后会返回成功的提示.当然,网址啥时候给你释放出来,还是百度说了算. 开通步骤:1. 登录百度站长平台: http://zhanzhang.baidu.com , 管理你的网站,网站验证通过后,点击左侧[链接提交], 找到[主动推送(实时)], 点击里面的[php推送示例],会看到里面代码中有api一行,

使用Hexo搭建Github静态博客

1. 环境环境 1.1 安装Git 默认配置就好 1.2 安装node.js 下载:http://nodejs.org/download/ 安装时直接保持默认配置即可. 2. 配置Github 1.1 建立Repository 建立与你用户名对应的仓库,仓库名必须为[your_user_name.github.io] 1.2 配置SSH-Key 参考文章:window下配置SSH连接GitHub.GitHub配置ssh key 3. 安装Hexo 关于Hexo的安装配置过程,请以官方Hexo[2

创建GitHub技术博客全攻略

说明: 首先,你需要注册一个 github 账号,最好取一个有意义的名字,比如姓名全拼,昵称全拼,如果被占用,可以加上有意义的数字.本文中假设用户名为 tiemaocsdn 1. 注册账号:地址: https://github.com/输入账号.邮箱.密码,然后点击注册按钮. 图1 第1步 2. 初始设置注册完成后,选择Free免费账号完成设置. 图2 第2步 2.1 验证邮箱请打开你的邮箱,查看发送给你的确认邮件,你需要验证邮箱后,后面生成的个人主页才会被接受和发布. 3. 创建页面仓库地址: