靠谱的Squid缓存视频网站方法

先把以前自己写过的几篇老文章贴上来,Squid缓存视频是个很能节约企业、机构出口流量的方案。不过由于视频网站的技术更新很快,这篇写于2011年的文章如今是否还能不加修改的应用。我相信懂了原理之后稍加修改即可。

====================================================

开篇先来批评一下国内网站的技术文章,90%都是转载的,转的格式乱七八糟,再加上广告,浮躁啊!

Squid的中文文章真是不多,能深入点讲点原理的就更少了,很多是把编译选项和conf文件一贴了事。新手们全盘copy回去赌一把,成不成也不知道为什么。

咱这篇就从原理讲起。Squid版本众多,主流是Squid 2.7,功能全,性能好,稳定。3.X用C++重写,性能我没测试过,就不人云亦云了,关键是有些2.X的功能没有跟上来,比如缓存视频非常重要的storeurl_rewrite功能。参见Squid3的功能需求。 在一般情况下,一个URL是对应唯一一个cache object的,但是在CDN泛滥的今天,会存在不同服务器的多个URL对应同一个文件,这样在Squid中,这个文件会被反复cache多份,达不到cache的效果,比如各个地图网站的地图文件,各个视频网站的视频文件。Squid 2.7里面的storeurl_rewrite功能,就是专门解决这个问题的。

Storeurl_rewrite能将对应同一文件的一组URL通过正则表达式,转换成相同的URL,这个URL做为Storeurl这个属性和cache一起保存。等到做cache lookup的时候,也是根据storeurl去查找。在squid.conf中,需要有下面几项配置:

acl store_rewrite_list url_regex/dstdomain/… 匹配串
storeurl_access allow store_rewrite_list
storeurl_access deny all
storeurl_rewrite_program /rewrite程序的路径

关键就在于这个rewrite程序。Squid主进程启动的时候,同时启动多个这个rewrite进程(conf里面可以配置个数),然后不断的将匹配storeurl_rewrite_list的url以及很多参数通过stdin管道发给rewrite程序,rewrite程序本身是个死循环来不断通过stdin进来的url,然后输出到stdout,由squid程序接收。(这种helper方式在squid 2的框架中常见,也许也是个性能改进点)

具体的原理可以查一下squid.conf(2.7版的)里面的说明,以及这个功能的官方说明网页。

说到具体的例子,大家可以自己拿国内的搜狗地图,优酷视频试试看,抓一下浏览器发的URL,然后自己编写这个正则表达式,就不细说了,以免又是copy&paste。至于对于no-cache,private,max-age等http header的改写,在本人的试验中,完全没用到,大家别被别的网站误导了。

靠谱的Squid缓存视频网站方法

时间: 2024-10-08 10:29:07

靠谱的Squid缓存视频网站方法的相关文章

Squid 缓存的相关操作及使用说明

一.查看squid命中情况 除了之前在squid的access.log中查看squid缓存命中的方法之外,还可以通过以下方法进行查看: 这里对图片服务器的httpd配置文件添加一些新的配置如下: ExpiresActive on ExpiresDefault "access plus 12 month" ExpiresByType text/html "access plus 12 months" ExpiresByType text/css "acces

linux下清除Squid缓存的方法记录

在日常运维工作中,只要用到squid缓存服务,就会常常被要求清理squid缓存.比如公司领导要求删一篇新闻,新闻是生成的静态.运维人员把服务器上静态的新闻页面删除了后,不料代理服务器上缓存还有.缓存服务器如果用的是suqid,下面就对清理squid缓存的方法做一梳理: (1)首先在squid的主配置文件中添加acl 列表,并允许受信任的主机有权限清除缓存.[[email protected] ~]# vim /etc/squid/squid.conf..............acl manag

python3爬虫(4)各种网站视频下载方法

python3爬虫(4)各种网站视频下载方法原创H-KING 最后发布于2019-01-09 11:06:23 阅读数 13608 收藏展开理论上来讲只要是网上(浏览器)能看到图片,音频,视频,都能够下载下来,然而实际操作的时候也是有一定难度和技术的,这篇文章主要讲述各个网站视频资源如何下载. B站视频页面链接: https://www.bilibili.com/bangumi/play/ep118490?from=search&seid=7943855106424547918 首先我们用万能下

获取谷歌浏览器缓存视频方法

一.首先找到缓存文件位置C:\Users\JiaPeng\AppData\Local\Google\Chrome\User Data\Default\Cache 如果不好找,可以先打开IE浏览器,Internet选项->常规下点击设置->Internet临时文件下点击查看文件 得到IE缓存文件的位置C:\Users\JiaPeng\AppData\Local\Microsoft\Windows\INetCache 然后通过此位置找到对应谷歌浏览器缓存文件位置. 二.清空谷歌浏览器缓存,刷新谷歌

手动抓取爱奇艺和优酷等视频网站的视频

今天就给大家讲讲怎么手动抓取爱奇艺和优酷等视频网站的视频该方法适用于很多视频网站.因为有的网站不支持我们用一些软件比如硕鼠和维棠等的解析下载,所以我就找到了这个方法,本来优酷之前是可以的,不过现在优酷还是不支持硕鼠和维棠的解析了.这两个网页是原帖的地址,其实我之前知道这个方法,不过这个人提供了一个软件比较好用,我把他录制的视频提取出来了,下面看看吧. 其实原理都是一样,这些视频网站为了让视频更快的缓存,当然也有很多其他原因,把视频分成了很多段,所以我们只需要单独下载好每一段视频,然后把这些视频合

优酷、YouTube、Twitter及JustinTV视频网站架构设计

优酷视频网站架构 一.网站基本数据概览 据2010年统计,优酷网日均独立访问人数(uv)达到了8900万,日均访问量(pv)更是达到了17亿,优酷凭借这一数据成为google榜单中国内视频网站排名最高的厂商.     硬件方面,优酷网引进的戴尔服务器主要以 PowerEdge 1950与PowerEdge 860为主,存储阵列以戴尔MD1000为主,2007的数据表明,优酷网已有1000多台服务器遍布在全国各大省市,现在应该更多了吧. 二.网站前端框架 从一开始,优酷网就自建了一套CMS来解决前

史上最强视频网站真实地址解析

写此文章旨在学习和讨论,请勿滥用… 请标明转载http://blog.csdn.net/feige2008/article/details/8895632,大家如有疑问可以留言... 目前互联网视频网站,从我解析的地球上十几个大型的视频网站来看,90%的网站视频加密效果不好.可能视频下载地址后门接口的保护对某些网站也没什么意义.这次主要写一下下面几个网站的后门接口地址解析方法,包括Youtube.优酷.土豆.爱奇艺.pps.酷六.腾讯视频.新浪.搜狐.第一视频.CNTV.乐视.gametrail

大型视频网站YouTube架构学习笔记

http://www.kaiyuanba.cn/html/1/131/147/7540.htm这几天一直在关注和学习一些大型网站的架构,希望有一天自己也能设计一个高并发.高容错的系统并能应用在实践上.今天在网上找架构相关的资料时,看到一个被和谐的视频网站YouTube的架构分析,看了以后觉得自己又向架构走近了一步,于是赶快拿出来与大家一起分享. YouTube发展迅速,每天超过1亿的视频点击量,但只有很少人在维护站点和确保伸缩性.这点和PlentyOfFish类似,少数人维护庞大系统.是什么原因

支持n多视频网站的下载,推荐 you-get

其实刚开始是想下载youtube视频, 网上找了下 其中之一:http://jingyan.baidu.com/article/39810a23d2deb2b637fda66c.html 访问一个在线网站,贴入网页地址,会自动分析出视频给下载 如:网址:en.savefrom.net, or    http://www.clipconverter.cc 进入后: 贴入地址 -------------------------------------------- 后来找了找,有个更靠谱的 http