一. ajax跨域的问题
因为之前没参与过web开发,所以面临着ajax不能跨域的问题。网友给出的解决方案是提交的dataTpye写 jsonp。看了下jsonP的原理,必须建立在原服务器内设有callback函数的前提下才能访问。且jsonp不认识json,就算成功访问了,调试的时候也会报“返回数据格式不正确”的错误。 之后测试iframe标签的跨域,原本想法是在一个隐藏页面调用iframe标签之后读取该标签下的元素,之后发现也不行,原因也是因为牵涉到跨域,读取不了任何元素内容。
之后冥思苦想想到一招不对原服务器造成压力的方法。
原本手上就有40台动态vps服务器,利用socket通讯让这40台vps实时连接web服务器,当前端产生数据访问的时候web服务器将指令下发给vps服务器,vps服务器处理完后讲数据直接返回请求端。这是最后不行的办法,缺点太多,并发量一旦达到某一个峰值,程序就回挂掉,网上搜了一下,竟然还会出现服务器宕机的情况....
模拟测试了一番,当客户端提交数据后,web服务器的CPU使用量能提高百分之1-3,当前页面F5无脑刷新CPU使用量最高 98% 。。。
二 python语言的尿性
我不是针对Python大神,这个项目让我接触了python,简单看了一会,selenium+PHANTOMJS抓取网页数据,使用起来确实比较简单,但是用来http请求的时候,我特么想骂人了。。。看了各种资料,各种源码...还是对返回的数据的编码无力。。。
开始还是有思路的,嗯 源站是GBK的编码,我应该先把返回的数据解码ascii,然后再编码gbk我就可以看见正确的内容了, 然后发现不对, 然后各种 encode decode ...
我只是个菜鸟, 编码解码这个问题我真的是fuck了 而且python语言真的是又爱又恨。