python 抓取内涵段子

#!/usr/bin/env python
#coding:utf-8

import requests,io,time
from bs4 import BeautifulSoup
def neihanjoke():
    headers = {
        'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding':'gzip, deflate',
        'Accept-Language':'zh-CN,zh;q=0.9',
        'Cookie':'tt_webid=6536425014367225358; uuid="w:1057f146c0254dafbd487a6da58210b7"; _ga=GA1.2.64952905.1521880043; _gid=GA1.2.1818828277.1521880043; csrftoken=111d911d1b2b2a61b5cad8282ee5b16e; _gat=1',
        'Host':'neihanshequ.com',
        'Referer':'https://www.baidu.com/link?url=DP5I6qLhobaPUAJ321iP0PzTkPBvbUE0-YdK4x6H01Wuq_PuPpwErjcv4dICWag3&wd=&eqid=82195f930001ef0c000000035ab61073',
        'Upgrade-Insecure-Requests':'1',
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36',
    }
    s = requests.session()
    s.keep_alive = False
    respone = requests.get('http://neihanshequ.com/',headers=headers)
    soup = BeautifulSoup(respone.text,"html.parser")
    jokedct = {}
    for joke in soup.find_all('div',class_='detail-wrapper'):
        value =  u'发布时间:'+ joke.find_all('span')[1]['title'] +'   '+ u'段子内容:'+joke.p.string
        jokedct[joke.span.text] = value
    f = io.open('neihanjok.txt', 'a',encoding='utf-8')
    for joke in jokedct:
        joke2 = u"用户: %s   %s  \n" %(joke,jokedct[joke])
        f.write(joke2)
    f.close()
if __name__ == '__main__':
    f = open("neihanjok.txt")
    lines =  len(f.readlines())
    while lines < 52113.14:
        f = open("neihanjok.txt")
        lines = len(f.readlines())
        neihanjoke()
        time.sleep(3)

用户: 呆婷-   发布时间:2018-01-09 21:34:38000   段子内容:2.“我可以进去吗?”“不行!”“就进去一下下,保证不动,马上就出来,好吗?”“真的不行!”“你看我这多难受啊,头都进去了,就让我再进去一点呗,就一点。”“你有病啊,电梯满了你看不出来啊!”  
用户: 王浩晨吖   发布时间:2018-03-24 23:29:21000   段子内容:3月24日 我永远忘不了这一天!我和对象相处一年,天天都黏在一起,但是为了生活,为了我们的以后,我选择离开他在北京工作,我忘不了凌晨你送我时的心痛,泪流满面,到北京了,我好想你,真的好想!相信我,我会在北京好好干,好好攒钱,娶你!汪雪你要等我!我爱你!  
用户: 赤峰段友会董事长   发布时间:2018-03-25 10:11:46000   段子内容:抖音和快手,智障中的俩泰斗!段友顶起,不火还发!  
用户: osuning142568355   发布时间:2018-03-25 12:10:46000   段子内容:儿子最近一直笑,一直摇头,今天下午去南京,明天去南京儿童医院看,眼泪都哭干了,老天保佑不要有任何事情,我宁愿少活二十岁,胖一百斤,宁愿所有的病痛都让我来受,真的需要别人给我点鼓励,亲人只要一开口,我就泪奔了,忐忑不安,我也不知道自己想表达什么,乱七八糟的,进段子好多年了,给我个祝福吧。  
用户: Gudgudi   发布时间:2018-02-08 15:49:33000   段子内容:下课,我对前桌的妹子说,咱们一人讲一个坑笑话,比比谁的更冷,妹子欣然应战,于是女士优先妹子先来,妹子说: 冷笑话是这样的。可是等了半天妹子只是含情脉脉的看着我,不在再多说一句话,我有点纳闷,便催促说讲啊,妹子却说,讲完啦,冷笑话是这样的!!!我心里暗暗敬佩,于是到我了,我说: 你用一个字形容冬天,妹子说冷,我说:那是因为我在叫冷笑话啊  
用户: 南方木子李   发布时间:2018-03-24 16:11:31000   段子内容:年轻人问道禅师:“我志向高洁,出淤泥而不染,无法容纳这个污秽的世界。”禅师拿出一个袋子让年轻人把屋子里的垃圾装进去,年轻人很快就装满了,禅师又拿出一个袋子。年轻人恍然大悟:“您是说只要有足够宽广的胸怀,就能容纳这个世界?”禅师摇摇头,指着袋子说:“装,你继续装。”  
用户: 那年花开心破碎   发布时间:2018-03-24 15:58:31000   段子内容:有一天,两姐妹在睡觉 妹妹对姐姐说:姐今天蚊子好多哦~ 姐姐说:把灯关了蚊子就看不到我们了 后来妹妹真的把灯关了 忽然间一双萤火虫飞了进来 妹妹很紧张的说:姐惨了,蚊子提着灯笼来找我们了……  
用户: 身无长物戾气满怀220399124   发布时间:2018-03-25 11:33:52000   段子内容:坐地铁看到一姑娘在看我的微博,我搭讪说:“唉我也关注了这人,挺好玩的。”   她扫了我一眼说:“有啥用?段子手,不是穷就是丑,指不定在哪儿挤地铁呢。”  
用户: 污王舞贱   发布时间:2018-03-01 19:06:57000   段子内容:夏天的时候,跟几个哥们去游泳池游泳,到了泳池才发现没带泳裤,就在旁边的便利店买,老板问我是要便宜的还是贵的?我想都没想,就说要便宜的。老板说便宜的可能有一点脱色。我说不要紧。等我刚一下游泳池,一哥门呆呆的看着我,你什么时候做手术啦?  
用户: 含成登九品   发布时间:2018-03-25 12:06:19000   段子内容:我是小可爱  
用户: Very保护我方傻染   发布时间:2018-02-06 22:17:02000   段子内容:今天饭店里人特多,一对小情侣实在找不到地方了就拼桌坐在我对面,说实话那女的长得挺漂亮,我就多看了两眼。那个男的发现了,他很鄙夷的看了我一眼,啪嚓一下往桌子上放了一个大众的车钥匙,我往前一看,卧槽 ,辉腾!吓唬我?!我啪嚓往桌子上放了个玛莎拉蒂的车钥匙,然后啪嚓,啪嚓,啪嚓,布加迪、宾利、劳斯莱斯、卡宴、法拉利好几个车钥匙我都摔在桌子上了 。沉静了片刻,那男的死命拽着那个眼睛越来越亮的美女走了 真是的 大过年的你跟我一个修车的装什么装!?  
用户: doctor小颜   发布时间:2018-03-25 00:33:45000   段子内容:毕业后从医一年了。在我们医院遇见过很多病人,很信任我们,我们也一直在尽心尽力的救治,看到每一位病号从生死线上被拉回来然后到出院都很开心。但是看到段子里好多人都在骂医护人员,我很难理解,每天每夜都在加班,尽心尽力都在救治,为什么大家的看法对于医护人员是这样的仇视。心里很不开心,现实也许和网络真的不一样,网络可以放大人内心的丑恶,可以肆无忌惮的诋毁。算了,发发牢骚,还得继续努力,谢谢大家的信任来到医院,至少几乎还没有见到向网络那般偏执的带着有色眼睛的人儿。如果有一天,你的孩子长大了,希望不要让他从医。  
用户: 蒋教授一米高   发布时间:2018-03-24 22:51:41000   段子内容:段友们对不住哈,今天一整天都没时间发段子,现在补一波吧。。  
用户: 残林夕   发布时间:2017-12-26 21:17:38000   段子内容:今天在火车站排队买票,就快轮到我的时候,忽然一男子插队跑到了我的前面,长得五大三粗的,脖子上还有纹身。我当时就不乐意了,便拍拍他的肩膀说道:哥们你插队了!他撸起袖子对我说:怎么你有意见?我自信的一笑,想我跆拳道也练了三个月了,我会怂你?便说道:有你麻痹!于是我俩就干起来了……要不是民警及时赶到,我就要被他给打死了  
用户: 我的一个道姑朋友丨   发布时间:2018-03-24 21:49:41000   段子内容:“你感情路不顺吗?”“顺啊 一路上都没什么人”  
用户: 悲喜190271798   发布时间:2018-03-25 04:01:57000   段子内容:我和她不是什么异地恋也不是什么离了多远,我们在一起上班,我是做厨师的她是服务员,每天能看到她,和她在一起的每一天我都很珍惜,2018.3.20 我删了她,把她所有东西全部删除了,现在我在所有同事的眼里都是渣男,原来的我是老板和服务员中的暖男,就因为我和她分了手,短短这几天,所有人看我的眼神都不一样。我没做过对不起她的任何一件事,反而她却连分手都不能和我当面说,连续五天,整整五天,给我摆出一副无所谓的样子,不论我这么逗她,都是一样。刚刚我才知道,原来就在三月二十号,她有了新男朋友,或许在自己眼中觉得非常珍惜的东西,在她眼里,都是一文不值的狗屁吧。  
用户: 楼下吃翔丶   发布时间:2018-03-24 15:35:13000   段子内容:求特朗普在wwe挨打的视频,20红包奉上(只限第一位发视频者),谢谢  
用户: 匿名用户   发布时间:2018-02-08 07:48:47000   段子内容:今天上班,同事看到老板新买了一辆红色的凯迪拉克。忍不住上前夸到:老板,您的新车真好看! 老板拍拍同事的肩膀,微笑着对他说:好看吧,如果今年你再努力工作点,明年我还能再买一辆。。。。  
用户: 老叶先生   发布时间:2018-03-25 09:07:16000   段子内容:鸡,各种肉类中火性最多,每天跑得快,不回头,归属 心 这个五脏。所以老话说,吃鸡可以补心气。反过来说,心气很足的儿童,吃鸡多了就容易多动症,烦躁。所以,鸡适合虚寒的人吃,这样的人情绪上经常表现为 哀,怨,愧等。鸽子等飞禽和鸡是一样的,都入心。常见与之搭配的材料有 党参,黄芪, 红枣,枸杞 ,生姜 ,葱, 阿胶, 蘑菇等。  
用户: 大大专属小胖妞   发布时间:2018-03-25 10:22:52000   段子内容:一句话,赞我的心想事成,男的JJ变长5cm,女的全是A4腰  
用户: 天下为苏娇喘   发布时间:2018-03-25 00:06:18000   段子内容:没连wifi 看了文字段子 感觉有点看不下去了 因为看着心里特不舒服 好多人在陌生人面前吐露心声 在熟人面前装作坚强 好像我也不怎么爱发朋友圈了 玩玩段子吧 毕竟都不认识 哈哈 但至少感觉有人看的到呀 我挺好的 希望大家也好好的 晚安。  
用户: 匿名用户   发布时间:2018-03-25 01:14:18000   段子内容:大家以后要远离×××,好好生活,不要羡慕那些来钱快的,来的快去得也快,踏踏实实过好每一天,有钱没钱,人起码要活的充实。说说我自己吧,两年前我打打小麻将输两三百块都觉得好心疼,慢慢的越玩越大,越输越多,然后自己开红包群利用身边的人玩,三四个月之内是赢了一百多个,但是并没有什么卵用,钱来得快是不会珍惜的。照样玩得别的输出去,今晚又在别的群里玩红包输了7万了...想想之前自己有车有房家里一家人其乐融融,可是现在我身负一身赌债,几十个了,我家里人还不知道,我深深的后悔,悔不当初,可是没办法从来了,我在这里说不是博取你们的同情,因为×××的人都是死不足惜的。只想用自己的经历告诉大家,珍爱生命,远离×××。  
用户: 已疯未成魔   发布时间:2018-03-24 13:42:58000   段子内容:刚来到贵阳有没有段友介绍个开车的工作  
用户: 自由鱼175182954   发布时间:2018-03-25 02:56:40000   段子内容:2:54有没睡的吗?今晚失眠了,有跟我一样的吗?想找个对象适合自己的就那么难吗?好茫然到底是找个爱自己的还是自己爱的  
用户: 用户143382847   发布时间:2018-02-04 20:34:38000   段子内容:我就服段子里一天说评论送什么送什么的。人家评论了你又不送。什么点赞送什么的。都TM骗子。想我一样说到做到点赞送你我家wifi密码123456  
用户: 手机用户82229263196   发布时间:2018-03-25 12:05:12000   段子内容:说实话,中国并不大,美国省,日本村,韩国镇,俄罗斯自治区,欧洲区,非洲寺庙……就这几个地方,哎何时站立宇宙呀  
用户: 倾淑于牧   发布时间:2018-03-25 05:19:17000   段子内容:凌晨五点十九分,,你睡了吗  
用户: 老师我怀孕了   发布时间:2018-03-24 08:12:27000   段子内容:我要在工厂上班了,干他娘的,段友们呐,想你们  
用户: 牛从良   发布时间:2018-03-02 12:12:29000   段子内容:白雪公主结婚以后,身体一直不太好。王子请来医生诊断,发现她居然只剩下一个肾。王子悲伤地捧起她的脸:“亲爱的,你到底遭遇了什么?”白雪公主勉强露出一个微笑:“我在森林隐居时,有一天,一个巫婆敲开门对我说:“孩子,来个苹果吧!  
用户: 这辈子不可能打工的嘟   发布时间:2018-03-25 10:11:22000   段子内容:别看金牛座一副老实巴交的样子,他们在恋爱中也有一套疼恋人的方案。只是不善于表达,不懂得沟通的金牛座人,在意一个人时,往往会很盲目,不懂得为自己着想,当付出自己的全部之后,才发现那个人早已经不在自己的身边,这让金牛座人很受伤。  
用户: A浮华沧桑终究太多的伤858   发布时间:2018-03-24 20:48:54000   段子内容:今天我生日,路过的段友给个祝福  
用户: 冰峰丶冰峰   发布时间:2018-02-14 17:42:47000   段子内容:刚刚去超市,本来想买包烟,结果看见结账员是我前女友, 我果断放下烟,拿了一包姨妈巾骄傲地走了过去  
用户: 记住你雪   发布时间:2018-02-03 22:07:51000   段子内容:宿舍一哥们特别喜欢一个姑娘,但是他比较腼腆,有那姑娘的电话但是不敢打。就在昨天兄弟们都怂恿他表白,电话拨通鼓起勇气说了一句:我好喜欢你 我给你唱首歌好不好,说完唱了几分钟的歌,唱完顿时就哭了,我们都看蒙圈了,结果他抬起头说:其实电话早就挂了 他对空气唱完了歌。通话时长0:7秒。  
用户: 窃瓦辛格瓦   发布时间:2018-03-24 08:36:06000   段子内容:昨天去吃火锅,看到火锅店的墙上醒目的写着:羊是自己养的,菜是自己种的,油是自己榨的,提醒顾客放心食用。买单的时候,我悄悄地跟老板说:这钱是自己印的,请放心使用,然后老板追了我好几条街。  
用户: 小泥巴熊001km   发布时间:2018-03-11 18:52:37000   段子内容:朋友去店里吃冷饮,发现店里的餐勺挺好看的,于是叫来服务员:“你们的勺子挺好看,一会送我俩行不”服务员横眉冷目道:“不行,店里有规定餐具不能送人”!!朋友:“那我要是偷呢”?服务员:那我管不着。转身就走了……走了……  
用户: 内涵警务部部长   发布时间:2018-03-24 22:42:02000   段子内容:你知道吗?我在想你,一直都在想,习惯了有你的生活,没有你在,简直度日如年,时间过的好慢好慢,没有你在我身边,食无味,夜无眠。听着歌我更想你。你能快点回到我身边嘛,想你想你想你。我一直在QYF。  
用户: 鬼鬼丨丨   发布时间:2018-03-24 23:15:50000   段子内容:谁能帮帮我,段友们,夏天就快到了,我是一位狐臭患者,对于狐臭我是绞尽脑汁,怕别人闻到,其实你们闻到难受我比你们更难受,我动过微创手术,基本没效果,现在就想问问段友有懂这个的吗,最好能去除的,我想段友不止我一个人有腋臭,希望有贵人帮助,谢谢!  
用户: 我耗慌   发布时间:2018-03-25 12:14:36000   段子内容:段友们,我想请教一下大家,电瓶车车主喝了酒的,然后因为害怕和小车撞上,自己处理不当摔倒了,算哪个的责任。谢谢段友们  
用户: 喜XD   发布时间:2018-03-24 22:59:55000   段子内容:今晚看到一个女同事发微信朋友圈 很搞笑,看能不能过。女同事说: 每次我家狗看见外卖小哥就很亲切,我就问外卖小哥到底是为了什么?外卖小哥想了想 说: 可能它觉得我天天给你送饭,是你主人吧。  
用户: 佳洽-潮流鞋贸招代理   发布时间:2018-03-25 02:05:24000   段子内容:2.05分 还有没睡的吗  
用户: ?171385241   发布时间:2018-03-25 08:13:41000   段子内容:老婆怀孕了,去医院做B超,一个实习的小伙一脸严肃地跟我们说:“做好心理准备,可能是个怪胎,他有俩脑袋四只手四条腿!” .. 我们瞬间惊呆了,老婆当场就嚎啕大哭, 这时,医生过来,一个“风雷神掌”打在小伙子的头上,怒骂道:“那是双胞胎,你大爷的。”  
用户: 让时光说58FV9   发布时间:2018-03-25 07:51:31000   段子内容:出海两年多的的船员阿福终于回到家乡。但一回到家的他却发现多一个婴儿!阿福激动的问着妻子“是谁干的好事?是不是隔壁的阿呆?”“不是。”妻子回答“是不是我的朋友阿瓜?”“不是。”“一定是小王,我那该死的酒肉兄弟!”“烦死人了!”妻子叫道“难道我就没有自己的朋友吗?”  
用户: 路过的黑森林   发布时间:2018-02-04 21:55:13000   段子内容:谈了一段时间的妹子突然问我:“动手术和动感情有什么共同点”估计妹子考我了。哈,如此简单同一个“动”字啊!我得意地回答。万万没想到,旁边的大哥鄙视的眼彪过来:“你是不是傻?“难道不对吗?  
用户: 果实321   发布时间:2018-03-25 12:07:32000   段子内容:开心是什么,不开心又是什么,都是自己虚拟的感觉而已,空空如也  
用户: 墙交术之霉   发布时间:2018-03-10 08:08:29000   段子内容:一日和斌哥去医院看病。医生问他:你什么情况啊?”斌哥叹了口气说:不知道怎么的,经常感觉疲劳、意志消沉、记忆力减退、理解力下降、失眠多梦,头疼的很”医生看了他一眼在病历本上画了些圈圈,说:以后少玩魂斗罗。”我好奇的插嘴道:魂斗罗是什么啊?”医生看了我一眼说:他自己知道。”说完把病历本递了过来  
用户: 用户75315880724   发布时间:2018-03-25 01:03:41000   段子内容:我有个朋友网贷15万,银行贷款15万,信用卡几家银行加起来14万,他准备全部不还款了,他会怎么样,网贷应该只是催收,银行的钱会不会被抓去坐牢啊?求指点  
用户: 原谅帽恐怖总部派送员   发布时间:2018-03-13 15:52:05000   段子内容:从前,有一男孩,他随着村里郎中学医,12岁时上山采药救了一只受伤的白狐。郎中去世,白狐成精前来报恩。4年后,看着毛绒绒的小狐狸,他简直毫无抵抗力。抱着蹭了又蹭,十方欢喜。是夜,白狐幻化作一天资美人: 恩公,奴家...他一脸冷漠: 变回去。  
用户: 玫瑰余香8294   发布时间:2018-03-24 22:48:59000   段子内容:看清一个人需要时间,表里如一的人直得深交。结识君子是幸运;远离小人更荣幸。困难时拉一把的人不忘恩,伤口洒盐的小人刻骨铭心。不要从别人嘴里去了解一个人,因为你没有经历过这个人的事情。  
用户: 聽129633831   发布时间:2018-03-24 18:56:42000   段子内容:成都今天下雨,进小区的时候前面一个阿姨放了一个屁。那酸爽,混杂着湿润的空气扑鼻而来。也唤醒了我体内的洪荒之力。于是我快步走到她的前面,回敬了一个无声的致意。  
用户: 羊八两   发布时间:2018-03-25 07:35:37000   段子内容:闺蜜一大早打电话给我,说早上起床发现锁好的房门被撬开了。我问丢东西没?她说没丢。我心刚放下来,就听她支支吾吾地说就是昨晚做了个春梦……怎么办?要不要去医院?我我我我…我也不知道…  
用户: 枫叶愿望   发布时间:2018-03-24 21:31:58000   段子内容:妈的,今天去浴室遇到一个人,真TM能bb,搞得就像:老子天下第一,老子最牛逼!但却在浴室敲腿,混的也不怎么样,逗逼!

原文地址:http://blog.51cto.com/9399369/2090836

时间: 2024-10-01 21:24:22

python 抓取内涵段子的相关文章

python抓取内涵段子文章

# coding:utf-8 from urllib.request import urlretrieve import threading import requests from bs4 import BeautifulSoup from datetime import datetime import pymysql import random import json import time number=0 def GetArticel(): max_time = 1519404642 d

Python抓取页面乱码问题的解决

import urllib2 response=urllib2.urlopen('http://house.focus.cn/') html=response.read() print html.decode('gbk') Python抓取页面乱码问题的解决,布布扣,bubuko.com

使用python抓取CSDN关注人的所有发布的文章

# -*- coding: utf-8 -*- """ @author: jiangfuqiang """ import re import urllib2 import cookielib import time def startParser(author,page=1): reg = r'<a href="/\w+/article/details/\d+">\s*\t*\n*\s*\t*\s*.*?\t*\n

运用python抓取博客园首页的所有数据,而且定时持续抓取新公布的内容存入mongodb中

原文地址:运用python抓取博客园首页的所有数据,而且定时持续抓取新公布的内容存入mongodb中 依赖包: 1.jieba 2.pymongo 3.HTMLParser # -*- coding: utf-8 -*- """ @author: jiangfuqiang """ from HTMLParser import HTMLParser import re import time from datetime import date im

Python抓取需要cookie的网页

Python抓取需要cookie的网页 在仿照<Python小练习:可视化人人好友关系>一文时,需要登录模拟登录人人网.然而自从CSDN事件之后,人人网开始使用加密方式处理登录名和密码,直接使用post方式已经无法登陆人人网.这时,从豆瓣讨论中找到了解决方法: 1. 首先使用浏览器登陆人人,然后找到浏览器中关于登陆的Cookie: 2. 将Cookie记录下来,在Python中使用cookie模块模拟浏览器的行为: 3. 取得并解析数据. 1. HTTP协议与Cookie 抓取网页的过程跟浏览

使用python抓取CSDN关注人的全部公布的文章

# -*- coding: utf-8 -*- """ @author: jiangfuqiang """ import re import urllib2 import cookielib import time def startParser(author,page=1): reg = r'<a href="/\w+/article/details/\d+">\s*\t*\n*\s*\t*\s*.*?\t*\n

Python抓取网页&amp;批量下载文件方法初探(正则表达式+BeautifulSoup) (转)

Python抓取网页&批量下载文件方法初探(正则表达式+BeautifulSoup) 最近两周都在学习Python抓取网页方法,任务是批量下载网站上的文件.对于一个刚刚入门python的人来说,在很多细节上都有需要注意的地方,以下就分享一下我在初学python过程中遇到的问题及解决方法. 一.用Python抓取网页 基本方法: [python] view plaincopyprint? import urllib2,urllib url = 'http://www.baidu.com' req 

python抓取百度彩票的双色球数据

最近在学习<机器学习实战>这本书,在学习的过程中不免要自己去实践,写些练习.这写练习的第一步就需要收集数据,所以为了写好自己的练习程序,我得先学会收集一些网络数据.了解到用python抓取网页数据的一些方法后,我就根据别人的demo,自己实践了一下,学着从百度彩票网站上抓取双色球的历史数据.以下我就介绍一下自己的小程序. 大致思路如下 找到相关url和其参数 找出页面上你要抓取的数据的位置,也就是说这个数据在那些标签下 将每页中学要的数据取下来按一定格式存放在自己本地 需要的环境: pytho

Python抓取小说

Python抓取小说 前言 此脚本为了在MAC上抓取小说而写,用Python几句代码就可以了. 代码 # coding=utf-8 import re import urllib2 import chardet import sys from bs4 import BeautifulSoup import codecs class Spider(): def __init__(self): self.aTag=re.compile("<a href=\"(http://www.4