Python个人项目--豆瓣图书个性化推荐

项目名称: 豆瓣图书个性化推荐

需求简述:从给定的豆瓣用户名中,获取该用户所有豆瓣好友列表,从豆瓣好友中找出他们读过的且评分5星的图书,如果同一本书被不同的好友评5星,评分人数越多推荐度越高。

输入:豆瓣用户名

输出:豆瓣好友中评分最高,评分人数最多,且我没读过的10本书

步骤构想:
1. 通过给定的用户名,将下面链接douban_id替换后可查看该用户关注的好友列表(访问该路径需要先登录)
https://www.douban.com/people/douban_id/contacts

但如果是查看自己关注的好友则会跳转到:
https://www.douban.com/contacts/list

这两个页面展现形式不一样

2. 得到好友列表后通过访问 https://www.douban.com/people/douban_id/ 获取用户信息,保存在user表中, 字段包括:用户名、常居地、加入时间、签名,读过的书、想读的书、在读的书、最后更新时间

3. 得到好友列表后通过访问以下链接可以查看好友读过的书,获取书的信息和好友对书本的评分信息
https://book.douban.com/people/douban_id/collect

获取所有读过的书籍id列表(需要往后翻页,翻页的规律为每页15本书,https://book.douban.com/people/Fenng/collect?start=0&sort=time&rating=all&filter=all&mode=grid,从start=0开始第一页,start=15第二页,start=30第三页以此类推)
书的信息:https://book.douban.com/subject/book_id/ 包括ISBN、书名、作者、出版日期、页数、定价、封面图片、豆瓣整体评分、评价人数、内容简介、作者简介等
书的信息是静态信息,存入book表

好友评分、好友短评、读过的时间:
https://book.douban.com/people/Fenng/collect?start=300&sort=time&rating=all&filter=all&mode=grid

好友对书本的评价信息存入rating表,user_id, book_id做外键

4. 在rating表中找出好友评价5星的书,且我没看过的,然后按评价人数desc排序,取前十本

原文地址:https://www.cnblogs.com/huahuayu/p/8146643.html

时间: 2024-10-12 21:18:30

Python个人项目--豆瓣图书个性化推荐的相关文章

python 爬取豆瓣图书

#!-*-coding:utf-8-*- import requests import xlwt from bs4 import BeautifulSoup from collections import OrderedDict class DouBanBookSpider(object): def __init__(self, book_type, quantity): self.book_type = book_type self.quantity = quantity self.url_l

Python 2.7_利用xpath语法爬取豆瓣图书top250信息_20170129

大年初二,忙完家里一些事,顺带有人交流爬取豆瓣图书top250 1.构造urls列表 urls=['https://book.douban.com/top250?start={}'.format(str(i) for i in range(0, 226, 25))] 2.模块 requests获取网页源代码 lxml 解析网页 xpath提取 3.提取信息 4.可以封装成函数 此处没有封装调用 python代码: #coding:utf-8 import sys reload(sys) sys.

python爬虫——豆瓣图书top250信息

# -*- coding: utf-8 -*- import requests import re import sys reload(sys) sys.setdefaultencoding('utf-8') class Spider(object): def __init__(self): print('开始爬取豆瓣图书top250的内容......') # 传入url,返回网页源代码 def getSourceCode(self, url): html = requests.get(url)

10大Python开源项目推荐(Github平均star2135)

翻译 | suisui 来源 | 人工智能头条(AI_Thinker) 继续假日充电系列~本文是 Mybridge 挑选的 10 个 Python 开源项目,Github 平均star 2135,希望你能够喜欢~~ ▌Rank 1:Requests-HTML v0.9(7385 stars on Github,来自Kenneth Reitz) 该库旨在尽可能简单直观地解析 HTML,仅支持 Python 3.6. 项目地址: https://github.com/kennethreitz/req

个性化推荐入门

“探索推荐引擎内部的秘密”系列将带领读者从浅入深的学习探索推荐引擎的机制,实现方法,其中还涉及一些基本的优化方法,例如聚类和分类的应用.同时在理论讲解的基础上,还会结合 Apache Mahout 介绍如何在大规模数据上实现各种推荐策略,进行策略优化,构建高效的推荐引擎的方法.本文作为这个系列的第一篇文章,将深入介绍推荐引擎的工作原理,和其中涉及的各种推荐机制,以及它们各自的优缺点和适用场景,帮助用户清楚的了解和快速构建适合自己的推荐引擎. 信息发现 如今已经进入了一个数据爆炸的时代,随着 We

CSDDN特约专稿:个性化推荐技术漫谈

本文引自http://i.cnblogs.com/EditPosts.aspx?opt=1 如果说过去的十年是搜索技术大行其道的十年,那么个性化推荐技术将成为未来十年中最重要的革新之一.目前几乎所有大型的电子商务系统,如Amazon.CDNOW.Netflix等,都不同程度地使用了各种形式的推荐系统.而近来以“发现”为核心的网站正开始在互联网上崭露头角,比如侧重于音乐推荐的八宝盒,侧重于图书推荐的豆瓣等等. 那么,一个好的推荐系统需要满足什么目标呢?个性化推荐系统必须能够基于用户之前的口味和喜好

个性化推荐漫谈

如果说过去的十年是搜索技术大行其道的十年,那么个性化推荐技术将成为未来十年中最重要的革新之一.目前几乎所有大型的电子商务系统,如Amazon. CDNOW.Netflix等,都不同程度地使用了各种形式的推荐系统.而近来以“发现”为核心的网站正开始在互联网上崭露头角,比如侧重于音乐推荐的八 宝盒,侧重于图书推荐的豆瓣等等. 那么,一个好的推荐系统需要满足什么目标呢? 个性化推荐系统必须能够基于用户之前的口味和喜好提供相关的精确的推荐,而且这种口味和喜欢的收集必须尽量少的需要用户的劳动.推荐的结果必

32个Python爬虫项目让你一次吃到撑

整理了32个Python爬虫项目.整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)O WechatSogou [1]- 微信公众号爬虫.基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典. DouBanSpider [2]- 豆瓣读书爬虫.可以爬下豆瓣读书标签下的所有图书,按评分排名依次存储,存储到Excel中,可方便大家筛选搜罗,比如筛选评价人数>1000的高分

python爬取豆瓣新书清单

使用python3的requests库快速获取豆瓣图书推荐的新书清单,并保存书籍信息和图书缩略图图片到本地 #!/usr/bin/env python # -*- coding:utf-8 -*- """ @author:Aiker Zhao @file:douban3.py @time:上午10:34 """ import json import os import re from multiprocessing import Pool imp