“ 美好的故事，不仅要听，也要记！”
经过上次对《故事FM》进行爬虫【爬虫】听故事的故事人，我们得到了我们想要对评论数据，格式化的数据给人一种很舒心的感觉，但是，数据得到了，那我们总得保存它吧！用看的没法进行下一步的操作呀～
01
—
储存方式选择
在数据储存方式有很多种，我们需要根据数据的格式、类型、数据量和后期的数据处理设想来选择适合我们的储存方式。在数据量较小，数据后期可能直接提供给他人查看使用的情况下，通常使用便于非编程人员使用的csv、txt或者json等易于操作的储存格式；在数据结构化，且数据量一般的情况下，可使用数据库储存；如最常用的mysql、轻量级数据库sqlite、文本型数据库mongoDB等；数据量太大的话，可以考虑hdfs分布式储存使用。
这里由于评论数据文本短、数据量不大、后期需要数据处理的缘故，我们选择轻量级数据库SQLite储存评论数据。
SQLite是一个进程内的库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。它是一个零配置的数据库，这意味着与其他数据库一样，您不需要在系统中配置。
02
—
那就干！
设计数据库：
根据爬虫所得数据，我们可以建立两个数据库：歌名--ID映射的菜单数据库和评论爬虫的格式化数据库。
数据库语句：
123456789101112 |
-- 注：语句为python执行语句-- 创建菜单数据库CREATE TABLE music_dic (music_id real, music_name text, time text); -- 菜单信息，有则更新，无则插入REPLACE INTO music_dic VALUES(?,?,?); -- 新建评论数据库CREATE TABLE IF NOT EXISTS music + str(music_id) + (music_name text, comment_id real ,user_id text,user_name text,avatar_url text,comment_time real,liked_count real,comment text); -- 插入爬虫数据INSERT INTO music"+str(music_id)+" VALUES(?,?,?,?,?,?,?,?); |
这样我们想要的评论爬虫数据就被我们收入囊中了，嘻嘻～
关注微信公众号：正版乔，一起和我探索Coding的乐趣～
推荐阅读：
一个学统计的程序员
喜欢Coding
喜欢硬件
喜欢树莓派
喜欢深度学习
喜欢你
原文地址：https://www.cnblogs.com/qiaohaoforever/p/10264855.html
时间： 2024-10-11 08:16:24