自己设计大学排名-数据库实践

1.有关MongoDB库的学习报告

Python有很多库，现在我们来学习MongoDB库

（1）MongoDB的概念

MongoDB基本概念是文档、集合、数据库、如下表：

（2）MongoDB的数据类型

（3）MongoDB的常用命令为

利用sqlite3库将2017年最好大学网最好大学排名为csv文，

考虑到爬取的数据太多，此次只爬取最好大学排名前100名

其代码如下：

import requests
import pandas as pd
import numpy as np
from bs4 import BeautifulSoup
import sqlite3
allUniv=[]
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding = ‘utf-8‘
        return r.text
    except:
        return ""
def fillUnivList(soup):
    data = soup.find_all(‘tr‘)
    for tr in data:
        ltd = tr.find_all(‘td‘)
        if len(ltd)==0:
            continue
        singleUniv = []
        for td in ltd:
            singleUniv.append(td.string)
        allUniv.append(singleUniv)
def printUnivList(num):
    with open(r‘C:\Users\Administrator\Desktop\大学排名.csv‘,‘w‘) as f:
        f.write("{1:^2}{2:{0}^10}{3:{0}^6}{4:{0}^4}{5:{0}^10}\n".format((chr(12288)),"排名","学校名称","省市","总分","科研规模"))
        for i in range(num):
            u=allUniv[i]
            f.write("{1:^2}{2:{0}^10}{3:{0}^6}{4:{0}^8.1f}{5:{0}^10}\n".format((chr(12288)),i+1,u[1],u[2],eval(u[3]),u[6]))
        f.close()
    if 1:
        print("successful")
    else:
        print("fail")

def main(num):
    url=‘http://www.zuihaodaxue.cn/zuihaodaxuepaiming2017.html‘
    html = getHTMLText(url)
    soup = BeautifulSoup(html,"html.parser")
    fillUnivList(soup)
    printUnivList(num)

main(100)

爬取最好大学网2017中国最好大学前100名的结果显示如下：

由于篇幅的问题就只显示前32名大学的排名情况.....................................

查询广东技术师范大学2017年最好大学排名以及科研规模数。

代码为：

import requestsfrom bs4 import BeautifulSoupallUniv=[]def getHTMLText(url):    try:        r=requests.get(url,timeout=30)        r.raise_for_status()        r.encoding = ‘utf-8‘        return r.text    except:        return ""def fillUnivList(soup):    data = soup.find_all(‘tr‘)    for tr in data:        ltd = tr.find_all(‘td‘)        if len(ltd)==0:            continue        singleUniv = []        for td in ltd:            singleUniv.append(td.string)        allUniv.append(singleUniv)def printUnivList(num):    a="广东"    print("{1:^2}{2:{0}^10}{3:{0}^6}{4:{0}^4}{5:{0}^10}".format(chr(12288),"排名","学校名称","省市","总分","科研规模"))    for i in range(num):        u=allUniv[i]        #print(u[1])        if a in u:            print("{1:^2}{2:{0}^10}{3:{0}^6}{4:{0}^8.1f}{5:{0}^10}".format(chr(12288),i+1,u[1],u[2],eval(u[3]),u[6]))def main():    url=‘http://www.zuihaodaxue.cn/zuihaodaxuepaiming2017.html‘    html = getHTMLText(url)    soup = BeautifulSoup(html,"html.parser")    fillUnivList(soup)    num=len(allUniv)    printUnivList(num)main()

由于广东技术师范学院是在2019年改名为广东技术师范大学，上面代码的查询为“广东技术师范学院”

其显示为

查询广东省大学在2017最好大学网的排名情况

在上面查询“”广东技术师范学院”的代码改为“广东”将上面爬取的改为其“成果转化”

结果显示如下：

此次学习到此结束！！！期待下回分享...................................

原文地址：https://www.cnblogs.com/psl1234/p/10926654.html