import json
import time
from requests_html import HTMLSession
# 爬取阳光高考院校库
def get_school_data():
# 开启会话
session = HTMLSession()
# 初始化院校列表
school_list = []
# 分页参数,起始位置
start = 1
# 分页参数,每页条数,阳光高考院校库默认为20条/页
limit = 10
# 开始执行时的时间
start_time = time.time()
print("阳光高考院校库爬取任务")
print("开始执行...")
# 分页循环获取
while True:
# 阳光高考院校库查询网址
# url = 'https://gaokao.chsi.com.cn/sch/search.do?searchType=1&start=' + str(start)
url = 'https://gaokao.xdf.cn/college/china/searchSchool/_____'+str(start)
# 获取请求到的html
r = session.get(url)
# 从中获取到院校库的table中的所有文字
result = r.html.find("body > div.main > div.container > div.main-table > table > tbody > tr")
# 初始化本次循环的数据列表
this_list = []
for res in result:
text = res.text
# 通过.将字符串拆分为数组,对本次循环获取到的分页数据进行循环处理
# 每一条数据通过换行符拆分为数组
arr = text.split("\n")
# 初始化院校信息
school = {}
# 如果长度为1,则为通过.拆分时的最后一条无用信息,直接跳过
if len(arr) == 1:
continue
if len(arr) == 9:
school.update({"name": arr[0], "area": arr[1], "property": arr[2], "type": arr[3], "level": arr[4], "attrs": arr[5]})
else:
school.update({"name": arr[0], "area": arr[1], "property": "", "type": "", "level": "", "attrs": ""})
# property = ""
# if not arr[2]:
# property = arr[2]
#
# type = ""
# if not arr[3]:
# type = arr[3]
#
# level = ""
# if not arr[4]:
# level = arr[4]
#
# attrs = ""
# if not arr[5]:
# attrs = arr[5]
#
# if property is None:
# property = ""
#
# if type is None:
# type = ""
#
# if level is None:
# level = ""
#
# if attrs is None:
# attrs = ""
# 将院校追加到本次循环结果的数组中
this_list.append(school)
# 将院校追加到总的结果中
school_list.append(school)
print("爬取第 " + str(int(start)) + " 页,本页获取到 " + str(len(this_list)) + " 条数据")
# 如果本次分页循环的长度小于分页的每页长度,说明本次为最后一页数据,数据读取完毕,终止循环
if len(this_list) < limit:
break
# 否则起始位置需要加上一页
start += 1
# 执行完毕时的时间
end_time = time.time()
print("执行完毕,耗时 " + str(round(end_time - start_time, 2)) + " 秒,共获取到 " + str(len(school_list)) + " 条数据")
# 关闭会话
session.close()
# 返回结果
return school_list
# 保存为JSON数组
def save_json_data(school_list):
data = open('./data.json', 'w')
data.write(json.dumps(school_list, ensure_ascii=False, ).encode("utf8").decode())
print("已保存为JSON数组(./data.json)")
# 保存为SQL可执行文件
def save_sql_file(school_list):
school_sql = "insert into ant_user_school(name,area,property,type,level,attrs) values "
for school in school_list:
school_sql += "('" + school["name"] + "','" + school["area"] + "','" + school["property"] + "','" + school["type"] + "','" + school["level"] + "','" + school["attrs"] + "'),"
if school_sql.endswith(","):
school_sql = school_sql[0:-1]
data = open('./data.sql', 'w')
data.write(school_sql)
print("已保存为SQL可执行文件(./data.sql)")
data = get_school_data()
# save_json_data(data)
save_sql_file(data)
文章浏览阅读2k次。MARIO PUZO'S THE GODFATHER PART IIby Mario Puzo and Francis Ford CoppolaFADE FROM BLACK TO: MICHAEL, in profile looking downward. He holds out his hand and ROCCO kissing it.DISSOLVE TO: A ..._教父2英文版
文章浏览阅读5.5k次,点赞26次,收藏9次。在曲折地安装完graphviz之后,运行代码时出现这个问题(安装graphviz的教程:https://blog.csdn.net/wyx100/article/details/80253072or https://blog.csdn.net/Snowy_susu/article/details/90439423?ops_request_misc=&request_id=&..._invocationexception: program terminated with status: 1. stderr follows: form
文章浏览阅读4k次。环境:Elasticsearch:7.4.1Springboot:2.2.1Spring-data-elasticsearch:3.2.0IDE:STS_3.9.2.RELEASEpom.xml配置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0..._spring data elasticsearch health check close spring 3.2
文章浏览阅读2.4k次,点赞2次,收藏11次。文章目录1.软硬件连接2.图形化编程块3.代码块4.实验成果实验材料与环境1、硬件Arduino开发板、舵机SG90、RFID-RC522读卡器、校园卡、杜邦线若干2、软件Mixly IDE(下载地址:https://pan.baidu.com/s/1vKnY-vC4LU0qMFitArEXfw提取码:tbfe)实验内容【1】读取校园卡ID号。【2】读取到指定校园卡时S..._csdnrfidmixly
文章浏览阅读53次。springboot基于Springboot的企业cms内容管理系统。springboot基于Vue和Springboot的会议室管理系统。开发软件:eclipse/myeclipse/idea。springboot中小型企业物流管理系统的设计与实现。springboot微信小程序的食谱大全“食全食美”springboot基于微信小程序的舟袍设计工作室。ssm基于web的佳茗天香茶品销售平台的设计与实现。springboot医考答题练习系统的设计与实现。springboot微信小程序的火锅店点餐系统。_基于web的多媒体素材管理系统zip
文章浏览阅读1k次。通常我们实现动画效果会用到CSS中的class类,这也是比较基本的方式实现动画。_vue 动画
文章浏览阅读3.1k次。一、APP层打开摄像头:openCamera();二、frameworks层:CameraManager:代码路径:\frameworks\base\core\java\android\hardware\camera2\CameraManager.javaprivate CameraDevice openCameraDeviceUserAsync(String cameraId, ..._android camera2 id 103
文章浏览阅读1.1w次,点赞5次,收藏41次。通过前面的文章我们已经知道我们为什么要搭建HomeAssistant,那么本篇文章我们就来给大家讲解如何通过群辉NAS的Docker搭建HomeAssistant,以及其基本的配置和使用。_群晖接入米家
文章浏览阅读9.2k次,点赞7次,收藏13次。Windows 10下载安装openjdk及环境变量配置(以openjdk 8为例)Windows 10下载安装openjdk及环境变量配置下载地址https://www.azul.com/downloads/zulu-community/?package=jdk安装双击已下载的安装包点击Next,安装目录可以自己定义点击Next进入安装界面进行安装安装完成后显示如下界面设置环境变量1.进入环境变量配置界面1.右键点击计算机–>属性–>高级系统设置–>高级_openjdk环境变量配置
文章浏览阅读1.7k次,点赞2次,收藏15次。如何打印模型_python打印模型
文章浏览阅读498次,点赞14次,收藏4次。伦茨、KEB、西门子、力士乐、施耐德电气、、鲍米勒、丹佛斯、派克、三菱、Allen Bradley、ABB、罗克韦尔、东芝、Gerfan、松下、Proface、台达、Beckhoff、Omron欧姆龙、Sumitomo住友、Sodick沙迪克、SedoTreepoint、WEINVIEW威纶通、Axiomtek艾讯、Portwell瑞传、Laetus.......等各大知名进口品牌工控机。W275 x H206 x D38.2 毫米 [W10.85 x H8.11 x D1.50 英寸]
文章浏览阅读4.3k次。Apipost是一个用于Web开发的接口调试工具,由国人开发。目前版本:7.0类似的产品还有,不过个人感觉功能上不如Apipost好用。_apipost上传文件接口