sql_insert = “insert into stock(code, name, jinkai, chengjiaoliang, zhenfu, zuigao, chengjiaoe, huanshou, zuidi, zuoshou, liutongshizhi, create_date) values (%(code)s, %(name)s, %(jinkai)s, %(chengjiaoliang)s, %(zhenfu)s, %(zuigao)s, %(chengjiaoe)s, %(huanshou)s, %(zuidi)s, %(zuoshou)s, %(liutongshizhi)s, now())”

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36’

}

def get_stock_list(stockListURL):

r =requests.get(stockListURL, headers = headers)

doc = PyQuery(r.text)

list = []

获取所有 section 中 a 节点，并进行迭代

for i in doc(‘.stockTable a’).items():

try:

href = i.attr.href

list.append(re.findall(r"\d{6}", href)[0])

except:

continue

list = [item.lower() for item in list] # 将爬取信息转换小写

return list

def getStockInfo(list, stockInfoURL):

count = 0

for stock in list:

try:

url = stockInfoURL stock

r = requests.get(url, headers=headers)

将获取到的数据封装进字典

dict1 = json.loads(r.text[14: int(len(r.text)) - 1])

print(dict1)

获取字典中的数据构建写入数据模版

insert_data = {

“code”: stock,

“name”: dict1[‘info’][stock][‘name’],

“jinkai”: dict1[‘data’][stock][‘7’],

“chengjiaoliang”: dict1[‘data’][stock][‘13’],

“zhenfu”: dict1[‘data’][stock][‘526792’],

“zuigao”: dict1[‘data’][stock][‘8’],

“chengjiaoe”: dict1[‘data’][stock][‘19’],

“huanshou”: dict1[‘data’][stock][‘1968584’],

“zuidi”: dict1[‘data’][stock][‘9’],

“zuoshou”: dict1[‘data’][stock][‘6’],

“liutongshizhi”: dict1[‘data’][stock][‘3475914’]

}

cursor.execute(sql_insert, insert_data)

conn.commit()

print(stock, ‘：写入完成’)

except:

print(‘写入异常’)

遇到错误继续循环

continue

def main():

stock_list_url = ‘https://hq.gucheng.com/gpdmylb.html’

stock_info_url = ‘http://qd.10jqka.com.cn/quote.php?cate=real&type=stock&callback=showStockDate&return=json&code=’

list = get_stock_list(stock_list_url)

list = [‘601766’]

getStockInfo(list, stock_info_url)

if name == ‘main’:

main()

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）

的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）