前言

动态页面相对于静态页面的解析来说，更加简单直接，因为动态页面返回的ajax数据基本都是json格式或者经过去头或者去尾变成json，根本不需要依赖BeautifulSoup，如下为需要处理的json：

jQuery110208565583287844201_1578312396626({
    "tag": "全部","ptagOneCount": "10","xxx":"yyy" })     

只要找到请求的规律，后续就会水到渠成

分析请求

本次依然以上篇文章中提到的网站为例，该网站可以点击"全文阅读"实现滚动鼠标阅读，很明显是动态加在的，不废话，打开小说页面，点击全文阅读

按下F12，点击Network，过滤设置为XHR，鼠标往下滚动，拦截到：

点击Response，可以看到返回的是标准json数据：


可以看到，返回的json数据中，章节名为response['data']['chapterName']，文章内容为response['data']['content']，但是文章内容中带有p标签，简单，用re正则去掉！

re.findall('<p>(.*?)</p>', response['data']['content'], re.S)

文章内容解析成功了，如何请求下一章的内容呢？
我们翻回来看一下拦截的Headers，往下翻，可以看到ajax请求的参数：

再结合网页的网址http://xxx.com/chapter/898410/58676024.html
你会发现bookId就在网址上:url.split('/')[-2]，那chapterId呢？此时再连续翻两章，拦截两个包来对比一下，有心的你就会发现，上一章拦截的response['data']['nexCid']为下一章Headers请求参数里面的 chapterId，好，下一章的chapterId也知道了，那_:1578574655825这个是个啥呢？对，经验告诉我们这个参数很可能是时间戳，格式化一下看看！

嗯，的确是时间戳了！
那如何判断最后一章呢，从倒数第二章开始全文阅读，拉到最后，拦截请求，可以看到，最后的**response['data']['nexCid']值为0，就把它作为循环结束的条件。

实现

至此，逻辑非常清楚了：
章节名：response['data']['chapterName']
文章内容：response['data']['nexCid']
下一章请求头的chapterId：response['data']['nexCid']
剩下的就是实现了：

import requests
import os
import re
import time
import json

def spiderBookdynamic(url: str):    
    nexCid = url.split('/')[-1].replace('.html', '')
    bookid = url.split('/')[-2]
    path = 'E:/Ebooks2/' + bookid
    if not os.path.exists(path):
        os.makedirs(path)
    pathAllinOne: str = path + '/' + bookid + '(合并).txt'
    while True:
    	# 13位时间戳
        timestamp = int(round(time.time() * 1000))
        # 构造ajax头
        url = 'http://book.zongheng.com/api/chapter/chapterinfo'
        params = {
    
            'bookId': bookid,
            'chapterId': nexCid,
            '_': timestamp
        }
        res = requests.get(url, params=params)
        res.encoding = 'utf-8'
        response = json.loads(res.text)
        chaptername = '\n' + response['data']['chapterName']+ '\n\n\n'
        content = chaptername + '\n'.join(re.findall('<p>(.*?)</p>', response['data']['content'], re.S))
        nexCid = response['data']['nexCid']

        # 写入章节
        with open(path + '/' + chaptername.strip() + '.txt', 'w') as f:
            f.write(content)
            print("已保存章节：" + chaptername.strip())
        # 写入合并
        with open(pathAllinOne, 'a') as f:
            f.write(content)
		# 最后一章
        if nexCid == 0:
            return

if __name__ == '__main__':
    url = 'http://xxx.com/chapter/898410/58676024.html'
    spiderBookdynamic(url)