Python爬虫 requests库 get/post请求 获取响应内容_python requests.post status_code-程序员宅基地

技术标签: python  Python爬虫  http  

import requests
r=requests.get('http://www.lingzhilab.com/resources/getAllRes?page=1')
# u'文本内容'  bytes 类型
print(r.content)

# 获取内容并设置编码
print(r.content.decode('utf-8')) 

# 文本编码
print(r.apparent_encoding) # utf-8

# 响应状态码
print(r.status_code) # 200

# 文本内容
print(r.text)

# JSON解码器
print(r.json())

传递URL参数:

GET请求

import requests
key_dist={'page':1,'page':2}

# 原本url地址:http://www.lingzhilab.com/resources/getAllRes?page=1
r=requests.get('http://www.lingzhilab.com/resources/getAllRes',params=key_dist)

# url正确编码
print(r.url) # http://www.lingzhilab.com/resources/getAllRes?page=2

# u'文本内容'
print(r.text)

POST请求

import requests
import json
key_dist={'page':1,'page':2}

# 原本url地址:http://www.lingzhilab.com/resources/getAllRes?page=1
#r=requests.post('http://www.lingzhilab.com/resources/getAllRes',data=key_dist)

r=requests.post('http://www.lingzhilab.com/resources/getAllRes',data=json.dumps(key_dist)) # json参数

# url正确编码
print(r.url) # http://www.lingzhilab.com/resources/getAllRes

# u'文本内容'
print(r.text)

设置超时时间

秒数设置为0.001秒,会抛出异常,一般会把这个值设置为20秒

import requests
link="http://www.lingzhilab.com/resources/getAllRes?page=1"

# 原本url地址:http://www.lingzhilab.com/resources/getAllRes?page=1
r=requests.get(link,timeout=0.001)

定制请求头

import requests
headers={
'Host': 'www.lingzhilab.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
}
r=requests.get('http://www.lingzhilab.com/',headers=headers)
print(r.status_code) # 200

构造session

headers={
'session':'JSESSIONID',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
}

reqeusts底层是urllib库

参考:Python3 Requests 模块 - 梦徒 - 博客园

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_27694835/article/details/108613607

智能推荐

【Python】 将一个函数作为参数传递到另一个函数中_python怎么作为参数引入一个方程-程序员宅基地

文章浏览阅读2.6k次,点赞3次,收藏2次。背景:学数据结构的时候需要一个能够测量各种算法消耗时长的函数,重复写,话不多说直接上代码。import time as tdef mutinomial(n,a,x): p = 0 for i in range(0,n+1): p += a[i]*pow(x,i) return print(p)def qinjiushao(n,a,x): p = a[n] for i in range(n,0,-1): p *= x _python怎么作为参数引入一个方程

你训练的神经网络不对头的37个原因-程序员宅基地

文章浏览阅读403次。点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”作者:Slav Ivanov编译:ronghuaiyang导读大家都遇到过这种情况,训练的时候没什么问题,测试的..._神经网络错误直方图的instance

学计算机免修考试,长沙学院非计算机专业学生计算机基础课程免修实施办法-程序员宅基地

文章浏览阅读879次。长大教〔2018〕145号计算机基础课程是非计算机专业人才培养中的基础性课程,是当代大学生必须掌握的基础知识和基本能力。为贯彻因材施教的原则,突出个性化教学的要求,提高教学效率,根据《长沙学院课程考核管理办法》(长大发〔2017〕42号)的精神,经学校研究,决定对非计算机专业学生计算机基础课程作以下免修规定。一、免修的课程非计算机专业的计算机基础课程包括第一学期开设的《大学计算机基础》课程,第二学..._大学计算机免修的条件

Hibernate Tools - 提升数据库管理效率的利器-程序员宅基地

文章浏览阅读355次,点赞5次,收藏8次。Hibernate Tools - 提升数据库管理效率的利器Hibernate Tools 是一款开源的 Java 框架,专为开发者提供了用于简化数据库管理和操作的各种工具。这款框架能够帮助您更好地与数据库进行交互,并提高开发效率。项目简介Hibernate Tools 提供了强大的 ORM(对象关系映射)功能,支持多种数据库系统,如 MySQL、PostgreSQL 和 Oracle 等。...

yii使用view实例向视图传参_yii view怎么传默认参数-程序员宅基地

文章浏览阅读6.3k次。1.先在控制器中保存参数public function actionAbout() { $view = Yii::$app->getView();//此处的view实例与视图中的view(默认的$this变量)为同一个。所以此处保存的参数在视图中也可以用 $view->params['testView'] = 'testView'; //因为是同一个布局_yii view怎么传默认参数

图论- 最小生成树-程序员宅基地

文章浏览阅读1.3k次,点赞12次,收藏31次。在题中只给出一个点的坐标,我们需要想方法转换为两个点的链接,所以需要将每个点(两个坐标组合)转换为一个符号标记,在链接数组把相连的两个符号放一起就行了,很明显,我们使用0-n-1来记录每一个点是最合适的,不仅方便遍历也一目了然。的高度只存在于平衡二叉树,对于一般的树可能出现极端不平衡的情况,使得「树」几乎退化成「链表」,树的高度最坏情况下可能变成。因为无论树长啥样,树上的每个节点的根节点都是相同的,所以能不能进一步压缩每棵树的高度,使树高始终保持为常数?我们可能习惯性地认为树的高度就是。

随便推点

Java——《面试题——MySQL篇》_java mysql面试题-程序员宅基地

文章浏览阅读3.3k次,点赞4次,收藏28次。视图是一种虚拟的表,具有和物理表相同的功能。可以对视图进行增,改,查,操作,试图通常是 有一个表或者多个表的行或列的子集。对视图的修改不影响基本表。它使得我们获取数据更容易, 相比多表查询。内联接(Inner Join):匹配2张表中相关联的记录。左外联接(Left Outer Join):除了匹配2张表中相关联的记录外,还会匹配左表中剩余的记 录,右表中未匹配到的字段用NULL表示。_java mysql面试题

web3j 命令行_web3j 命令行工具-程序员宅基地

文章浏览阅读7.8k次。1. 下载最新的版本已经没有直接的命令行工具了,工具版本v4.5.5 下载2. 可以配置到环境变量3. 命令version: 版本号wallet: create: 生成一个新的以太坊钱包 update:更新现有钱包的密码 send: 将以太币发送到另一个地址solidity: 智能合约new:import:..._web3j 命令行工具

iptables移植到ARM Linux教程_arm-linux iptable源码下载-程序员宅基地

文章浏览阅读5.1k次,点赞5次,收藏10次。http://www.veryarm.com/568.htmliptables或netfilter(网络过滤器)是一个工作于用户空间的防火墙应用软件,允许系统管理员可以调整设置X表(Xtables)提供相关的系统表格(目前主要位于iptables/netfilter)以及相关的“链”与“规则”,以管理网络数据包的流动与转送的动作。Iptables是用户态提供的更改过滤规_arm-linux iptable源码下载

使用Audacity分析浊音、清音、爆破音的时域及频域特性。_audacity 获取当前频率-程序员宅基地

文章浏览阅读398次。文章目录一、实验任务二、实验内容1. 浊音2. 清音3. 爆破音三、实验分析1. 浊音2. 清音3. 爆破音一、实验任务使用Audacity分析浊音、清音、爆破音的时域及频域特性。二、实验内容1. 浊音语音学中,将发音时声带振动的音称为浊音。以浊音U为例,使用Audacity得到时域及频域波形。浊音U时域波形图(如下)浊音U频域波形图(如下)2. 清音语音学中,将发音时声带不振动的音称为清音,与浊音相对。以浊音t为例,使用Audacity得到时域及频域波形。清音t时域波形图(如下)_audacity 获取当前频率

RxJS --响应式编程库_rxjs库-程序员宅基地

文章浏览阅读216次。RxJS 全称 Reactive Extensions for JavaScriptRxJS 结合了函数式编程、观察者模式(例如 DOM EventListener)、迭代器模式(例如 ES6 Iterater)RxJS 官方是这样说的: Think of RxJS as Lodash for events. 把 RxJS 想像成针对 events 的 lodashRxJS 本质是个工具库,处理的是事件,这里的 events,可以称之为流那么流是指什么呢?_rxjs库

python求e^x_使用scipy、python、numpy的非线性e^(x)回归-程序员宅基地

文章浏览阅读1k次。下面的代码为我提供了一条最适合的直线,而不是沿着e^(-x)模型的一条很好的曲线来拟合数据。有人能告诉我如何修复下面的代码,使其适合我的数据吗?在import numpy as npimport matplotlib.pyplot as pltimport scipy.optimizedef _eNegX_(p,x):x0,y0,c,k=py = (c * np.exp(-k*(x-x0))) +..._用python作z=e的x

推荐文章

热门文章

相关标签