php curl 下载网页,php 通过cURL函数抓取网页、下载网页的简单示例-程序员宅基地

技术标签: php curl 下载网页  

这篇文章主要为大家详细介绍了php 通过cURL函数抓取网页、下载网页的简单示例,具有一定的参考价值,可以用来参考一下。

php通过cURL函数抓取和下载网页,感兴趣的小伙伴,下面一起跟随512笔记的小编罗X来看看吧。

经测试代码如下:

/**

* 通过cURL函数抓取和下载网页

*

* @param

* @arrange (512.笔记) www.512pic.com

**/

function curl_download($Url){

// is cURL installed yet?

if (!function_exists('curl_init')){

die('Sorry cURL is not installed!');

}

// OK cool - then let's create a new cURL resource handle

$ch = curl_init();

// Now set some options (most are optional)

// Set URL to download

curl_setopt($ch, CURLOPT_URL, $Url);

// Set a referer

curl_setopt($ch, CURLOPT_REFERER, "http://www.example.org/yay.htm");

// User agent

curl_setopt($ch, CURLOPT_USERAGENT, "MozillaXYZ/1.0");

// Include header in result? (0 = yes, 1 = no)

curl_setopt($ch, CURLOPT_HEADER, 0);

// Should cURL return or print out the data? (true = return, false = print)

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

// Timeout in seconds

curl_setopt($ch, CURLOPT_TIMEOUT, 10);

// Download the given URL, and return output

$output = curl_exec($ch);

// Close the cURL resource, and free system resources

curl_close($ch);

return $output;

}

//使用范例:

print curl_download('http://www.example.org/');

/*** 来自512笔记(www.512pic.com) ***/

注:关于php 通过cURL函数抓取网页、下载网页的简单示例的内容就先介绍到这里,更多相关文章的可以留意512笔记的其他信息。

关键词:cURL,抓取网页,下载网页

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_39935777/article/details/116129810

智能推荐

Host碰撞环境搭建原理及复现-程序员宅基地

摘要:本文介绍了通过Host碰撞来找到隐藏业务的方法,通过配置域名字典进行碰撞,成功复现了2条数据。

SAP FIORI开发入门-徐春波-专题视频课程-程序员宅基地

文章浏览阅读1.4k次,点赞3次,收藏8次。【课程目标】打造一个简单实用的 SAP FIORI 入门开发课程,帮助广大 SAP 技术人员或者希望进入 SAP 技术领域的人打开一扇门。【课程形式】视频教程 + PDF 参考资料【学习门槛】零门槛,无需任何额外知识【作者微信】eksbobo【如何入群】使用购买课程的 ID 作为请求信息,发送到作者的微信添加好友,作者会把您拉入到这门课程的微信群中。..._sap fiori开发视频教程--由浅入深学习fiori开发

启发式合并(dsu),树上启发式合并(dsu on tree)总结-程序员宅基地

文章浏览阅读232次。启发式合并(dsu),树上启发式合并(dsu on tree)总结_启发式合并

工具方法:一次性将对象中所有null字段,转为空字符串_null值转换为空字符串-程序员宅基地

文章浏览阅读9.1k次,点赞12次,收藏30次。当我们的 Java 对象在响应前端,或者在做数据导出的时候,我们并不希望将对象中为 null 的属性值直接返回给前端,不然显示或导出的就是一个 null ,这样对用户不是很友好。如果我们一个个字段的去处理,这样不但增加了人力,而且使得代码中逻辑冗余,显得不够优雅。于是下面我写了一个通用方法:将对象中的 String 类型属性的null 值转换为空字符串的方法,具体代码如下:/** * 把对象中的 String 类型的null字段,转换为空字符串 * * @param <.._null值转换为空字符串

2023最新版kali安装教程_kali下载-程序员宅基地

文章浏览阅读1.7w次,点赞45次,收藏202次。2023最新版kali安装教程打开kali官网(https://www.kali.org/),下载kali镜像_kali下载

nest.js实战之集成sentry_sentry nestjs-程序员宅基地

文章浏览阅读581次。1.简介Sentry API用于将事件提交给Sentry收集器以及导出和管理数据。报告和Web API分别进行了版本控制。2.安装仓库:https://github.com/ntegral/nestjs-sentrynpm install --save @ntegral/nestjs-sentry @sentry/node@ntegral/nestjs-sentry:nestjs的sentry模块,提供了一些可注入服务 @sentry/node:sentry..._sentry nestjs

随便推点

携程 Apollo 配置中心 | 学习笔记 序章_apollo分布式配置黑马学习笔记-程序员宅基地

文章浏览阅读7.4k次,点赞11次,收藏45次。Apollo 携程Apollo配置中心目录导航 携程 Apollo 配置中心 | 学习笔记(一) | Apollo配置中心简单介绍 携程 Apollo 配置中心 | 学习笔记(二) | Windows 系统搭建基于携程Apollo配置中心单机模式 携程 Apollo 配置中心 | 学习笔记(三) | 自..._apollo分布式配置黑马学习笔记

什么是人工智能(AI)?—— 你需要知道的三件事-程序员宅基地

文章浏览阅读1.1k次,点赞16次,收藏25次。人工智能 (AI) 是对人类智慧行为的仿真。它通常是设计用来感知环境、了解行为并采取行动的一台计算机或一个系统。想想自动驾驶汽车:此类 AI 驱动系统将机器学习和深度学习等 AI 算法集成到支持自动化技术的复杂环境。据麦肯锡预计,到 2030 年,AI 的全球经济价值将高达 13 万亿美元。这是因为在 AI 浪潮的影响下,几乎各行各业乃至每一个应用领域的工程环节都在转型。除了自动驾驶以外,AI 还广泛应用于以下领域:机器故障预测模型,告知何时需要进行机器保养;健康和传感器分析,如病患监护系统;

VueRouter(vue-router 路由)最全笔记,实战实用,通俗易懂_router及vue-router教程-程序员宅基地

文章浏览阅读1.8k次,点赞3次,收藏8次。VueRouter安装和使用vue-router安装模块化中使用使用vue-router的步骤使用history模式router-link重定向/默认路由点击事件跳转路由动态路由路由懒加载路由嵌套参数传递(一)路由元信息全局导航守卫前置全局后置钩子组件内守卫路由独享的守卫keep-alive注意URL:协议://主机:端口/路径?查询(query)所有的组件都继承自Vue类的原型打包:npm run buildredirect:[ˌriːdəˈrekt ] 重定向replace:没有返回箭头_router及vue-router教程

运维——1.网线接在家用无线路由器LAN口依然可以上网,什么原理_路由器为啥插lan口为什么还能上网-程序员宅基地

文章浏览阅读641次。这种连接方式实际上是将路由器作为一个普通的网络交换机来使用_路由器为啥插lan口为什么还能上网

element-ui的el-upload上传图片自定义请求和vue-quill-editor富文本结合使用_vue中使用el-upload自定义editor-程序员宅基地

文章浏览阅读293次。vue-quill-editor默认的图片插入方式,是直接将图片转成base64编码,这样的结果是整个富文本的html片段十分冗余。我们的服务器端接收的post的数据大小都是有限制的,这样的话导致提交失败,就算不提交失败,大量的数据存入数据库也不是好事。为了解决这个问题,我考虑了两个方案,换一个富文本编辑框框架,另一个是修改vue-quill-editor的框架代码。..._vue中使用el-upload自定义editor

HTML/CSS常见的三种水平居中方式(好文备忘)_htmlcss水平居中-程序员宅基地

文章浏览阅读125次。HTML/CSS常见的三种水平居中方式_htmlcss水平居中