数据科学——读取数据的若干方式-程序员宅基地
技术标签： 读取数据 pandas python 数据科学 数据科学学习笔记 numpy
数据科学中数据的来源以及读取数据的方法
数据来源
数据来源一般有五种：
- 数据文件：以数字或文本形式存储的结构化的数据记录
- 数据库：按照数据结构组织存储和管理数据的一个库，分为关系型数据库和非关系型数据库
- API：应用程序接口， 分为服务型API和数据型API，我们希望使用的是数据型API——通过特定语法，通过向服务器发送特定请求，返回特定格式的数据（或数据文件），一般返回的格式有JSON XML等
- 流式数据：应用于时效性较强的场景，一般分为用户行为数据流和机器数据流
- 外部公开数据：公开的任意第三方都能获取的数据
python读取数据的方法
我们知道数据科学研究中我们最常用的工具就是python，所以这里讲解一下一些读取数据的方法——下面使用jupyter notebook进行数据读取的小实验
从文本文件中读取运营数据
使用python自带的read,readline, readlines进行读取
- 打开文件的基本语法：
file = open('输入文件所在的路径', [, mode], [, buffering])
例子：file = open('data.txt', [, r+])
后面的模式跟C语言中的读写模式一样，常用的读写模式有：
- r ：只读， 文件指针位于文件开头，默认的模式（不设置时默认为r）
- r+ ：打开一个文件用于读写
- w ：打开一个文件只用于写入， 若该文件存在则覆盖其内容，不存在则创建一个新文件
- w+ ：打开一个文件用于读写，存在则覆盖原来内容，不存在则创建新文件
- a ：打开一个文件用于追加内容， 存在时，文件指针放于文件结尾，新写入的数据会追加在原有数据的结尾， 不存在则创建文件进行写入
- a+ ：打开一个文件用于读写，其他功能与a类似
- 三种python自带的文件读取方法：
- read ：读取全部数据，所有行合并为一个字符串
- readline ：读取文件中的一行数据， 该行数据为一个字符串
- readlines ：读取全部数据， 返回一个列表，每一行都是该列表中的一个对象
- 文件的关闭
我们可以使用with来完成打开和关闭：
with open('data.txt') as fn:
content = fn.read()
读取完毕后会自动关闭文件
理论上，python可以读取任意类型的数据文件， 但这里常常读取格式化的文本数据文件为主， 一般是.txt .csv .tsv为扩展名的文件
使用numpy读取数据
大致有三种方法：
- loadtxt : 从txt文件中读取数据
- load ：读取numpy专用的二进制数据文件 .npy文件等
- fromfile ：读取简单的文本文件数据以及二进制数据
这里展示了前面两个的用法：
使用pandas读取数据
常用方法：
- read_csv ： 读取csv文件
- read_fwf ： 读取表格或固定宽度格式的文本行到数据框
- read_table ：读取通用分隔符的数据文件到数据框
- read_clipboard ：从剪贴板中读取数据
- read_excel
- read_html
- read_json
- read_sql
剩下的读取方法从方法名字就知道他们是读取哪类数据的
读取excel数据
可以看到我们可以使用pandas的read_excel来获取，我们也可以使用另一个专门读取excel的包来读取，比如：xlrd xlwt pyexcel-xls xluntils pyExcel-erator等，这里使用xlrd作为例子
Anaconda中内置了两个模块：xlrd xlwt
import xlrd
xlsx = xlrd.open_workbook('file_name.xlsx')
print(xlsx.sheet_names)
这里展示了一些探索数据的方法
读取非结构化网页、文本、图像、视频、语音
从网页中获取数据
可以使用urllib urllib2 requests等库，具体可以看我爬虫的系列文章：
读取非结构化文本数据
读取图像数据
- 使用pillow来读取图片
2. 使用opencv读取图像
智能推荐
class和struct的区别-程序员宅基地
文章浏览阅读101次。4.class可以有⽆参的构造函数，struct不可以，必须是有参的构造函数，⽽且在有参的构造函数必须初始。2.Struct适⽤于作为经常使⽤的⼀些数据组合成的新类型，表示诸如点、矩形等主要⽤来存储数据的轻量。1.Class⽐较适合⼤的和复杂的数据，表现抽象和多级别的对象层次时。2.class允许继承、被继承，struct不允许，只能继承接⼝。3.Struct有性能优势，Class有⾯向对象的扩展优势。3.class可以初始化变量，struct不可以。1.class是引⽤类型，struct是值类型。
android使用json后闪退,应用闪退问题：从json信息的解析开始就会闪退-程序员宅基地
文章浏览阅读586次。想实现的功能是点击顶部按钮之后按关键字进行搜索，已经可以从服务器收到反馈的json信息，但从json信息的解析开始就会闪退，加载listview也不知道行不行public abstract class loadlistview{public ListView plv;public String js;public int listlength;public int listvisit;public..._rton转json为什么会闪退
如何使用wordnet词典，得到英文句子的同义句_get_synonyms wordnet-程序员宅基地
文章浏览阅读219次。如何使用wordnet词典，得到英文句子的同义句_get_synonyms wordnet
系统项目报表导出功能开发_积木报表 多线程-程序员宅基地
文章浏览阅读521次。系统项目报表导出 导出任务队列表 + 定时扫描 + 多线程_积木报表 多线程
ajax 如何从服务器上获取数据？_ajax 获取http数据-程序员宅基地
文章浏览阅读1.1k次，点赞9次，收藏9次。使用AJAX技术的好处之一是它能够提供更好的用户体验，因为它允许在不重新加载整个页面的情况下更新网页的某一部分。另外，AJAX还使得开发人员能够创建更复杂、更动态的Web应用程序，因为它们可以在后台与服务器进行通信，而不需要打断用户的浏览体验。在Web开发中，AJAX（Asynchronous JavaScript and XML）是一种常用的技术，用于在不重新加载整个页面的情况下，从服务器获取数据并更新网页的某一部分。使用AJAX，你可以创建异步请求，从而提供更快的响应和更好的用户体验。_ajax 获取http数据
Linux图形终端与字符终端-程序员宅基地
文章浏览阅读2.8k次。登录退出、修改密码、关机重启_字符终端
随便推点
Python与Arduino绘制超声波雷达扫描_超声波扫描建模 python库-程序员宅基地
文章浏览阅读3.8k次，点赞3次，收藏51次。前段时间看到一位发烧友制作的超声波雷达扫描神器，用到了Arduino和Processing，可惜啊，我不会Processing更看不懂人家的程序，咋办呢？嘿嘿，所以我就换了个思路解决，因为我会一点Python啊，那就动手吧！在做这个案例之前先要搞明白一个问题：怎么将Arduino通过超声波检测到的距离反馈到Python端？这个嘛，我首先想到了串行通信接口。没错！就是串口。只要Arduino将数据发送给COM口，然后Python能从COM口读取到这个数据就可以啦！我先写了一个测试程序试了一下，OK！搞定_超声波扫描建模 python库
凯撒加密方法介绍及实例说明-程序员宅基地
文章浏览阅读4.2k次。端—端加密指信息由发送端自动加密，并且由TCP/IP进行数据包封装，然后作为不可阅读和不可识别的数据穿过互联网，当这些信息到达目的地，将被自动重组、解密，而成为可读的数据。不可逆加密算法的特征是加密过程中不需要使用密钥，输入明文后由系统直接经过加密算法处理成密文，这种加密后的数据是无法被解密的，只有重新输入明文，并再次经过同样不可逆的加密算法处理，得到相同的加密密文并被系统重新识别后，才能真正解密。2．使用时，加密者查找明文字母表中需要加密的消息中的每一个字母所在位置，并且写下密文字母表中对应的字母。_凯撒加密
工控协议--cip--协议解析基本记录_cip协议embedded_service_error-程序员宅基地
文章浏览阅读5.7k次。CIP报文解析常用到的几个字段：普通类型服务类型:[0x00], CIP对象:[0x02 Message Router], ioi segments:[XX]PCCC（带cmd和func）服务类型:[0x00], CIP对象:[0x02 Message Router], cmd:[0x101], fnc:[0x101]..._cip协议embedded_service_error
如何在vs2019及以后版本(如vs2022)上添加 添加ActiveX控件中的MFC类_vs添加mfc库-程序员宅基地
文章浏览阅读2.4k次，点赞9次，收藏13次。有时候我们在MFC项目开发过程中，需要用到一些微软已经提供的功能，如VC++使用EXCEL功能，这时候我们就能直接通过VS2019到如EXCEL.EXE方式，生成对应的OLE头文件，然后直接使用功能，那么，我们上篇文章中介绍了vs2017及以前的版本如何来添加。但由于微软某些方面考虑，这种方式已被放弃。从上图中可以看出，这一功能，在从vs2017版本15.9开始，后续版本已经删除了此功能。那么我们如果仍需要此功能，我们如何在新版本中添加呢。_vs添加mfc库
frame_size (1536) was not respected for a non-last frame_frame_size (1024) was not respected for a non-last-程序员宅基地
文章浏览阅读785次。用ac3编码，执行编码函数时报错入如下：[ac3 @ 0x7fed7800f200] frame_size (1536) was not respected for anon-last frame (avcodec_encode_audio2)用ac3编码时每次送入编码器的音频采样数应该是1536个采样，不然就会报上述错误。这个数字并非刻意固定，而是跟ac3内部的编码算法原理相关。全网找不到，国内音视频之路还有很长的路，音视频人一起加油吧～......_frame_size (1024) was not respected for a non-last frame
Android移动应用开发入门_在安卓移动应用开发中要在活动类文件中声迷你一个复选框变量-程序员宅基地
文章浏览阅读230次，点赞2次，收藏2次。创建Android应用程序一个项目里面可以有很多模块，而每一个模块就对应了一个应用程序。项目结构介绍_在安卓移动应用开发中要在活动类文件中声迷你一个复选框变量