python的强大之处就是能够便捷地对数据进行操作、处理、清洗和可视化，从而对数据进行分析。在如今机器学习和人工智能兴起的时代，python进行数据处理和分析就显得更加重要了，是一门必不可少的技能之一。以前也一直接触过python，也用它处理过不少数据和东西，但都是零零碎碎地，不太扎实吧。因此，最近机缘巧合地有机会系统性地学习一下python处理数据的操作和方法，因此简单记录一下一些常用的函数和操作，方便以后查询，常用常查。

这一篇主要记录关于Numpy的学习心得笔记，之后一篇是关于Pandas处理表格化文件的操作和函数笔记，最后一篇是关于Matplotlib将数据可视化的技巧，有利于将来实验数据的可视化。

Numpy

Numpy库是python数值计算的核心组成部分，提供了多种数据结构、算法和大量数值计算的接口，能够快速进行高维数组对象的计算。安装Numpy库很简单，可以直接通过Anaconda或者pip安装。

一般，习惯性用下面这个命令导入Numpy库
import numpy as np

数据类型

下表列出了NumPy中定义的不同数据类型。

Numpy还有一些预先定义的特殊值：

我们可以直接定义数据的类型，例如
a = np.array([3,4,5],dtype=np.int)
也可以使用np.astype 显式地转换数据类型

>>> a = np.arange(1, 6)
>>> a.dtypedtype('int32')
>>> f_a = a.astype(np.float64)
>>>> f_a.dtypedtype('float64')

随机数生成

创建数组和计算

创建数组的方式有很多种，比如使用array方法，并提供标准的Python列表或者元组作为参数。array函数会自动将二维或三维序列转换为对应的二维或三维数组。当然，我们在创建的时候，可以显式地指定数据的类型。

  >>> c = np.array( [ [1,2], [3,4] ], dtype=complex )>>> carray([[ 1.+0.j,  2.+0.j],[ 3.+0.j,  4.+0.j]])

下面是一些创建数组时常用的函数：

通常来说，对数组做基本的算术运算，将会对整个数组的所有元组进行逐一运算，并将运算结果保存在一个新的数组内，而不会破坏原始的数组。下面是通用计算函数：

改变形状

a = np.array([1,1,1])
b = np.array([2,2,2])
c = np.vstack((a,b))  #vertical stack  垂直方向的合并
d = np.hstack((a,b)) #horizontal 水平方向的合并
1
2
3
4
[[1 1 1]
[2 2 2]]
[1 1 1 2 2 2]

a = np.array([[1, 2], [5, 7]])
b = np.array([[5, 6]])
np.concatenate((a, b), axis=0)
1
2
3
[[1, 2],
[5, 7],
[5, 6]]

索引切片去重迭代

Numpy的切片操作，默认是修改原数组的，而不是原生Python那样，以复制为主。对于多维数组，每个轴都有一个索引index，并以逗号分隔。

>>> b=np.array([[ 0,  1,  2,  3],[10, 11, 12, 13],[20, 21, 22, 23],[30, 31, 32, 33],[40, 41, 42, 43]])
>>> b[2,3]      # 第3行第4列的元素，注意索引从0开始计数
23
>>> b[0:5, 1]        # 第二列中的每一行，注意区间的左闭合右开的特性
array([ 1, 11, 21, 31, 41])
>>> b[ : ,1]                        # 相当于上面的例子
array([ 1, 11, 21, 31, 41])
>>> b[1:3, : ]                      # 每一列的，第二行和第三行的元素
array([[10, 11, 12, 13],[20, 21, 22, 23]])
>>> b[-1]   #当给与的参数少于轴数时，其它的轴被认为是全选，比如这里获得最后一行，等同于b[-1,:]
array([40, 41, 42, 43])

在上面的最后例子中，省略了列的索引。有时候，它们会被写作这样的格式x[i,…]。三个连续的圆点，代表其它未给出的所有轴的索引。例如假设有数组x，它有5个轴，那么：

x[1,2,...]相当于x[1,2,:,:,:]
x[...,3]相当于x[:,:,:,:,3]
x[4,...,5,:]相当于x[4,:,:,5,:]

对多维数组进行迭代，可以使用flat和flatten(将数组转换为1-D)
其中flat()返回一个迭代器，flatten()返回一个1-D序列

a = np.arange(3,15).reshape(3,4)
for item in a.flat:print(item)
print(a.flatten())
3
4
5
6
7
8
9
10
11
12
13
14
[ 3 4 5 6 7 8 9 10 11 12 13 14]

对于数组的添加删除去重操作是很简单的，其中

分割

深拷贝

copy方法生成数组的一个完整的深度拷贝，包括其数据。

a = np.arange(12).reshape((3,4))
b = a.copy()
b[0][0] = 12
print(b)
[[12 1 2 3]
[ 4 5 6 7]
[ 8 9 10 11]]

布尔索引

使用布尔数组进行索引，其实就是我们显式地选择数组中需要哪些项，不需要哪些项。可以使用与原始数组形状相同的布尔数组进行筛选过滤。

>>> a = np.arange(12).reshape(3,4)
>>> b = a > 4
>>> b   # 通过比较运算，b变成了一个由布尔值组成的数组
array([[False, False, False, False],[False,  True,  True,  True],[ True,  True,  True,  True]])
>>> a[b]        # 生成一个由True值对应出来的一维数组
array([ 5,  6,  7,  8,  9, 10, 11])

[参考文档]
http://www.liujiangblog.com/course/data/201
https://blog.csdn.net/ggfujfdd/article/details/90738582