数字识别 | 实战（二）

1. 设定

# To support both python 2 and python 3
from __future__ import division, print_function, unicode_literals# Common imports
import numpy as np
import osnp.random.seed(42)%matplotlib inline
import matplotlib as mpl
import matplotlib.pyplot as plt
mpl.rc('axes', labelsize=14)
mpl.rc('xtick', labelsize=12)
mpl.rc('ytick', labelsize=12)PROJECT_ROOT_DIR = "."
CHAPTER_ID = "classification"def save_fig(fig_id, tight_layout=True):path = os.path.join(PROJECT_ROOT_DIR, "images", CHAPTER_ID, fig_id + ".png")print("Saving figure", fig_id)if tight_layout:plt.tight_layout()plt.savefig(path, format='png', dpi=300)

2.从MNIST获取训练图片

# 使获取的数据按目标顺序排列好
def sort_by_target(mnist):reorder_train = np.array(sorted([(target, i) for i, target in enumerate(mnist.target[:60000])]))[:, 1]reorder_test = np.array(sorted([(target, i) for i, target in enumerate(mnist.target[60000:])]))[:, 1]mnist.data[:60000] = mnist.data[reorder_train]mnist.target[:60000] = mnist.target[reorder_train]mnist.data[60000:] = mnist.data[reorder_test + 60000]mnist.target[60000:] = mnist.target[reorder_test + 60000]

try:from sklearn.datasets import fetch_openmlmnist = fetch_openml('mnist_784', version=1, cache=True)mnist.target = mnist.target.astype(np.int8) # fetch_openml() returns targets as stringssort_by_target(mnist) # fetch_openml() returns an unsorted dataset
except ImportError:from sklearn.datasets import fetch_mldatamnist = fetch_mldata('MNIST original')mnist["data"], mnist["target"]

在这里插入图片描述

mnist.data.shape

在这里插入图片描述

X, y = mnist["data"], mnist["target"]
X.shape

在这里插入图片描述

y.shape

在这里插入图片描述

some_digit = X[36000]
some_digit_image = some_digit.reshape(28, 28)
plt.imshow(some_digit_image, cmap = mpl.cm.binary,interpolation="nearest")
plt.axis("off")save_fig("some_digit_plot")
plt.show()

在这里插入图片描述

def plot_digit(data):image = data.reshape(28, 28)plt.imshow(image, cmap = mpl.cm.binary,interpolation="nearest")plt.axis("off")def plot_digits(instances, images_per_row=10, **options):size = 28images_per_row = min(len(instances), images_per_row)images = [instance.reshape(size,size) for instance in instances]n_rows = (len(instances) - 1) // images_per_row + 1row_images = []n_empty = n_rows * images_per_row - len(instances)images.append(np.zeros((size, size * n_empty)))for row in range(n_rows):rimages = images[row * images_per_row : (row + 1) * images_per_row]row_images.append(np.concatenate(rimages, axis=1))image = np.concatenate(row_images, axis=0)plt.imshow(image, cmap = mpl.cm.binary, **options)plt.axis("off")plt.figure(figsize=(9,9))
example_images = np.r_[X[:12000:600], X[13000:30600:600], X[30600:60000:590]]
plot_digits(example_images, images_per_row=10)
save_fig("more_digits_plot")
plt.show()

在这里插入图片描述

y[36000]

在这里插入图片描述

X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:]shuffle_index = np.random.permutation(60000)
X_train, y_train = X_train[shuffle_index], y_train[shuffle_index]

3.构造二元分类器

y_train_5 = (y_train == 5)
y_test_5 = (y_test == 5)from sklearn.linear_model import SGDClassifier
sgd_clf = SGDClassifier(max_iter=5, tol=-np.infty, random_state=42)
sgd_clf.fit(X_train, y_train_5)

在这里插入图片描述

sgd_clf.predict([some_digit])

在这里插入图片描述

from sklearn.model_selection import cross_val_score
cross_val_score(sgd_clf, X_train, y_train_5, cv=3, scoring="accuracy")

在这里插入图片描述

from sklearn.model_selection import StratifiedKFold
from sklearn.base import cloneskfolds = StratifiedKFold(n_splits=3, random_state=42)for train_index, test_index in skfolds.split(X_train, y_train_5):clone_clf = clone(sgd_clf)X_train_folds = X_train[train_index]y_train_folds = (y_train_5[train_index])X_test_fold = X_train[test_index]y_test_fold = (y_train_5[test_index])clone_clf.fit(X_train_folds, y_train_folds)y_pred = clone_clf.predict(X_test_fold)n_correct = sum(y_pred == y_test_fold)print(n_correct / len(y_pred))

在这里插入图片描述

from sklearn.base import BaseEstimator
class Never5Classifier(BaseEstimator):def fit(self, X, y=None):passdef predict(self, X):return np.zeros((len(X), 1), dtype=bool)never_5_clf = Never5Classifier()
cross_val_score(never_5_clf, X_train, y_train_5, cv=3, scoring="accuracy")

在这里插入图片描述

from sklearn.model_selection import cross_val_predicty_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3)from sklearn.metrics import confusion_matrixconfusion_matrix(y_train_5, y_train_pred)

在这里插入图片描述

y_train_perfect_predictions = y_train_5
confusion_matrix(y_train_5, y_train_perfect_predictions)

在这里插入图片描述

from sklearn.metrics import precision_score, recall_scoreprecision_score(y_train_5, y_train_pred)

在这里插入图片描述

4344 / (4344 + 1307)

在这里插入图片描述

recall_score(y_train_5, y_train_pred)

在这里插入图片描述

from sklearn.metrics import f1_score
f1_score(y_train_5, y_train_pred)

在这里插入图片描述

4344 / (4344 + (1077 + 1307)/2)

在这里插入图片描述

y_scores = sgd_clf.decision_function([some_digit])
y_scores

在这里插入图片描述

threshold = 0
y_some_digit_pred = (y_scores > threshold)
y_some_digit_pred

在这里插入图片描述

threshold = 200000
y_some_digit_pred = (y_scores > threshold)
y_some_digit_pred

在这里插入图片描述

y_scores = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3,method="decision_function")
y_scores.shape

在这里插入图片描述

from sklearn.metrics import precision_recall_curveprecisions, recalls, thresholds = precision_recall_curve(y_train_5, y_scores)def plot_precision_recall_vs_threshold(precisions, recalls, thresholds):plt.plot(thresholds, precisions[:-1], "b--", label="Precision", linewidth=2)plt.plot(thresholds, recalls[:-1], "g-", label="Recall", linewidth=2)plt.xlabel("Threshold", fontsize=16)plt.legend(loc="upper left", fontsize=16)plt.ylim([0, 1])plt.figure(figsize=(8, 4))
plot_precision_recall_vs_threshold(precisions, recalls, thresholds)
plt.xlim([-700000, 700000])
save_fig("precision_recall_vs_threshold_plot")
plt.show()

在这里插入图片描述

(y_train_pred == (y_scores > 0)).all()

在这里插入图片描述

y_train_pred_90 = (y_scores > 70000)
precision_score(y_train_5, y_train_pred_90)

在这里插入图片描述

recall_score(y_train_5, y_train_pred_90)

在这里插入图片描述

def plot_precision_vs_recall(precisions, recalls):plt.plot(recalls, precisions, "b-", linewidth=2)plt.xlabel("Recall", fontsize=16)plt.ylabel("Precision", fontsize=16)plt.axis([0, 1, 0, 1])plt.figure(figsize=(8, 6))
plot_precision_vs_recall(precisions, recalls)
save_fig("precision_vs_recall_plot")
plt.show()

在这里插入图片描述

from sklearn.metrics import roc_curvefpr, tpr, thresholds = roc_curve(y_train_5, y_scores)def plot_roc_curve(fpr, tpr, label=None):plt.plot(fpr, tpr, linewidth=2, label=label)plt.plot([0, 1], [0, 1], 'k--')plt.axis([0, 1, 0, 1])plt.xlabel('False Positive Rate', fontsize=16)plt.ylabel('True Positive Rate', fontsize=16)plt.figure(figsize=(8, 6))
plot_roc_curve(fpr, tpr)
save_fig("roc_curve_plot")
plt.show()

在这里插入图片描述

from sklearn.ensemble import RandomForestClassifier
forest_clf = RandomForestClassifier(n_estimators=10, random_state=42)
y_probas_forest = cross_val_predict(forest_clf, X_train, y_train_5, 		cv=3,method="predict_proba")y_scores_forest = y_probas_forest[:, 1] # score = proba of positive class
fpr_forest, tpr_forest, thresholds_forest = roc_curve(y_train_5,y_scores_forest)plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, "b:", linewidth=2, label="SGD")
plot_roc_curve(fpr_forest, tpr_forest, "Random Forest")
plt.legend(loc="lower right", fontsize=16)
save_fig("roc_curve_comparison_plot")
plt.show()

在这里插入图片描述

roc_auc_score(y_train_5, y_scores_forest)

在这里插入图片描述

y_train_pred_forest = cross_val_predict(forest_clf, X_train, y_train_5, cv=3)
precision_score(y_train_5, y_train_pred_forest)

在这里插入图片描述

recall_score(y_train_5, y_train_pred_forest)

在这里插入图片描述

y_train_pred_forest = cross_val_predict(forest_clf, X_train, y_train_5, cv=3)
precision_score(y_train_5, y_train_pred_forest)

在这里插入图片描述

recall_score(y_train_5, y_train_pred_forest)

在这里插入图片描述

4. 构造多元分类器

sgd_clf.fit(X_train, y_train)
sgd_clf.predict([some_digit])

在这里插入图片描述

some_digit_scores = sgd_clf.decision_function([some_digit])
some_digit_scores

在这里插入图片描述

np.argmax(some_digit_scores)

在这里插入图片描述

sgd_clf.classes_

在这里插入图片描述

sgd_clf.classes_[5]

在这里插入图片描述

from sklearn.multiclass import OneVsOneClassifier
ovo_clf = OneVsOneClassifier(SGDClassifier(max_iter=5, tol=-np.infty, random_state=42))
ovo_clf.fit(X_train, y_train)
ovo_clf.predict([some_digit])

在这里插入图片描述

len(ovo_clf.estimators_)

在这里插入图片描述

forest_clf.fit(X_train, y_train)
forest_clf.predict([some_digit])

在这里插入图片描述

forest_clf.predict_proba([some_digit])

在这里插入图片描述

cross_val_score(sgd_clf, X_train, y_train, cv=3, scoring="accuracy")

在这里插入图片描述

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train.astype(np.float64))
cross_val_score(sgd_clf, X_train_scaled, y_train, cv=3, scoring="accuracy")

在这里插入图片描述

y_train_pred = cross_val_predict(sgd_clf, X_train_scaled, y_train, cv=3)
conf_mx = confusion_matrix(y_train, y_train_pred)
conf_mx

在这里插入图片描述

def plot_confusion_matrix(matrix):fig = plt.figure(figsize=(8,8))ax = fig.add_subplot(111)cax = ax.matshow(matrix)fig.colorbar(cax)plt.matshow(conf_mx, cmap=plt.cm.gray)
save_fig("confusion_matrix_plot", tight_layout=False)
plt.show()

在这里插入图片描述

row_sums = conf_mx.sum(axis=1, keepdims=True)
norm_conf_mx = conf_mx / row_sumsnp.fill_diagonal(norm_conf_mx, 0)
plt.matshow(norm_conf_mx, cmap=plt.cm.gray)
save_fig("confusion_matrix_errors_plot", tight_layout=False)
plt.show()

在这里插入图片描述

cl_a, cl_b = 3, 5
X_aa = X_train[(y_train == cl_a) & (y_train_pred == cl_a)]
X_ab = X_train[(y_train == cl_a) & (y_train_pred == cl_b)]
X_ba = X_train[(y_train == cl_b) & (y_train_pred == cl_a)]
X_bb = X_train[(y_train == cl_b) & (y_train_pred == cl_b)]plt.figure(figsize=(8,8))
plt.subplot(221); plot_digits(X_aa[:25], images_per_row=5)
plt.subplot(222); plot_digits(X_ab[:25], images_per_row=5)
plt.subplot(223); plot_digits(X_ba[:25], images_per_row=5)
plt.subplot(224); plot_digits(X_bb[:25], images_per_row=5)
save_fig("error_analysis_digits_plot")
plt.show()

在这里插入图片描述

5.构造多标签分类器

from sklearn.neighbors import KNeighborsClassifiery_train_large = (y_train >= 7)
y_train_odd = (y_train % 2 == 1)
y_multilabel = np.c_[y_train_large, y_train_odd]knn_clf = KNeighborsClassifier()
knn_clf.fit(X_train, y_multilabel)

在这里插入图片描述

knn_clf.predict([some_digit])

在这里插入图片描述

y_train_knn_pred = cross_val_predict(knn_clf, X_train, y_multilabel, cv=3, n_jobs=-1)
f1_score(y_multilabel, y_train_knn_pred, average="macro")

在这里插入图片描述

6.构造多输出分类器

noise = np.random.randint(0, 100, (len(X_train), 784))
X_train_mod = X_train + noise
noise = np.random.randint(0, 100, (len(X_test), 784))
X_test_mod = X_test + noise
y_train_mod = X_train
y_test_mod = X_testsome_index = 5500
plt.subplot(121); plot_digit(X_test_mod[some_index])
plt.subplot(122); plot_digit(y_test_mod[some_index])
save_fig("noisy_digit_example_plot")
plt.show()

在这里插入图片描述

knn_clf.fit(X_train_mod, y_train_mod)
clean_digit = knn_clf.predict([X_test_mod[some_index]])
plot_digit(clean_digit)
save_fig("cleaned_digit_example_plot")

在这里插入图片描述

7. 优化分类器，提高辨别精度

from sklearn.model_selection import GridSearchCV
from sklearn.neighbors import KNeighborsClassifierparam_grid = [{'weights': ["uniform", "distance"], 'n_neighbors': [3, 4, 5]}]
knn_clf = KNeighborsClassifier()
grid_search = GridSearchCV(knn_clf, param_grid, cv=5, verbose=3, n_jobs=-1)
grid_search.fit(X_train, y_train)

在这里插入图片描述

grid_search.best_params_

在这里插入图片描述

grid_search.best_score_

在这里插入图片描述

from sklearn.metrics import accuracy_scorey_pred = grid_search.predict(X_test)
accuracy_score(y_test, y_pred)

在这里插入图片描述

8. 增强数据，提高辨别精度

from scipy.ndimage.interpolation import shiftdef shift_image(image, dx, dy):image = image.reshape((28, 28))shifted_image = shift(image, [dy, dx], cval=0, mode="constant")return shifted_image.reshape([-1])	image = X_train[1000]
shifted_image_down = shift_image(image, 0, 5)
shifted_image_left = shift_image(image, -5, 0)plt.figure(figsize=(12,3))
plt.subplot(131)
plt.title("Original", fontsize=14)
plt.imshow(image.reshape(28, 28), interpolation="nearest", cmap="Greys")
plt.subplot(132)
plt.title("Shifted down", fontsize=14)
plt.imshow(shifted_image_down.reshape(28, 28), interpolation="nearest", cmap="Greys")
plt.subplot(133)
plt.title("Shifted left", fontsize=14)
plt.imshow(shifted_image_left.reshape(28, 28), interpolation="nearest", cmap="Greys")
plt.show()

在这里插入图片描述

X_train_augmented = [image for image in X_train]
y_train_augmented = [label for label in y_train]for dx, dy in ((1, 0), (-1, 0), (0, 1), (0, -1)):for image, label in zip(X_train, y_train):X_train_augmented.append(shift_image(image, dx, dy))y_train_augmented.append(label)X_train_augmented = np.array(X_train_augmented)
y_train_augmented = np.array(y_train_augmented)shuffle_idx = np.random.permutation(len(X_train_augmented))
X_train_augmented = X_train_augmented[shuffle_idx]
y_train_augmented = y_train_augmented[shuffle_idx]knn_clf = KNeighborsClassifier(**grid_search.best_params_)
knn_clf.fit(X_train_augmented, y_train_augmented)

在这里插入图片描述

y_pred = knn_clf.predict(X_test)
accuracy_score(y_test, y_pred)

在这里插入图片描述

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

PAT乙级1021个位数统计 15(分)
题目给定一个kkk位整数N=dk?110k?1+?+d1101+d0N = d_{k-1}10^{k-1} + \cdots + d_1 10^1 + d_0N=d?k?1??10?k?1??+?+d?1??10?1??+d?0??(0≤di≤90\le d_i \le 90≤d?i??≤9,i=0,?,k?1i=0,\cdots ,k-1i=0,?,k?1,dk?1>0d_{k-1}>0d?k?1??&…...
2024/4/16 22:08:46
通过Dockerfile构建Docker镜像
Dockerfile是Docker用来构建镜像的文本文件，包含自定义的指令和格式。可以通过docker build命令利用Dockerfile构建镜像。Dockerfile提供了一系列统一的资源配置语法指令，开发人员可以根据需求定制Dockerfile，然后使用这份Dockerfile文件进行自动化镜像构建，简化了构建镜像…...
2024/5/10 10:32:42
线性索引查找
1. 稠密索引: 稠密索引是指将数据suoyin集中的每个记录对应一个索引项。特点：稠密索引适合数据量小，关键字码有序表的查找。 2. 分块索引: 特点:把数据分成若干块,块间有序,块内无序；块间有序：可以利用折半查找，插值查找等方法；块内无序：只能顺序查找。复杂度分析：…...
2024/4/15 7:28:55
Window串口编程
利用Windows应用程序编程接口为程序提供串口通信功能1.串行编程的数据结构:DCB(Device Control Block)、CIMMTIMEOUTSDCB:设备控制块通过该数据结构，完成对串口端的初始化工作该数据结构包含了传输波特率、数据位数、奇偶检验类型和停止位数等参数在查询或者配置串行端口…...
2024/5/10 11:29:19
Python_求n阶乘（n很大）_路漫漫远俢兮
脚本作用：计算N的阶乘，但是N很大 #数据计算 N=40000 res=[None]*N#存储结果 def countFactorial():i,j,n=None,None,Noneprint("请输入要计算的阶乘数字:")n=input()#输入数据while n!="-1":n=int(n)if(n==0 or n==1):#0 1 的阶乘都是1print(1)print(&qu…...
2024/4/16 22:09:52
SystemVerilog绿皮书疑难点解析
8.7 回调(callback) 当你的testbench写好后，如果想在一个task里面添点东西怎么办? 前面添点？后面添点? 你可以将该task定义为一个虚方法，然后在可能的扩展类中覆盖其行为。这样做的缺点是如果你想增加新的行为，可能需要在扩展类的新方法中重复原方法的所有代码。而且一旦…...
2024/4/17 22:46:43
C运算符!与||的优先级问题&&《The C Programming Language》推荐
今天写Dijkstra算法时发现有段代码有问题：for(int i=0;i<n;i++){int t=-1;for(int j=1;j<=n;j++){if(!st[j]&&(!t||dist[j]<dist[t])) //!!t=j;}st[t]=true;for(int j=1;j<=n;j++){dist[j]=min(dist[j],dist[t]+g[t][j]);} }在第四行想着写!t来判断t仍为…...
2024/4/24 6:36:33
Hash表理解
Hash表： 1、hash表就是通过hash函数将需要保存在hash表中的key值翻译成hash bucket(也就是hash数组，是一个按照序列的数组）。然后查询时候也是通过hash函数计算出bucket的index值，也就是计算出可以在hash桶的第几个位置，这样就能通过访问数组的方式直接访问到需要值，buck…...
2024/4/24 6:36:30
如何产生一个高频振荡电路？
信号源：信号8GHz-12GHz之间，可调可调：就不能用简单的晶振电路实现信号源:稳定干净：杂波/干扰较小产生频率震荡信号：常用压控振荡电路。用可变电压，产生可控的变化的频率如果两个正弦波，如果频率相同，则相位差恒定。如果频率不相等，则相位差会一直变化。鉴相检测电路，…...
2024/5/10 6:39:34
Android编程风格以及命名规范
编程风格代码中尽量不要出现中文。注释和除外。代码中通过strings.xml引用来显示中文控件声明放在activity级别，这样在activity其他地方可以使用不要重用父类的handler，对应一个类的handler也不应该让其子类用到，否则会导致message.what冲突在一个View.OnClickListener中…...
2024/4/24 6:36:29
docker安装redis，并开启外网访问
1. redis.confbind 0.0.0.0 # 绑定到0.0.0.0，任何ip都可以访问 daemonize NO protected-mode no # 关闭protected-mode模式，此时外部网络可以直接访问 requirepass 1234562. 运行docker run -p 6379:6379 --name redis-server -v /opt/redis/redis.conf:/etc/redis/redis.c…...
2024/4/24 6:36:26
Netty学习笔记二十二、Netty快速入门实例-Http服务
一、讲解1、Netty服务在6669端口监听，浏览器发出请求"http://localhost://6669"2、服务器可以回复消息，并对特定的资源进行过滤3、目的：Netty可以做http服务开发，并且理解Handler实例和客户端及其请求的关系。二、代码package com.hao.netty.http;import io.nett…...
2024/4/24 6:36:28
服务器是由哪些硬件构成的？带你一探究竟！
目录电源CPU处理器内存（RAM）硬盘（磁盘）Raid卡（阵列卡）远程管理卡主板服务器其实就是一台配置更高的计算机，它的内部结构也和普通的计算机大同小异。可以看到，服务器是由电源、CPU、内存、硬盘、风扇、光驱等几部分构成。今天，将挑选一些重要的硬件，给大家做详细介绍。…...
2024/5/10 4:42:22
面试题总结
以下为自己亲历面试题，记下来以便自己复习；1、servlet生命周期启动→初始化（init()）→请求处理（doGet()、doPost()）→服务终止（destory()）2、spring特性ioc：将初始化对象的创建交由框架处理；aop实现方法：静态代理、动态代理、cglib代理、aspectj3、集合collection、…...
2024/4/24 6:36:23
MD5加密算法入门及改进
MD5消息摘要算法，属Hash算法一类。MD5算法对输入任意长度的信息变换产生一个128位的消息摘要。原理 1、数据填充对信息进行数据填充，使信息的长度对512取模得448，设信息长度为X，即满足X mod 512=448。根据此公式得出需要填充的数据长度。填充方法是在信息后面填充第一位为…...
2024/5/10 6:36:02
阿里实习面经
拿到阿里实习offer，经历了5次面试，其中4轮技术面，1轮HR面试。在这里分享一下自己的面试经验和学习总结。希望能够帮助更多的小伙伴。我本科毕业于中南大学信管专业，真正开始学习Java是在大三下学期，研究生就读北航的移动云计算专业。刚开始也是小白，也是一步步成成起来…...
2024/4/24 6:36:25
JVM——类加载器总结
JVM类加载器类加载器是什么类加载阶段中的 “通过一个类的全限定名来获取描述此类的二进制字节流” 这个动作在JVM外部实现，有利于让应用程序自己决定如何去获取所需要的类。实现这个动作的代码模块就称为“类加载器”。类加载器的作用 1.实现类的加载过程中加载这个动作…...
2024/4/24 6:36:20
socket.timeout: The read operation timed out
利用pip安装numpy时遇到问题：1.socket.timeout: The read operation timed out2.pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host=files.pythonhosted.org, port=443): Read timed out详情如下图所示：原因：主要是由于网速不稳定，下载过慢，超出…...
2024/4/24 6:36:19
光纤宽带接入工程设计降本增效方案集（3）
本方案集从光纤宽带接入工程的设计方案制定、施工方法及工艺要求、器材选型3个方面列举了在工程设计阶段可实施的降本增效方案共15例，供光纤宽带接入工程设计参考。本文为第3篇：器材选型案例10：农村地区使用轻型自承式光缆（1）现状及问题由于农村地区CMCC缺少既有杆路资源，…...
2024/4/16 22:09:52
WPF学习笔记——15）文本控件
试试...
2024/4/16 22:10:10

数字识别 | 实战（二）

1. 设定

2.从MNIST获取训练图片

3.构造二元分类器

4. 构造多元分类器

5.构造多标签分类器

6.构造多输出分类器

7. 优化分类器，提高辨别精度

8. 增强数据，提高辨别精度

相关文章

最新文章