神经网络使用的两个数据集：一个是训练集（60000条），一个是测试测试集（10000条），下载后直接放在程序目录下就可以了

mnist手写字体训练集6000条，mnist_train.csv

mnist手写字体测试集10000条，mnist_test.csv

神经网络文件（nn3l.py）

"""
@文件：nn3l.py
@功能：这是一个3层的神经网络
@作者：Kwina
@日期：2020年7月14日
@说明：传入数据和输出数据都为列表形式
"""
import numpy as np
import scipy.specialclass NeuralNetwork:"""神经网络"""def __init__(self, inputs, hiddens, outputs, learn_rate):self.inodes = inputs  # 输入层节点数self.hnodes = hiddens  # 隐藏层节点数self.onodes = outputs  # 输出层节点数self.lr = learn_rate  # 学习效率self.epoch = 0  # 迭代次数self.file_prefix = None  # 上次保存的权重文件的前缀self.wih = None  # 输入层至隐藏层的权重矩阵self.who = None  # 隐藏层至输出层的权重矩阵def set_weight(self):"""设置权重"""# 初始权重矩阵if self.epoch == 0:self.wih = np.random.normal(0.0, pow(self.hnodes, -0.5), (self.hnodes, self.inodes))self.who = np.random.normal(0.0, pow(self.onodes, -0.5), (self.onodes, self.hnodes))else:self.wih = NeuralNetwork.txt2array2d(self.file_prefix + '_wih.txt')self.who = NeuralNetwork.txt2array2d(self.file_prefix + '_who.txt')def train(self, inputs_list, targets_list):"""训练网络:param inputs_list:训练源数据列表:param targets_list:正确结果列表"""inputs = np.array(inputs_list, ndmin=2).Ttargets = np.array(targets_list, ndmin=2).T# 隐藏层计算hidden_inputs = np.dot(self.wih, inputs)hidden_outputs = NeuralNetwork.sigmoid(hidden_inputs)# 输出层计算final_inputs = np.dot(self.who, hidden_outputs)final_outputs = NeuralNetwork.sigmoid(final_inputs)# 误差计算output_errors = targets - final_outputshidden_errors = np.dot(self.who.T, output_errors)# 反向传播更新权值self.wih += self.lr * np.dot((hidden_errors * hidden_outputs * (1.0 - hidden_outputs)), inputs.T)self.who += self.lr * np.dot((output_errors * final_outputs * (1.0 - final_outputs)), hidden_outputs.T)def query(self, inputs_list):"""识别未知数据:param inputs_list: 数据应该和训练源数据长度一样:param epoch: 使用迭代多少代的数据:return: 数据列表，数字最大就是识别结果"""# 输入inputs = np.array(inputs_list, ndmin=2).T# 隐藏层计算hidden_inputs = np.dot(self.wih, inputs)hidden_outputs = NeuralNetwork.sigmoid(hidden_inputs)# 输出层计算final_inputs = np.dot(self.who, hidden_outputs)final_outputs = NeuralNetwork.sigmoid(final_inputs)# 返回final_outputs是长度为self.onodes的列表return final_outputs@staticmethoddef sigmoid(x):"""这个函数的作用就是把数据压缩到0至1之间，成S型分布的曲线:param x::return: 0-1之间的小数，不包括0和1"""return scipy.special.expit(x)@ staticmethoddef array2d2txt(array2d, filename):"""将numpy矩阵（2维数组）存入txt文件:param array2d: 2维数组（矩阵）:param filename: 保存的文件路径和名称"""txt = ''for i in range(len(array2d)):for j in range(len(array2d[i])):if j == len(array2d[i]) - 1:txt = "%s%f" % (txt, array2d[i][j])else:txt = "%s%f," % (txt, array2d[i][j])if i < len(array2d) - 1:txt = "%s\n" % txtwith open(filename, 'w') as fl:fl.write(txt)  # 写入@staticmethoddef txt2array2d(filename):"""从txt文件中读取数据，并转化成numpy矩阵（2维数组）:param filename: 文件名:return: numpy形式的2维数组（矩阵）"""result = []weight_file = open(filename, "r")weight_list = weight_file.readlines()weight_file.close()for w in weight_list:line_list = w.split(',')result.append(line_list)return np.asfarray(result)

操作文件（handwrite_number.py，整理数据，训练网络，识别数据）

"""
@文件：handwrite_number.py
@功能：利用神经网络识别手写数字
@作者：Kwina
@日期：2020年7月14日
@说明：训练数据2000条，测试数据50条。数据来源MNIST"""
import os
import nn3l  # 引入定义好的神经网络文件
import time
import numpy as np
import matplotlib.pyplot as pltprogram_name = 'handwrite_number'  # 用于保存权重文件
inputs_nodes = 784  # 输入节点，手写数字图片为28*28像素（784）每个像素对于一个节点
output_nodes = 10  # 输出数字是0-9，共10个。输出数组中，哪项值最大，对应索引就是该数字
hidden_nodes = 200  # 隐藏节点数,总性能随数字增加呈曲线上升，一般200性价比较高
learn_rate = 0.1  # 学习效率，一般在0.1-0.3之间较优
# 实例化神经网络
nn = nn3l.NeuralNetwork(inputs_nodes, hidden_nodes, output_nodes, learn_rate)# 训练网络**kwargs,epoch_start, epochs_end, hidden_nodes, learning_rate, train_file
def train_neural_network(nn, epoch_start=0, epochs_end=6, output_nodes=10, hidden_nodes=200,learning_rate=0.1, program_name='', train_file=''):"""训练神经网络，并将训练权重写入txt文件中:param nn: 神经网络实例:param epoch_start: 迭代的起始代，从1代开始:param epochs_end: 需要迭代（世代）的终止数。一般5-6代就可以了，再增加总性能升高很少（浪费时间）:param output_nodes: 输出节点数，根据任务类型而定:param hidden_nodes: 隐藏节点数，可调节,会产生不同结果:param learning_rate: 学习效率，可调节,会产生不同结果:param program_name: 程序名称，用于保存权重文件:param train_file: 训练集文件，固定格式的（这里使用的是MNIST数据）"""# 加载数据train_data_file = open(train_file, "r")train_data_list = train_data_file.readlines()train_data_file.close()print("数据读取完毕,训练数据共%d条。" % len(train_data_list))hl_name = '%s_hn%d_lr%0.1f' % (program_name, hidden_nodes, learning_rate)# 建立一个文件夹存放这些权重文件if not os.path.exists(hl_name):os.makedirs(hl_name)# 加载权重文件，如果nn.epoch==0，会初始化权重if epoch_start > 1:nn.epoch = epoch_start - 1nn.weight_name = "%s\\%s" % (hl_name, hl_name)else:epoch_start = 1nn.set_weight()  # 更新权重print("迭代任务：从%d代至%d代。" % (epoch_start, epochs_end))for e in range(epoch_start-1, epochs_end):print("正在迭代第%d代..." % (e + 1))start = time.time()  # 开始计时count = len(train_data_list)for i in range(count):# 将字符串拆分成列表all_values = train_data_list[i].split(',')# 数据的第一项作为正确结果，所以这里切掉0位# 将1-255的像素值转化为0-1的小数数字# np.asfarray，将Python的列表（list）形式转换成numpy的小数数组形式inputs = (np.asfarray(all_values[1:]) / 255 * 0.99) + 0.01# 在正确的结果数据中先填充满0.01，正确位填充为0.99targets = np.zeros(output_nodes) + 0.01targets[int(all_values[0])] = 0.99# 输入整理后的手写数字数据，和正确结果数据训练“神经网络”nn.train(inputs, targets)process_bar(i+1, count)  # 显示进度条# 计算用时end = time.time()min = int((end - start) / 60)sec = (end - start) % 60print("第%d代迭代完成。用时%d分%d秒" % (e + 1, min, sec))print("正在保存权重文件...")# 将训练的权重存放起来)ep_name = '%s_op%d_' % (hl_name, e + 1)nn3l.NeuralNetwork.array2d2txt(nn.wih, '%s\\%swih.txt' % (hl_name, ep_name))nn3l.NeuralNetwork.array2d2txt(nn.who, '%s\\%swho.txt' % (hl_name, ep_name))print("权重文件已存入txt文件。")def test_all_by_epoch(nn, epoch=6, hidden_nodes=200,learning_rate=0.1, program_name='', test_file=''):"""测试整个测试集:param nn: 神经网络:param epoch: 使用的迭代数:param hidden_nodes: 隐藏节点数，必须和相应的训练隐藏节点对应:param learning_rate: 学习效率，必须和相应的训练学习效率对应:param test_file: 测试数据集:return:"""start = time.time()  # 开始计时test_data_file = open(test_file, "r")test_data_list = test_data_file.readlines()test_data_file.close()count = len(test_data_list)print("数据读取完毕,测试数据共%d条。" % count)print("正在测试第%d代..." % epoch)# 读取权重文件hl_name = '%s_hn%d_lr%0.1f' % (program_name, hidden_nodes, learning_rate)ep_name = '%s_op%d_' % (hl_name, epoch)nn.wih = nn3l.NeuralNetwork.txt2array2d('%s\\%swih.txt' % (hl_name, ep_name))nn.who = nn3l.NeuralNetwork.txt2array2d('%s\\%swho.txt' % (hl_name, ep_name))t_num = 0for i in range(count):all_values = test_data_list[i].split(',')y = all_values[0]  # 将正确的数据放在第1项中# 将图片数据转化为数据矩阵values_array = np.asfarray(all_values[1:]) / 255 * 0.99 + 0.01# 得到识别结果（数组）result_list = nn.query(values_array)# print("神经网络输出数据:", result_list)# argmax,返回最大值的索引值y_pred = np.argmax(result_list)# print("图片中的数字是:%d(正确应该是%d)" % (int(y_pred), int(y)))# 识别正确if int(y) == int(y_pred):t_num += 1else:print("[第%d代]识别错误[编号%d]：识别结果为%d(正确应该是%d)" % (epoch, i, int(y_pred), int(y)))process_bar(i+1, count)  # 显示进度条# 计算用时end = time.time()min = int((end - start) / 60)sec = (end - start) % 60print("第%d代测试完成。用时%d分%d秒" % (epoch, min, sec))print("测试准确率为%0.2f%%:", (t_num * 100.0 / count))return t_num * 100.0 / countdef test_one_by_epoch(nn, index, epoch=6, hidden_nodes=200,learning_rate=0.1, program_name='', test_file=''):"""测试整个测试集:param nn: 神经网络:param epoch: 使用的迭代数:param hidden_nodes: 隐藏节点数，必须和相应的训练隐藏节点对应:param learning_rate: 学习效率，必须和相应的训练学习效率对应:param test_file: 测试数据集:return:"""test_data_file = open(test_file, "r")test_data_list = test_data_file.readlines()test_data_file.close()count = len(test_data_list)print("正在测试第%d代..." % epoch)# 读取权重文件hl_name = '%s_hn%d_lr%0.1f' % (program_name, hidden_nodes, learning_rate)ep_name = '%s_op%d_' % (hl_name, epoch)nn.wih = nn3l.NeuralNetwork.txt2array2d('%s\\%swih.txt' % (hl_name, ep_name))nn.who = nn3l.NeuralNetwork.txt2array2d('%s\\%swho.txt' % (hl_name, ep_name))t_num = 0for i in range(count):if i == index:all_values = test_data_list[i].split(',')y = all_values[0]  # 将正确的数据放在第1项中# 将图片数据转化为数据矩阵values_array = np.asfarray(all_values[1:]) / 255 * 0.99 + 0.01# 得到识别结果（数组）result_list = nn.query(values_array)# print("神经网络输出数据:", result_list)# argmax,返回最大值的索引值y_pred = np.argmax(result_list)print("[第%d代]图片中的数字是:%d(正确应该是%d)" % (epoch, int(y_pred), int(y)))# 窗口中显示手写数字的图片，显示会停止执行image_array = np.asfarray(all_values[1:]).reshape((28, 28))plt.imshow(image_array, cmap="Greys", interpolation='None')plt.show()def show_img(index, file=''):"""通过编号，显示数据集中的图片:param index: 图片编号:param file: 数据集文件"""test_data_file = open(file, "r")test_data_list = test_data_file.readlines()test_data_file.close()for i in range(len(test_data_list)):if index == i:all_values = test_data_list[i].split(',')# 窗口中显示手写数字的图片，显示会停止执行image_array = np.asfarray(all_values[1:]).reshape((28, 28))plt.imshow(image_array, cmap="Greys", interpolation='None')plt.show()def process_bar(now, length):"""简易进度条:param now: 当前数值:param length: 总任务"""pre = now / length * 100show_count = int(pre / 4)blank_count = 25 - show_countstr = "\r[%d/%d,%0.2f%%]<" % (now, length, pre)for i in range(show_count):str += "+"for i in range(blank_count):str += "-"str += ">"print(str, end='', flush=True)if now == length:print()if 1 == 11:# 训练网络train_neural_network(nn, epoch_start=0, epochs_end=7, output_nodes=output_nodes,hidden_nodes=hidden_nodes,  learning_rate=learn_rate,program_name=program_name, train_file='mnist_train.csv')if 2 == 22:# 测试网络 e为迭代次数epoch = 1re = test_all_by_epoch(nn, epoch=epoch,hidden_nodes=hidden_nodes,learning_rate=learn_rate,program_name=program_name,test_file='mnist_test.csv')if 3 == 33:# 识别单张图片index = 8epoch = 6test_one_by_epoch(nn, index, epoch=epoch, hidden_nodes=hidden_nodes,learning_rate=learn_rate, program_name=program_name,test_file='mnist_test.csv')if 4 == 4:# 显示单张手写数字图片index = 8show_img(index, file="mnist_test.csv")pass