大数据、AI、python、C++学习资源

链接：https://pan.baidu.com/s/1rXzERBEhVr08mEeKln8oqQ 
提取码：0t54 

链接：https://pan.baidu.com/s/1BkGfhuejd2JZznvJHaRiow 
提取码：am12 

C/C++ 笔记、Python 笔记、JavaWeb + 大数据 笔记

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

tensorflow 2.0 函数详解

Numpy 相关函数详解

pandas 相关语法详解

matplotlib 相关语法详解

PyTorch 相关函数详解

MXNet 相关函数详解

Keras深度学习实战

python 相关语法详解

高数 相关知识

卷积神经网络

人工智能中 相关的术语概念知识

tensorflow 2.0 深度学习

tensorflow 2.0 深度学习（第一部分 part1）

tensorflow 2.0 深度学习（第一部分 part2）

tensorflow 2.0 深度学习（第一部分 part3）

tensorflow 2.0 深度学习（第二部分 part1）

tensorflow 2.0 深度学习（第二部分 part2）

tensorflow 2.0 深度学习（第二部分 part3）

tensorflow 2.0 深度学习 (第三部分 卷积神经网络 part1)

tensorflow 2.0 深度学习 (第三部分 卷积神经网络 part2)

tensorflow 2.0 深度学习（第四部分 循环神经网络）

tensorflow 2.0 深度学习（第五部分 GAN生成神经网络 part1）

tensorflow 2.0 深度学习（第五部分 GAN生成神经网络 part2）

tensorflow 2.0 深度学习（第六部分 强化学习）

Python深度学习

Keras - Python深度学习（第一部分）

Keras - Python深度学习（第二部分）

PaddlePaddle深度学习实战

PaddlePaddle 深度学习实战（第一部分）

PaddlePaddle 深度学习实战（第二部分）

PaddlePaddle 深度学习实战（第三部分）

PaddlePaddle 深度学习实战（第四部分）

PaddlePaddle 深度学习实战（第五部分）

PaddlePaddle 个性化推荐系统

輕鬆學會Google TensorFlow 2.0人工智慧深度學習實作開發

tensorflow 2.0 画出model网络模型的拓扑图 

tensorflow 2.0 的回调函数callbacks（TensorBoard、ModelCheckpoint）

TensorBoard视觉化网络每层权重分布、视觉化网络层结构

MSE(均方误差)、MAE(平均绝对误差)

from_logits

CE(Cross-Entropy)、BCE(Binary Cross-Entropy 即Sigmoid+CE)、CCE(Categorical Cross-Entropy 即Softmax+CE)

对连续值/离散值进行预处理的两种方式（标准化/one-hot化）、反标准化/逆标准化、字符串预处理

损失函数loss、指标函数metrics

激活函数 Sigmoid、Tanh、ReLU、Softmax

Batch Normalization

反向传播、梯度下降、学习率、优化器optimizers（GD、SGD、Momentum、AdaGrad、Adam）

权重初始化对于激活函数的选择：随机常态分布/随机正态分布初始化(标准差为0.01或1)、Xavier(Glorot)初始化、He初始化

图像增强(IA)、数据预处理

混淆矩阵tf.math.confusion_matrix

使用预训练网络训练的两种方式：Keras Applications、TensorFlow Hub

走向TensorFlow 2.0：深度学习应用编程快速入门

Python数据处理工具之Pandas

Python图像处理工具之PIL、Pillow，从JPG文件转换为CIFAR-10文件

TensorFlow 2.0 环境搭建

TensorFlow 2.0基础知识、TensorFlow 2.0高阶API（tf.keras）

tf.keras下常用模块 activations、applications、datasets、layers、losses、optimizers、regularizers、Sequential

去均值、归一化、PCA

基于CNN的图像识别应用编程实践

RNN基于时间的反向传播算法BPTT（Back Propagation Trough Time）梯度消失与梯度爆炸

文本预处理：分词器Tokenizer、text_to_word_sequence、one-hot、hashing_trick、pad_sequences

基于Seq2Seq的中文聊天机器人编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制）

TensorFlow Serving：基于TensorFlow Serving的模型部署实践

TensorFlow 2.0 卷积神经网络实战

nltk 处理文本

注意力机制 SENet、CBAM

卷积神经网络 处理文本：word2vec、TF-IDF、TextRank、字符卷积、词卷积、卷积神经网络文本分类模型的实现(Conv1D一维卷积、Conv2D二维卷积)

反向传播、链式求导

梯度下降

最小二乘法(LS算法)：实际为L2范数的一个具体应用(计算残差平方和)

线性回归 例子

Python人脸识别：从入门到工程实践 

人脸识别入门

矩阵、向量

范数：向量的范数（0范数、L1范数、L2范数、∞范数、-∞范数、P范数）

距离度量：欧式距离、曼哈顿距离、余弦距离(余弦相似度)、汉明距离

卷积

机器学习基础：监督学习、非监督学习、强化学习

分类算法：支持向量机、核技巧(核函数)、AdaBoost算法。线性降维(特征预处理:将三维特征空间中样本点映射到二维平面)：PCA算法

图像特征：灰度直方图、LBP特征、Haar特征(即Haar-like特征，又称Viola-Jones识别器)、HOG特征(方向梯度直方图)

颜色模型：RGB、HSV、灰度图像、二值图像

信号与噪声。图像滤波(用于滤除噪声)：均值滤波、中值滤波。

图像的几何变换：平移、旋转、缩放

科学计算库Numpy

Numpy提供的 线性代数 相关的函数：点积(叉乘)、向量的范数、对矩阵求F范数/行列式/秩/迹/逆矩阵/伪逆矩阵、哈达马乘积(元素乘)

矩阵的高级函数：基于SVD算法(即奇异值分解法)的矩阵分解、通过SVD算法(即奇异值分解法)/特征值分解法来实现PCA算法、随机数矩阵

OpenCV：颜色变换(灰度化、负片转换、亮度/对比度调节)、几何变换(裁剪、尺寸缩放(默认使用线性插值)、旋转)、图像噪声处理、滤波(二维卷积滤波、中值滤波、高斯滤波、双边滤波)

Keras深度学习：Keras、TensorFlow安装、ubuntu16上安装英伟达驱动等

Keras神经网络堆叠的两种方法：线性模型、函数式API

激活函数：Sigmoid、Softmax、ReLU

神经网络层：全连接层、二维卷积层、池化层、BN层、dropout层、flatten层

优化器：SGD优化器(随机梯度下降)、Adadelta优化器(自适应调节学习率)。反向传播：梯度下降算法(BP算法)。

损失函数(代价函数)：均方误差MSE、均方根误差RMSE、平均绝对误差MAE、交叉熵损失函数

模型评估方法：交叉验证。分类器性能评估：准确率accuracy、精确率precision(即查准率)、召回率recall(即查全率)、F1值、ROC曲线(受试者工作特征曲线感受性曲线)

数据增强：ImageDataGenerator类实现

Keras的工程实践：训练时的回调函数(EarlyStopping、记录训练日志、模型持久化ModelCheckpoint、降低学习率)、获取某隐藏层输出(提取某隐藏层特征向量)

人脸识别方法 - 特征脸法：对PCA算法的应用

OpenCV 人脸识别方法：特征脸法(应用PCA算法)、费舍尔脸法FisherFace(应用LDA算法)、LBPH方法(应用LBP算法)

Dlib的人脸检测方法(基于图像的Hog特征，结合支持向量机算法实现人脸检测)

基于深度学习的图片特征提取：AlexNet、VGGNet、GoogLeNet、ResNet(残差单元引入shortcut connections实现恒等映射)

使用OpenCV的人脸检测：Haar级联分类器、OpenCV的SSD人脸检测器、使用Dlib的人脸检测、基于Hog-SVM的人脸检测、基于最大边界的对象检测器

人脸图片数据集：Olivetti Faces、LFW、YouTube Faces、IMDB WIKI、FDDB

基于深度学习的目标检测/人脸检测/人脸识别：MTCNN、基于度量学习的方法，基于边界分类的方法

基于深度学习的人脸识别系统：卷积神经网络实现(VIPLFaceNet、VGGNet、Xception、ResNet50、ResNet18)、AM-Softmax损失

人脸识别工程化：把人脸识别算法封装为云服务。服务API设计：人脸检测、人脸对比、人脸图片存储、人脸图片检索。

window安装dlib、face_recognition

OpenCV 4 计算机视觉项目实战

安装 Visual Studio 2019、Opencv 4.2.0，同时VS配置Opencv

opencv实时视频中检测面部部位并覆盖面具：Haar级联、积分图像

使用OpenCV进行深度学习：YOLO、SSD

Python深度学习实战-基于TensorFlow和Keras的聊天机器人以及人脸、物体和语音识别 

人脸检测、人脸跟踪、人脸识别、OpenCV(特征脸、LBPH、费歇脸)

OpenCV轻松入门：面向python 

OpenCV中提供的训练好的分类器实现人脸检测：级联分类器(Haar特征、Hog特征、LBP算法)。OpenCV中提供的人脸识别方法：LBPH、Eigenfaces、Fisherfaces

Python深度学习：基于PyTorch

PyTorch安装

人脸检测、人脸定位、人脸对齐、MTCNN、人脸识别(衡量人脸的相似或不同：softmax、三元组损失Triplet Loss、中心损失Center Loss、ArcFace)

深度学习：核心技术、工具与案例解析

人脸检测、人脸对齐、人脸识别、haar分类器、MTCNN(PNet、RNet、ONet)

深度学习之图像识别：核心技术与案例实战

V-J人脸检测算法：Haar特征与积分图像、级连分类器

神经网络与深度学习

常用数学符号表

人工智能、机器学习、深度学习、端到端学习、神经网络

机器学习的三个基本要素

Encoder编码器-Decoder解码器框架 + Attention注意力机制

Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1

Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2

Pytorch：解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务

BahdanauAttention注意力机制、LuongAttention注意力机制

BahdanauAttention注意力机制：基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构

图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制

注意力机制、bmm运算

注意力机制 SENet、CBAM

机器翻译 MXNet（使用含注意力机制的编码器—解码器，即 Encoder编码器-Decoder解码器框架 + Attention注意力机制）

基于Seq2Seq的中文聊天机器人编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制）

基于Transformer的文本情感分析编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码）

注意：这一文章“基于Transformer的文本情感分析编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码）”该文章实现的Transformer的Model类型模型，实际是改造过的特别版的Transformer，因为Transformer的Model类型模型中只实现了Encoder编码器，而没有对应实现的Decoder解码器，并且因为当前Transformer的Model类型模型处理的是分类任务，所以我们此处只用了Encoder编码器来提取特征，最后通过全连接层网络来拟合分类。

安装

安装双系统：win10安装Ubuntu 18.04.4、ubuntu安装NVIDIA显卡驱动

ubuntu安装NVIDIA显卡驱动

Ubuntu 安装 CUDA、cuDNN、anaconda、tensorflow、pytorch、JDK1.8

TensorFlow2、CUDA10、cuDNN7.6.5

Anaconda3 python 3.7、TensorFlow2、CUDA10、cuDNN7.6.5

win10 安装 子系统ubuntu18.04

Anaconda 创建虚拟环境、删除/查看虚拟环境

ubuntu安装anaconda python3.7版本

TensorFlow 2.0 环境搭建

window下安装 Keras、TensorFlow（先安装CUDA、cuDNN，再安装Keras、TensorFlow）

window下安装MXNet

MXNet安装

window 安装 PyTorch

PyTorch安装

百度飞浆paddlepaddle下载安装

强化学习平台安装 Mujoco、mujoco-py、gym、baseline

linux Centos 安装 Tensorflow GPU版本 安装教程

pycocotools 安装

whl、tar.bz2 安装方式

ubuntu 18 安装 pychar

使用 Keras 定义简单神经网络来识别 MNIST 手写数字的网络

数据结构与算法(java/python/C实现)：时间复杂度、冒泡排序、选择排序、插入排序、希尔排序、快速排序、归并排序、二叉树、队列、链表、栈

机器翻译 MXNet（使用含注意力机制的编码器—解码器）

10分钟快速入门 PyTorch – RNN

spark-scala调用tensorflow2.0训练好的模型

Numpy

Matplotlib

人工智能概述、人工智能发展历程、人工智能主要分支、机器学习工作流程、完整机器学习项目的流程、机器学习算法分类、独立同分布、模型评估、深度学习简介

Azure机器学习实验

Pandas 读写excel、读写数据库MySQL

Pandas

95%置信区间

seaborn

KNN：K-近邻算法

特征工程-特征预处理：归一化、标准化

距离度量：欧式距离/曼哈顿距离/切比雪夫距离/闵可夫斯基距离/标准化欧氏距离/余弦距离/汉明距离/杰卡德距离/马氏距离

数学：求导/常见函数的导数/矩阵(向量)求导

数据分割：留出法train_test_split、留一法LeaveOneOut、GridSearchCV(交叉验证法+网格搜索)、自助法

最小二乘法作为损失函数然后与均方误差(MSE)之间的区别

正规方程

梯度下降：全梯度下降算法(FG)、随机梯度下降算法(SG)、小批量梯度下降算法(mini-batch)、随机平均梯度下降算法(SAG)。梯度下降法算法比较和进一步优化。

对称矩阵、方阵、逆矩阵、协方差矩阵

正则化线性模型：岭回归Ridge Regression(即线性回归的改进)、lasso回归(Lasso Regression)、弹性网络(Elastic Net)、Early Stopping

多项式回归

维灾难、欠拟合、过拟合、L1正则化、L2正则化

L1正则化、L2正则化、向量与矩阵的范数

分类中解决类别不平衡问题：imbalanced-learn、过采样、欠采样

无偏估计

线性回归

分类评估方法：精确率与召回率。ROC曲线与AUC指标、ROC曲线图绘制。

逻辑回归

特征工程-特征提取：字典特征提取、文本特征提取、jieba分词处理、Tf-idf文本特征提取

决策树算法(一)

决策树算法(二)

决策树算法(三)

决策树算法(四)

集成学习：Bagging、随机森林、Boosting、GBDT

聚类算法

朴素贝叶斯

SVM支持向量机

EM算法

Huber Loss

HMM模型：马尔可夫链、隐马尔可夫模型

拉格朗日乘子法

极大似然函数取对数的原因

集成学习：XGBoost

集成学习：lightGBM（一）

集成学习：lightGBM（二）

Sklearn：天池新人实战赛o2o优惠券使用预测 part1

Sklearn：天池新人实战赛o2o优惠券使用预测 part2

Sklearn：天池新人实战赛o2o优惠券使用预测 part3

Sklearn：房租租⾦模型预测 版本一

Sklearn：房租租⾦模型预测 版本二 

模型融合stacking

CNN：RCNN、SPPNet、Fast RCNN、Faster RCNN、YOLO V1 V2 V3、SSD、FCN、SegNet、U-Net、DeepLab V1 V2 V3、Mask RCNN

计算机视觉面试题

计算机视觉CV：图像处理面试题

计算机视觉

最近邻分类器、L1与L2距离

人工神经网络(ANN/NN)、感知机(PLA)

损失函数(交叉熵损失cross-entropy、对数似然损失、多分类SVM损失(合页损失hinge loss))、Softmax分类器和交叉熵损失cross-entropy

前向传播、反向传播(后向传播)、梯度下降、导数、链式法则

浅层神经网络/深层神经网络的前向传播与反向传播计算过程、非线性的激活函数(Sigmoid、Tanh、Relu、Leaky ReLU)、参数与超参数

局部最优、梯度消失、鞍点、海森矩阵(Hessian Matric)、批梯度下降算法(btach批梯度下降法BGD、小批量梯度下降法Mini-Batch GD、随机梯度下降法SGD)

动量梯度下降(Momentum、指数加权平均)、逐参数适应学习率方法(Adagrad、RMSprop、Adam)、学习率退火、归一化/标准化

偏差与方差、L1正则化、L2正则化、dropout正则化、神经网络调优、批标准化Batch Normalization(BN层)、Early Stopping、数据增强

卷积神经网络CNN、感受野、边缘检测、卷积层(零填充padding、步长、多通道卷积、多卷积核)、池化层Pooling、全连接层

LeNet-5、AlexNet、NIN、VGG(VGG16、VGG19)、GoogLeNet(Inception v1 v2 v3 v4)、Xception、ResNet、DenseNet

深度学习框架 TensorFlow：张量、自动求导机制、tf.keras模块(Model、layers、losses、optimizer、metrics)、多层感知机(即多层全连接神经网络 MLP)

Keras 实现卷积神经网络识别手写数字、迁移学习以及tf.keras.applications使用

Keras的Sequential/Functional API两种方式构建模型、保存模型/权重和恢复模型/权重、自定义 层Layer/损失函数Loss/评估指标Metric

callbacks回调函数(Checkpoint、TensorBoard)、tf.data、ImageDataGenerator

Tensorflow执行模式：Eager Execution动态图模式、Graph Execution图模式、@tf.function实现Graph Execution图模式、tf.Session

TensorFlow分布式训练：单机多卡训练MirroredStrategy、多机训练MultiWorkerMirroredStrategy

垃圾分类、EfficientNet模型、数据增强(ImageDataGenerator)、混合训练Mixup、Random Erasing随机擦除、标签平滑正则化、tf.keras.Sequence

垃圾分类、EfficientNet模型B0~B7、Rectified Adam(RAdam)、Warmup、带有Warmup的余弦退火学习率衰减

tf.saved_model.save模型导出、TensorFlow Serving模型部署、TensorBoard中的HParams 超参数调优

目标检测

目标检测：R-CNN

目标检测：SPPNet

目标检测：Fast R-CNN

目标检测：Faster R-CNN、Faster RCNN接口

目标检测：YOLO V1、YOLO V2、YOLO V3 算法

目标检测：SSD 算法

KITTI自动驾驶数据集的训练和检测过程(人、车检测案例)、KITTI数据集的TFRecord格式存储、YOLO V3/Yolo V3 Tiny 迁移学习

目标分割

目标分割：FCN全卷积网络、上采样upsample、反卷积/转置卷积Conv2DTranspose、跳跃连接skip layers实现融合预测fusion prediction

目标分割：SegNet、U-Net

目标分割：DeepLab V1、DeepLab V2、DeepLab V3、DeepLab V3+、ASPP/ASPP+、Encoder-Decoder、CRF

计算IoU：计算交并比

目标分割：Mask RCNN

目标分割：Mask RCNN 气球分割案例 part1

目标分割：Mask RCNN 气球分割案例 part2

目标追踪：FCNT、GOTURN、SiamFC

OpenCV简介

OpenCV：图像读取/保存、绘制直线/圆形/矩形、获取并修改图像中的像素点、图像通道的拆分与合并

OpenCV 算数操作：图像的加法、图像的混合

OpenCV 图像处理：几何变换、图像缩放、图像平移、图像旋转、仿射变换、透射变换、图像金字塔

OpenCV 图像处理：形态学操作、连通性、腐蚀和膨胀、开运算/闭运算、礼帽和黑帽

OpenCV 图像平滑：椒盐噪声、高斯噪声、平均滤波、高斯滤波、中值滤波

OpenCV：模版匹配、霍夫变换、霍夫线检测、霍夫圆检测

OPenCV：傅里叶变换、时域和频域、频谱和相位谱、傅里叶级数、离散傅里叶变换(DFT)、频域滤波、高通和低通滤波器、带通和带阻滤波器

OpenCV：轮廓检测、查找轮廓、绘制轮廓、凸包、图像的矩特征

OpenCV：图像分割、阈值分割、全阈值分割、自适应阈值分割、Otsu 阈值(大津法)、分水岭算法、GrabCut算法

OpenCV：直方图、灰度直方图、掩膜、直方图均衡化

OpenCV：边缘检测、Sobel检测算子、Laplacian算子、Canny边缘检测

OpenCV 图像特征提取：角点特征、Harris和Shi-Tomas算法、SIFT/SURF算法、Fast和ORB算法

OpenCV：LBP和HOG特征算子

OpenCV：视频读写、从文件中读取视频并播放、保存视频

OpenCV：视频追踪、meanshift算法、Camshift算法

OpenCV：人脸检测、Haar特征分类器、OpenCV中自带已训练好的检测器

numba：编译Python数组和数值计算函数的编译器

imutils

OpenCV中DNN模块、DNN模块的常用API

自动驾驶：车道线检测、车速检测、实时通行跟踪、基于视频的车辆跟踪及流量统计

车流量检测实现：多目标追踪、卡尔曼滤波器、匈牙利算法、SORT/DeepSORT、yoloV3、虚拟线圈法、交并比IOU计算

多目标追踪：DBT、DFT、基于Kalman和KM算法的后端优化算法、SORT/DeepSORT、基于多线程的单目标跟踪的多目标跟踪算法KCF

计算交并比IOU、候选框不同表示方式之间的转换

卡尔曼滤波器

卡尔曼滤波器实践

目标估计模型-卡尔曼滤波

匈牙利算法

数据关联：利用匈牙利算法对目标框和检测框进行关联

SORT、DeepSORT

多目标追踪

yoloV3模型

基于yoloV3的目标检测

叉乘：基于虚拟线圈法的车流量统计

视频中的车流量统计

车道线检测

相机校正、张氏标定法、极大似然估计/极大似然参数估计、牛顿法、高斯牛顿法、LM算法、sin/cos/tan/cot

相机校正和图像校正：图像去畸变

车道线提取：Sobel边缘提取算法

透视变换

车道线定位及拟合：直方图确定车道线位置

车道曲率和中心点偏离距离计算

在视频中检测车道线

单目标跟踪SiamMask：特定目标车辆追踪 part1

单目标跟踪SiamMask：特定目标车辆追踪 part2

单目标跟踪 Siamese系列网络：SiamFC、SiamRPN、one-shot跟踪、one-shotting单样本学习、DaSiamRPN、SiamRPN++、SiamMask

单目标跟踪：跟踪效果

单目标跟踪：数据集处理

单目标跟踪：模型搭建

单目标跟踪：模型训练

单目标跟踪：模型测试

深度学习的介绍

神经网络的介绍

PyTorch 安装 GPU版本(CUDA/cuDNN)

Pytorch 张量

Pytorch 自动求导、梯度下降和反向传播

Pytorch 线性回归

Pytorch 基础模型：nn.Module、nn.Sequential、优化器类、常见的损失函数

优化算法：梯度下降算法BGD、随机梯度下降法SGD、小批量梯度下降MBGD、动量法、AdaGrad、RMSProp。避免过拟合/加速训练：Dropout、Batch Normalization

Pytorch 数据加载：Dataset、DataLoader、自带数据集(MNIST数据集)

Pytorch 实现手写数字识别

Pytorch：jieba分词、hanlp分词、词性标注、命名实体识别、one-hot、Word2vec(CBOW、skipgram)、Word Embedding词嵌入、fasttext

Pytorch 文本数据分析方法(标签数量分布、句子长度分布、词频统计、关键词词云)、文本特征处理(n-gram特征、文本长度规范)、文本数据增强(回译数据增强法)

Pytorch：使用 Embedding 嵌入层 进行 新闻主题分类任务

Pytorch：RNN、LSTM、GRU、Bi-GRU、Bi-LSTM、梯度消失、梯度爆炸

注意力机制、bmm运算

Pytorch：嵌入层Embedding、EmbeddingBag

Pytorch：pytorch中的多种训练模型写法

Pytorch：RNN、LSTM、GRU

Pytorch：BatchNorm1d、BatchNorm2d、BatchNorm3d

Pytorch：模型保存与加载方式

Pytorch：RNN、LSTM、GRU 构建人名分类器（one-hot版本、Embedding嵌入层版本）

Pytorch：解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务

Embedding词嵌入层的原理

Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1

Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2

Pytorch：使用Transformer构建语言模型

Pytorch：transpose、view、t()、contiguous()

Pytorch：model.train、model.eval、with torch.no_grad

fasttext：文本分类、训练词向量、词向量迁移

torch.hub.load自动下载预训练模型文件用以加载预训练模型

bert-base-uncased-pytorch_model.bin

微调脚本文件 transformers：transformers-cli login、transformers-cli upload

Pytorch：NLP 迁移学习、NLP中的标准数据集、NLP中的常用预训练模型、加载和使用预训练模型、huggingface的transfomers微调脚本文件

莎士比亚风格的文本生成任务

BahdanauAttention注意力机制：基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构

BahdanauAttention注意力机制、LuongAttention注意力机制

tf.keras.losses.SparseCategoricalCrossentropy

python命令执行run_glue.py模型微调文件进行微调模型

tf.random.categorical、温度参数temperature

TensorFlow 2.0 推荐的训练方式写法

run_glue.py微调脚本代码

应用于bert模型的动态量化技术(使用动态量化技术对训练后的bert模型进行压缩)、使用huggingface中的预训练BERT模型进行微调、模型压缩技术中的动态量化与静态量化

保存没有压缩的原始模型和及其模型状态、保存压缩后的模型和及其模型状态、加载没有压缩的原始模型文件和及其模型状态、加载压缩后的模型和及其模型状态

ResNet模型在GPU上的并行实践

图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制

IMDB影评的情感分析任务：双层bi-LSTM模型(双向LSTM)

智能对话系统：Unit对话API

supervisor 安装

linux 安装 neo4j

在线聊天的总体架构与工具介绍：Flask web、Redis、Gunicorn服务组件、Supervisor服务监控器、Neo4j图数据库

neo4j图数据库：Cypher

neo4j图数据库：结构化数据流水线、非结构化数据流水线

命名实体审核任务：BERT中文预训练模型

命名实体审核任务：构建RNN模型

命名实体审核任务：模型训练

正态分布(高斯分布)、均匀分布

TensorFlow张量间运算的广播机制、numpy数组间运算的广播机制

科学记数法中的e

在Numpy/Pandas 和在 Tensorflow、Keras等一系列的AI框架中的 axis轴的取值的不同

获取Tensor类型变量的值

用于回归问题的模型评价：MSE、RMSE、MAE、R-Squared

非极大值抑制NMS(Non Maximum Suppression)

池化层。Flatten、Reshape。batch、repeat、steps_per_epoch、epochs。tensorboard、ModelCheckpoint

ImageDataGenerator.flow_from_directory(...)

手势识别：使用EfficientNet模型迁移、VGG16模型迁移

OpenCV：python调用摄像头同时使用OpenCV中自带已训练好的检测器来检测实时图像中的人脸和眼睛

googlenet提出的Inception结构优势、softmax的BP推导/交叉熵损失的BP推导

神经网络的梯度消失/梯度爆炸问题、神经网络的过拟合问题、卷积网络输出大小计算/感受野计算、激活函数、sgd/momentum/rmsprop/adam优化算法

反卷积/转置卷积Conv2DTranspose、空洞卷积 的特点及其应用

ResNet结构并分析其在计算机视觉方面取得成功的原因

python：求按从小到大的顺序的第N个丑数

BATCH_SIZE大小设置对训练耗时的影响

通过python you-get命令 下载bilibili哔哩哔哩B站视频

MySQL part1

MySQL part2

MySQL part3

Redis part1

Redis part2

Redis part3

neo4j图数据库：Cypher

mongodb：安装cmake、mongodb、mongodb的C驱动、C++驱动

linux 安装 Redis

linux 安装 neo4j

报错解决

ValueError: Object arrays cannot be loaded when allow_pickle=False

报错 ValueError: setting an array element with a sequence.

报错AttributeError: 'Tensor' object has no attribute 'numpy'

报错：ValueError: Duplicate plugins for name projector

报错：No registered 'swish_f32' OpKernel for GPU devices compatible with node

报错：tensorflow.python.eager.core._FallbackException

报错：Make sure that your dataset or generator can generate at least `steps_per_epoch * epochs`

报错：报错文件路径 \Anaconda3\lib\multiprocessing\...

报错：ResourceExhaustedError OOM when allocating

报错：AttributeError: module 'tensorflow_core._api.v2.io.gfile' has no attribute 'get_filesystem'

报错：RuntimeError: Expected object of backend CUDA but got backend CPU for argument #3 'index'

报错：RuntimeError: Adam does not support sparse gradients, please consider SparseAdam instead

RuntimeError: exp_vml_cpu not implemented for 'Long'

RuntimeError: expected device cpu and dtype Float but got device cpu and dtype Long

Expected tensor for argument #1 'indices' to have scalar type Long;but got torch.IntTensor instead

报错：TypeError: unexpected keyword argument 'autotuneValidationFile'

linux执行脚本文件 /usr/bin/env: "python\r": 没有那个文件或目录 /usr/bin/env: "python\r": No such file or directory

AttributeError: module 'torch' has no attribute 'quantization'

图像识别之卷积神经网络

卷积神经网络：从头开始构建一个CNN

1.卷积神经网络

初识机器学习

1.监督学习

2.无监督学习

单变量线性回归

1.线性回归

2.成本函数/代价函数、损失函数、目标函数

3.梯度下降

4.矩阵、向量

软件安装

window 安装 Octave

多变量线性回归

1.多变量线性回归/多元线性回归

2.多元梯度下降法

3.特征和多项式回归

4.正规方程

向量化

向量化

Logistic 回归

Logistic 回归