0.tensorflow

定义会话2种：一种要加sess.close，一种不要

定义变量要初始化：

fetch(取)和feed方法：

0.1 线性回归

0.2 非线性回归

0.3 mnist数据集识别

回归用二次代价函数，分类用交叉熵：






防止过拟合：如下4种方法：









如上图训练时两个keep_prob都设为1.0，不dropout效果更好，下图为L2正则化项：0.0005为正则项系数




Adam优化器训练一开始就很高

Tensorboard网络结构：




打不开改网址换成如下：

Tensorboard记录数据：



1.0 模型保存(.ckpt)：




1.1 模型载入：

1.2 模型载入(没有.meta文件，需自己重新定义网络结构)：


2.0 模型保存(.pb)：


2.1 模型载入：






步长为1：

步长不为1：



cnn应用于mnist




比bp提升一个百分点

0.4 imagenet数据集识别

LSTM手写数字识别：




和bp差不多，没有卷积好：

Tensorflow的GPU版

图像识别经典模型：



使用inception-v3（谷歌用imagenet训练好的1000分类）做各种图像识别







重新训练自己的图像：




新训练好的图像模型做预测：




破解图形验证码：

图形验证码生成：



搭建模型训练：











测试：

0.5 cifar10数据集识别：

1.keras

1.1线性回归

shift+tab按两下查看函数参数，units：神经元个数即输出维度

下图lw为线宽

1.2 非线性回归

1.3 mnist分类(识别)

交叉熵

上节mse改了

Dropout

过拟合

加入dropout

正则化

优化器

1.4 CNN手写数字识别

1.5RNN手写数字识别

1.6 模型保存和载入

载入模型后可继续训练评估如下图：

以上是可以保存模型结构和参数，下面分开：

1.7 绘制网络结构

1.8图像数据增强

上图随机错切变换0.2改为20

在temp文件夹里

1.9 CNN猫狗分类(2分类)

1.10 Finetune-VGG16完成猫狗分类

1.11 狗品种识别（多分类）

plt.axis(‘off’)不显示坐标轴

2. pytorch

2.1 线性回归：

2.2 逻辑回归：

2.3 多层感知机（全连接）：

2.4 cnn：

2.5 RNN：

3.caffe