深度学习基础知识半感性小结2-再提线性不可分问题，TensorFlow官方Playground的把玩

一、再提线性不可分问题
在《深度学习基础知识半感性小结1-从线性不可分问题的解决到金融机构信用评级的感性示例》中，我们提到了可以通过深度神经网络来解决线性不可分问题，下面让我们再次感性的认识一下。
http://playground.tensorflow.org（需要翻墙）是TensorFlow官方提供的“游乐场”，提供了一个基于浏览器的可视化示例，其中第一个示例就是我们之前提到的线性不可分问题：

TensorFlow Playground

我们已经明确，要通过一个线性分类器将图中的蓝色点和黄色点分开是不可能的。而当使用如下有两个隐藏层（第一层4个神经元、第二层2个神经元）组成的全连接神经网络时，则可以快速实现分类（神经元之间的连线颜色的深浅代表了权重的大小）：

如果使用更复杂的网络（两层，每层8个神经元），那么可以看到经过多轮迭代后也能够得到类似的结果：

使用神经网络解决线性不可分问题1

在Playground中，我们可以看到几个关键概念，包括：

Epoch
Batch Size
Learning Rate
Activation
Regularization
Regularization Rate
FEATURES

其中，部分概念是在《深度学习基础知识半感性小结1-从线性不可分问题的解决到金融机构信用评级的感性示例》中已经提到过的，另外部分概念将在后续总结。

我们知道，单个神经元相当于线性分类器，因此对于第一个示例而言可以通过单层、多个神经元，通过多个线性分类器的叠加的方式来解决线性不可分问题，这可以在Playground中进行验证：

使用神经网络解决线性不可分问题2

二、另一个更加复杂的例子
第一个示例可以通过多个线性分类的叠加来解决，接下里让我们看一下无法通过线性分类器叠加解决的第四个示例：

使用神经网络解决线性不可分问题3

很显然，对于这样的情况，单层神经网络形成的线性分类器叠加实现分类是困难的；此外，如果仅仅选择之前使用的两个FEATURE作为特征，那么即便是增加了网络的复杂性也需要较多轮的训练。通过下面的动图，我们可以感性地发现，在引入更多的特征同时增加神经网络深度和复杂性的同时，能够实现更好的分类：

使用神经网络解决线性不可分问题5

转载时请保留出处，违法转载追究到底：进城务工人员小梅 » 深度学习基础知识半感性小结2-再提线性不可分问题，TensorFlow官方Playground的把玩