深度学习入门_P1 感知机

1. 感知机是什么

• 感知机接收多个信号，只输出一个信号。
• 神经元会计算传递过来的信号总和，只有当总和超过某个阈值的时候才会输出 1，也称为神经元被激活。

2. 简单的逻辑电路

假设 True=1，False=0 我们可以使用以下函数实现 and, not, or。

# 与门
def AND(x1, x2):
    w1, w2, theta = 0.5, 0.5, 0.7
    tmp = x1*w1 + x2*w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1

# 与非门
def NAND(x1, x2):
    w1, w2, theta = -0.5, -0.5, -0.7
    tmp = x1*w1 + x2*w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1

# 或门
def OR(x1, x2):
    w1, w2, theta = 0.5, 0.5, 0.2
    tmp = x1*w1 + x2*w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1

[!note]
其中 w1，w2 被称为权重，theta 被称为偏置，偏置决定了神经元被激活的容易程度。

3. 感知机的局限性

上述逻辑门都可以通过一层神经元实现，但是异或门则无法通过一层实现。可以看到无论与门，与非门，还是或门可以用类似下面的函数表达。

如果用圆形代表 False，三角形代表 True，其在坐标系上的图形如下所示。可以用一条直线分割开。

异或门在坐标系的图形则如下所示，可以看出来无法使用一条简单的直线划分。

能用一条直线划分的空间，称为线性空间，而不能用一条直线分割的空间就称为非线性空间。

4. 多层感知机

异或门我们可以通过叠加感知机来实现，实现逻辑如下所示。

def XOR(x1, x2):
    s1 = NAND(x1, x2)
    s2 = OR(x1, x2)
    y = AND(s1, s2)
    return y

多层感知机理论上可以再现一整套计算机。