(Python) 활성화 함수

1. 활성화 함수(Activation Function)

• 신경망의 성능을 향상시키기 위해 사용
• 선형 함수는 입력값과 가중치를 곱한 결과를 그대로 출력하기 때문에 신경망에서 여러 개의 선형 활성화 함수를 사용한다면 최종 출력값은 입력값과 가중치의 선형 조합으로 표현되므로 이는 입력 데이터의 비선형 관계를 표현할 수 없음
• 신경망이 입력 데이터의 비선형 관계를 작 학습할 수 있도록 하기 위해서 비선형 활성화 함수를 사용

 

In [ ]:

import numpy as np
import matplotlib.pyplot as plt

 

 

1-1. 시그모이드

 

In [ ]:

def sigmoid(x):
    return 1/(1+np.exp(-x))

x = np.arange(-5.0, 5.0, 0.1)
y = sigmoid(x)

plt.plot(x, y)
plt.plot([0, 0], [1.0, 0.0], ':') # 가운데 점선 추가
plt.title('Sigmoid Function')
plt.show()

 

 

 

 

1-2. 하이퍼볼릭탄젠트

 

In [ ]:

x = np.arange(-5.0, 5.0, 0.1)
y = np.tanh(x)

plt.plot(x, y)
plt.plot([0, 0], [1.0, -1.0], ':') # 가운데 점선 추가
plt.axhline(y=0, color='orange', linestyle='--')
plt.title('Tanh Function')
plt.show()

 

 

 

 

1-3. 렐루(Relu)

 

In [ ]:

def relu(x):
    return np.maximum(0, x)

x = np.arange(-5.0, 5.0, 0.1)
y = relu(x)

plt.plot(x, y)
plt.plot([0, 0], [5.0, 0.0], ':') # 가운데 점선 추가
plt.title('Relu Function')
plt.show()

 

 

 

 

1-4. 소프트맥스(Softmax)

 

In [ ]:

x = np.arange(-5.0, 5.0, 0.1)
y = np.exp(x) / np.sum(np.exp(x))

plt.plot(x, y)
plt.title('Softmax Function')
plt.show()