데이터로 보는 세상

시계열 데이터 예측은 다양한 분야에서 중요한 역할을 하고 있으며, 그 중에서도 LSTM(장기 단기 기억 네트워크)은 시계열 데이터의 복잡한 패턴을 학습하기 위해 설계된 신경망 구조입니다. 이번 글에서는 LSTM의 내부 동작 원리를 자세히 살펴보고, 실제 예제를 통해 이해를 돕겠습니다.

LSTM의 기본 개념

LSTM은 기본적으로 순환신경망(RNN)의 변형으로, RNN이 가지는 장기 의존성 문제를 해결하기 위해 개발되었습니다. 전통적인 RNN은 시간이 지남에 따라 정보가 소실되는 문제가 있는데, LSTM은 이를 해결하기 위해 셀 상태(cell state)와 여러 개의 게이트(gate) 구조를 도입했습니다. LSTM은 주로 세 가지 게이트로 구성됩니다.

입력 게이트(Input Gate): 새로운 정보를 얼마나 셀 상태에 추가할지를 결정합니다.
망각 게이트(Forget Gate): 현재 셀 상태에서 어떤 정보를 버릴지를 결정합니다.
출력 게이트(Output Gate): 셀 상태를 기반으로 출력할 값을 결정합니다.

이러한 게이트 구조는 LSTM이 장기적인 의존성을 학습하는 데 매우 효과적입니다.

LSTM의 구조

LSTM의 수식적 정의를 살펴보면, 각 게이트는 다음과 같이 정의됩니다.

입력 게이트:

$$ i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) $$

망각 게이트:

$$ f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) $$

출력 게이트:

$$ o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o) $$

셀 상태 업데이트:

$$ \tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C) $$ $$ C_t = f_t C_{t-1} + i_t \tilde{C}_t $$

최종 출력:

$$ h_t = o_t * \tanh(C_t) $$

여기서 $ \sigma $는 시그모이드 함수, $ \tanh $는 하이퍼볼릭 탄젠트 함수입니다. $ W $와 $ b $는 각각 가중치와 편향을 의미하며, $ h $는 이전 상태의 출력, $ x $는 현재 입력을 나타냅니다.

LSTM을 활용한 시계열 예측 예제

이제 Python과 TensorFlow를 사용하여 LSTM 모델을 구현해보겠습니다. 우리는 간단한 시계열 데이터를 생성하고 이를 예측하는 모델을 만들어보겠습니다.

import numpy as np
import matplotlib.pyplot as plt
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense

def generate_data(seq_length):
    x = np.array([np.sin(i * 0.1) for i in range(seq_length)])
    return x

# 데이터 전처리
def create_dataset(data, time_step=1):
    X, Y = [], []
    for i in range(len(data) - time_step):
        X.append(data[i:(i + time_step)])
        Y.append(data[i + time_step])
    return np.array(X), np.array(Y)

# 데이터 생성 및 전처리
data = generate_data(100)
X, y = create_dataset(data, time_step=10)

# 데이터 모양 조정
X = X.reshape((X.shape[0], X.shape[1], 1))

# LSTM 모델 생성
model = Sequential()
model.add(LSTM(50, return_sequences=True, input_shape=(X.shape[1], 1)))
model.add(LSTM(50))
model.add(Dense(1))

# 모델 컴파일
model.compile(optimizer='adam', loss='mean_squared_error')

# 모델 훈련
model.fit(X, y, epochs=100, batch_size=1, verbose=2)

# 예측
predicted = model.predict(X)
plt.plot(data[10:], label='Original Data')
plt.plot(np.arange(10, len(predicted) + 10), predicted, label='LSTM Predicted', color='red')
plt.legend()
plt.show()

위 코드는 간단한 사인파 시계열 데이터를 생성하고, 이를 LSTM 모델로 학습하여 예측하는 과정을 보여줍니다. create_dataset 함수는 주어진 시계열 데이터를 LSTM이 학습할 수 있는 형태로 변형합니다. 모델 훈련 후, 예측 결과를 시각화하여 원본 데이터와 비교해볼 수 있습니다.

마무리

LSTM은 시계열 데이터 예측에 있어 강력한 도구로, 그 내부 구조인 게이트와 셀 상태의 작동 원리를 이해하는 것이 중요합니다. 이번 글에서 LSTM의 기본 개념과 구조, 그리고 간단한 예제를 통해 시계열 데이터 예측의 기초를 살펴보았습니다. LSTM을 활용하여 복잡한 패턴을 학습하고, 이를 기반으로 미래를 예측하는 데 도전해 보세요. 데이터로 보는 세상에서 LSTM은 여러분의 예측력을 향상시킬 수 있는 중요한 도구가 될 것입니다.

시계열 데이터 생성

LSTM의 기본 개념

LSTM의 구조

LSTM을 활용한 시계열 예측 예제

마무리