비정형 데이터에서 가치 있는 정보 추출하기
2025-07-11
flowchart TD
A[원시 텍스트 데이터] --> B[데이터 수집 및 전처리]
B --> C[토큰화 및 정규화]
C --> D[특성 추출]
D --> E[모델 적용]
E --> F[결과 해석 및 시각화]
F --> G[인사이트 도출]
style A fill:#e1f5fe
style B fill:#f3e5f5
style C fill:#e8f5e8
style D fill:#fff3e0
style E fill:#fce4ec
style F fill:#f1f8e9
style G fill:#e0f2f1
# 한국어 텍스트 전처리 예시
from konlpy.tag import Okt
import re
def preprocess_korean_text(text):
# HTML 태그 제거
text = re.sub('<[^>]*>', '', text)
# 특수문자 제거
text = re.sub('[^가-힣a-zA-Z0-9\\s]', '', text)
# 형태소 분석
okt = Okt()
tokens = okt.morphs(text)
# 불용어 제거
stopwords = ['은', '는', '이', '가', '을', '를', '에', '의']
tokens = [token for token in tokens if token not in stopwords]
return tokensimport pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, classification_report
# 데이터 로드
df = pd.read_csv('movie_reviews.csv')
# 특성 추출
vectorizer = TfidfVectorizer(max_features=5000, stop_words='english')
X = vectorizer.fit_transform(df['review'])
y = df['sentiment']
# 훈련/테스트 분할
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42
)
# 모델 훈련
model = LogisticRegression()
model.fit(X_train, y_train)
# 예측 및 평가
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f"정확도: {accuracy:.3f}")궁금한 점이 있으시면 언제든 질문해주세요!
감사합니다!
연락처: [your-email@example.com]
텍스트 마이닝 소개 | 홍성학