정치학방법론

Week 10. 텍스트 마이닝 (Text Mining)

제10주차. 텍스트 마이닝
내용 분석, 감성 분석, 주제 모형

언어 속의 정치적 지형도 읽기

학습의 목적

정치는 본질적으로 '말'을 통한 권력 투쟁입니다. 방대한 텍스트(연설문, 뉴스, SNS 등)를 단순한 정성적 읽기를 넘어 통계적, 계산적 방법론으로 해체하고 정량화하는 기술을 이해합니다.

Text as Data

글자를 단순한 매개체가 아니라 독립적인 '데이터 과학의 변수'로 취급하는 방법론적 전환구간입니다.

대통령 연설문에서 '국민'이라는 단어가 100번 등장했다면, 우리는 이를 진정성의 발로로 봐야 할까요, 아니면 수사학적 방어 기제로 해석해야 할까요?

주차 목차

Table of Contents

텍스트를 해부하는 3가지 칼날

Part 1. TF-IDF를 통한 단어의 상대적 가중치 평가: 많이 나온 단어가 정말 중요한 단어인가?
Part 2. 감성 분석 (Sentiment Analysis): 여론의 분노와 지지를 숫자(Score)로 측정하기
Part 3. 주제 모형 (Topic Modeling): 수만 건의 기사 속에 숨겨진 의제(Agenda)의 자동 추출 (LDA)

Part 4. 네트워크 분석의 기초: 단어들은 어떻게 연대하고 충돌하는가
Part 5. 지식 그래프 구축: Obsidian과 Gemini의 결합을 통한 구조적 지식 생성
Part 6. 방법론적 성찰: 언어와 사유의 간극

우리가 언어를 '계산'할 때 잃어버리게 되는 은유, 풍자, 침묵 같은 문맥적 요소를 알고리즘은 어떻게 포착할 수 있을까요?

텍스트의 정량화 전통

Content Analysis

내용 분석: 직관에서 계산으로

고전적 내용 분석

과거에는 학자들이 선언문이나 기사를 읽고, A주제가 몇 줄, B주제가 몇 줄 등장했는지를 자(Ruler)로 재거나 형광펜으로 칠하며 빈도를 집계했습니다.

텍스트 마이닝의 등장

컴퓨팅 파워의 향상으로 '수십만 건'의 코딩 매뉴얼 구축이나 단어망 분석이 자동화되었습니다. 그러나 여전히 분석의 '의미(Meaning)'는 연구자의 몫입니다.

기계가 문서를 인간보다 1만 배 빠르게 읽어낸다 하더라도, 그 빠른 속도는 연구 파라미터를 어떻게 왜곡할 수 있을까요?

전처리 과정

Text Preprocessing

더러운 텍스트를 깨끗한 데이터셋으로

일상의 언어는 분석하기에 지저분합니다. 컴퓨팅을 위해서는 문장을 구조적인 데이터(Matrix) 형태인 'DTM(Document-Term Matrix)'으로 변환해야 합니다.

토큰화 (Tokenization): "나는 학교에 간다" → ['나', '학교', '가다'] 등 최소 단위 분리
표제어 추출 (Lemmatization): went, gone → go (원형 복원)

불용어 (Stopwords) 제거: '그리고', '그래서', 'the', 'a' 등 문법적 역할만 하고 정치적 실체(의미)가 없는 단어들 삭제

한국어는 조사와 어미가 매우 발달한 교착어입니다. 한국어 텍스트 마이닝이 영어보다 전처리에 훨씬 막대한 노력이 들어가는 이유는 무엇일까요?

단어 빈도의 역설

Term Frequency (TF)

가장 많이 쓰인 단어가 가장 중요한가?

TF (Term Frequency)

단순히 특정 문서 내에서 어떤 단어가 얼마나 자주 등장했는지 세는 것입니다. (예: 어떤 기사에 '경제'라는 단어가 15번 등장)

빈도의 함정

모든 문서에 공통으로 많이 쓰이는 단어(예: '국민', '사회', '오늘')가 TF 상단에 올라와 정작 해당 문서를 구별짓는 '고유한 핵심어'를 가려버립니다.

정치인의 페이스북을 크롤링했더니 '국민', '여러분', '함께'가 1위~3위를 차지했습니다. 우리는 여기서 어떤 정치적 함의를 도출(혹은 포기)해야 합니까?

TF-IDF

A Measure of Importance

해법: 흔한 단어에 패널티 부여하기

$$ \text{TF-IDF} = \text{TF} \times \log\left(\frac{N}{\text{DF}}\right) $$

TF (Term Frequency): 해당 문서 내에서의 단어 빈도수 (높을수록 중요)

IDF (Inverse Document Frequency): 전체 문서들(N) 중 해당 단어가 등장한 문서의 수(DF)의 역수 로그값 (흔할수록 가중치 하락)

만약 '기본소득'이라는 단어가 이재명 후보 연설문에 여러 번 등장하지만 다른 후보 연설문에는 전혀 등장하지 않는다면, 이 단어의 TF-IDF는 어떻게 될까요?

정치 텍스트의 TF-IDF 사례

Case Study

대통령 취임사 분석

단순 빈도 (TF) 상위어

국민, 국가, 발전, 우리, 자유, 경제 ...

결과: 모든 역대 대통령이 비슷한 단어를 쓰기 때문에 차별성이 보이지 않음.

가중치 (TF-IDF) 상위어

DJ: IMF, 위기, 극복, 민주주의
MB: 실용, 선진화, 글로벌, 경제대국
박근혜: 문화융성, 창조경제, 비정상의 정상화

TF-IDF가 '희귀하지만 중요한 단어'를 길어올린다고 할 때, 아예 한 번 실수로 말한 극단적인 '오발언'이 가장 중요한 핵심어로 잡힐 위험은 없을까요?

감성 분석 (Sentiment Analysis)

Measuring Emotion

텍스트에 묻어나는 '분노'와 '지지'의 정량화

텍스트가 특정 대상이나 이슈에 대해 긍정적인지(Positive), 부정적인지(Negative), 또는 중립적인지(Neutral)를 측정합니다.

활용처

SNS 기반의 실시간 선거 여론 향방 추적
특정 정책(예: 원전, 부동산)에 대한 국민의 수용성 평가
정치인의 연설/토론에 담긴 공격성 측정

"이 정책은 정말 훌륭해서 서민들 다 죽이겠네"라는 명백한 반어법(Sarcasm)을 컴퓨터 알고리즘은 긍정으로 분류할까요, 부정으로 분류할까요?

감성 분석의 2가지 경로

Lexicon vs Machine Learning

사전 기반 접근법 vs 기계학습 접근법

감성 사전 (Lexicon) 방식

미리 '훌륭하다(+1)', '나쁘다(-1)' 식으로 점수가 매겨진 단어 사전을 구축한 뒤, 문장 내 단어들의 점수를 합산해 평균을 냅니다.

장점: 해석이 투명함
단점: 정치라는 특수 도메인만의 문맥을 담기 어려움

기계 학습 (Machine Learning) 방식

인간이 먼저 '이 기사는 부정'이라고 수만 건을 라벨링(학습 데이터 세트)하여 알고리즘(BERT 등)에 먹이고, 패턴을 스스로 찾게 합니다.

장점: 문맥, 뉘앙스 파악 능력이 탁월함
단점: 블랙박스. 그리고 매우 비싼 구축 비용

'혁명(Revolution)'이라는 단어는 정치 성향에 따라 극단적 긍정과 부정이 갈립니다. 이런 단어를 사전(Lexicon) 방식으로 해결할 수 있을까요?

주제 모형 개요

Topic Modeling

수만 장의 문서 속에서 '숨겨진 의제' 찾기

과거 연구자들은 신문 기사를 수동으로 읽고 "이것은 안보 기사, 저것은 경제 기사"라고 코딩했습니다. 하지만 기사가 10만 건이 넘는다면 기계(비지도 학습)의 도움이 필수적입니다.

핵심 전제 (Generative Model)

인간이나 기자가 문서를 작성할 때, 머릿속에 '몇 가지의 주제(Topic)'들을 일정한 비율로 섞어놓은 상태에서, 그 주제들에 속한 '단어 상자'에서 단어들을 뽑아 문서를 완성한다고 가정합니다.

이 역설계(Reverse-engineering) 과정을 통해 우리는 단어들의 덩어리를 얻게 됩니다. 이 덩어리에 '이름표'를 붙이는 것은 누구의 몫입니까?

LDA 알고리즘의 원리

Latent Dirichlet Allocation

주제 모델링의 가장 대표적 방식 (디리클레 할당)

문서는 주제들의 혼합물

기사 A = (경제 70% + 정치 30%), 기사 B = (외교 80% + 경제 20%) 구조로 각 문서가 가진 '주제 분포'를 추정합니다.

주제는 단어들의 혼합물

[경제]라는 주제(Topic) 상자 안에는 '물가(15%)', '금리(10%)', '수출(8%)' 등의 확률 분포가 무의식적으로 내재(Latent)되어 있다고 가정합니다.

LDA 분석을 돌리기 전, 연구자는 '주제의 개수($K$)'를 미리 정해주어야 합니다. 적절한 방의 개수($K$)를 어떻게 객관적으로 정할 수 있을까요?

LDA의 결과물 해석

Reading the Output

연구자의 지적 개입이 시작되는 순간

                    Topic 1: 북한(0.12), 미사일(0.08), 도발(0.06), 한미(0.05), 동맹(0.04)

                    Topic 2: 아파트(0.15), 청약(0.09), 규제(0.08), 대출(0.07), 전세(0.05)

                    Topic 3: 검찰(0.18), 조사(0.12), 구속(0.09), 의혹(0.08), 소환(0.06)

기계는 Topic 1, 2, 3 이라는 덩어리만 던져줄 뿐입니다. 연구자는 전문 지식을 활용하여 위 덩어리들의 라벨을 [안보/외교], [부동산 정책], [사법/비리 수사] 라고 사후적으로 명명(Naming)해야 합니다.

Topic의 단어들이 [대통령, 국회, 예산, 야당, 비판] 처럼 너무 일반적이라 뚜렷한 정체성이 보이지 않는다면(Junk Topic), 이는 연구 실패일까요?

동적 주제 모델링

Dynamic Topic Modeling (DTM)

시간에 따른 '의제'의 진화 추적하기

정치적 의제는 고정되어 있지 않습니다. 1990년대의 '환경' 이슈 담론과 2020년대의 '환경' 담론은 완전히 다른 단어 분포를 보입니다.

2000년대 '환경' Topic: [오염, 쓰레기, 재활용, 녹지]
2020년대 '환경' Topic: [탄소중립, ESG, 기후변화, RE100]

DTM은 특정 이슈가 시대의 흐름 속에서 어떤 단어(프레임)를 흡수하며 진화하거나 소멸하는지를 궤적으로 보여줍니다.

장기 시계열 데이터를 분석할 때, 과거에 없던 새로운 신조어(예: 메타버스)의 등장은 주제 모형의 연속성을 어떻게 교란할까요?

네트워크 분석의 기초

Semantic Network Analysis

단어들의 사회(Society of words) 지형도

동시 출현 (Co-occurrence)

단어 A와 단어 B가 같은 문장(또는 문단) 안에 자주 함께 등장한다면, 둘 사이에 강력한 '의미적 연관성(Edge)'이 있다고 봅니다.

특정 단어가 혼자 등장할 때는 빈도가 낮지만, 항상 특정 이슈와 강하게 '결합'해서만 나타난다면 네트워크에서는 이 단어를 어떻게 대우해야 할까요?

중심성 지표 분석

Centrality in Networks

네트워크 내 핵심 노드(Node) 탐색

네트워크 상에 흩뿌려진 수많은 단어들 중 담론의 '허브(Hub)' 역할을 하는 핵심 개념을 수학적으로 찾아내는 지표입니다.

연결 정도 중심성 (Degree): 가장 많은 다른 단어들과 직접 연결된 인싸 단어 (단순 빈도와 유사)
매개 중심성 (Betweenness): 서로 다른 주제(예: 외교망과 경제망)를 연결해주는 브로커(Broker) 역할을 하는 단어. (담론을 확장하는 키)

고유벡터 중심성 (Eigenvector): 별 것 아닌 단어들과 많이 연결된 것보다, '거물급' 단어들과 강하게 연결되어 영향력을 행사하는 핵심 배후 단어.

'매개 중심성'이 높은 단어(예: '갈등')가 담론 구조에서 빠져버린다면, 전체 사회 네트워크의 여론 지도에는 어떤 일이 벌어질까요?

지식 그래프(Knowledge Graph)의 활용

Beyond Linear Text

문서를 점과 선의 3차원 구조로 재배열하기

선형적 읽기의 탈피

우리는 보통 1페이지부터 끝까지 일방향으로 글을 읽습니다. 하지만 지식 그래프는 문단과 개념들을 상호 연결하여 위키백과식 거미줄망으로 시각화합니다.

구현 방식

개체명 인식(NER: 인물, 기관, 장소 등)을 통해 문서들에서 노드(Node)를 뽑아내고, 그들 간의 관계(Edge: 대립, 출자, 지지 둥)를 방향성 있게 그려냅니다.

지식 그래프를 통해 'A의원의 비리 의혹'과 멀리 떨어진 'B기업의 로비 사건'이 교집합 노드(예: 제3의 인물)를 통해 연결되는 구조적 부패를 कैसे 포착할 수 있을까요?

도구의 혁명: 매니지먼트 에코시스템

Obsidian + Gemini

제2의 뇌 (Second Brain) 구축하기

Obsidian (옵시디언)

마크다운 기반의 노트 앱으로, 문서들 사이의 양방향 링크(Backlinks) 기능이 핵심입니다. 노트들이 폴더(계층)가 아닌 네트워크 맵 형태로 유기적으로 연결됩니다.

구글 Gemini 결합

연구자가 옵시디언에 대충 쌓아둔 수천 개의 파편화된 인터뷰 노트를 Gemini(LLM)가 읽어들이고, 알아서 숨겨진 카테고리와 메타데이터 태그를 부여하여 네트워크 연결을 자동 제안합니다.

노트를 폴더 트리(Tree) 계층으로 정리하는 것과 네트워크 지향(Graph)으로 정리하는 것은 인간의 '창의적 정치학적 상상력'에 어떤 다른 영향을 미칠까요?

실습과 적용

Real-world Application

수천 개의 법안 발의안을 네트워크로 그리면?

노드(Node): 국회의원 300명
엣지(Edge): 특정 법안에 '공동 발의자'로 이름을 같이 올린 횟수 (두꺼울수록 연대 강화)

이 네트워크 맵(Co-sponsorship Network)을 그리면 정당의 공식적인 당론(진보/보수)과는 별개로, 지역구 이익이나 출신 학교를 매개로 한 은밀한 초당적 카르텔의 덩어리(Community)가 시각적으로 확연히 드러납니다.

공동 발의 횟수가 많다고 해서 이들이 이념적으로 동지(Ally)라고 단정할 수 있나요? (품앗이 발의와 같은 노이즈 처리 문제)

구조적 방법론 비판

Bag-of-Words Problem

맥락을 지운 단어들의 무덤 (Bag-of-Words)

어순의 무시

TF-IDF나 LDA 같은 전통적 텍스트 마이닝은 언어의 '생성 순서'나 '문장 구조'를 무시하고 단지 단어들을 한 바구니에 쓸어 담아 확률만 계산합니다.

치명적 약점

1. "대통령은 파업을 비판했지만, 노조는 기립 박수를 쳤다."

2. "대통령은 기립 박수를 받았지만, 노조는 파업을 비판했다."

기존 모델은 이 두 문장이 들어간 문서를 100% 동일한 문서로 취급합니다.

어순을 완전히 무시하는데도 어떻게 LDA가 문서를 나름 그럴듯하게 분류(주제 추출) 해낼 수 있는 것일까요?

임베딩과 딥러닝 텍스트 마이닝

Word Embeddings

"단어를 그 주변 이웃으로 정의하라"

Word2Vec 의 철학

"나의 친구가 누구인지 알려주면, 네가 누구인지 말해주겠다." 단어의 의미는 그 단어 주변에 앞뒤로 같이 쓰이는 맥락 단어 집합에 의해 수학적 벡터로 공간 상에 좌표화됩니다.

놀라운 수식의 탄생

벡터 공간의 연산:
King - Man + Woman = Queen

(정치학 예제: 독재자 - 권력 + 시민참여 = 민주적 지도자)

Word2Vec 같은 임베딩 모델이 방대한 인간의 텍스트 공간을 학습했을 때 도출되는 '성욕구/성별에 대한 편향(Bias)'을 우리는 데이터의 진실로 수용해야 합니까, 교정해야 합니까?

정치학에서의 텍스트 마이닝

Research Agenda

주로 어떤 질문을 던지는가?

의제 설정 (Agenda Setting): 보수 언론과 진보 언론은 동일한 사건에 대해 서로 다른 토픽을 구사하는가? (프레이밍)
이념 추정 (Ideology Scaling): 정치인의 트윗이나 연설문에 나타난 단어 벡터를 통해 그 사람의 좌/우 이념적 스펙트럼 좌표를 추정할 수 있는가?
포퓰리즘 지수: '국민', '부패한 엘리트' 등의 단어 동시 출현 빈도를 통해 권위주의자의 등장을 조기에 탐지할 수 있는가?

'단어'는 행동(투표, 법안 통과 등)보다 싼(Cheap Talk) 경향이 있습니다. 정치인이 쏟아내는 말(텍스트)을 분석하는 것이 정치 현상을 이해하는 유효한 렌즈일까요?

실무 코드 (Scikit-Learn)

Python Code Snippet

TF-IDF의 실무적 구현

from sklearn.feature_extraction.text import TfidfVectorizer

corpus = ["국민 여러분 경제를 살리겠습니다", "안보 위기 극복합시다", "경제 민주화 달성"]

# 1. 벡터라이저 인스턴스 생성
vectorizer = TfidfVectorizer()

# 2. 텍스트 데이터를 행렬로 변환 (학습 및 적용)
X = vectorizer.fit_transform(corpus)

# 3. 중요 단어 가중치 출력
print(vectorizer.get_feature_names_out())
print(X.toarray())
                

Python 패키지만 있으면 누구나 5분 만에 결과를 얻을 수 있습니다. 도구가 쉬워질수록 연구자가 갖추어야 할 차별화된 능력은 무엇일까요?

의미망에서 지식망으로

Knowledge Graph Evolution

정치 데이터의 3D화 (의미 분별의 깊이)

일반 네트워크 망

(이재명) ---연결--- (대장동).
이 선(Edge)은 좋든 싫든 둘이 언론에 같이 자주 언급되었다는 것만 보여줍니다. 방향과 성질을 알 수 없습니다.

지식 그래프 구조

(이재명) → [피고발] → (대장동 유동규)
(검찰) → [수사] → (이재명)
주어(Subject)-술어(Predicate)-목적어(Object)의 트리플(Triple) 구조로 지식이 맥락을 띠고 저장됩니다.

지식 그래프 모델이 완벽하게 가동된다면, 언론 보도량 자체를 조작하는 방식으로 특정 정치인의 그래프적 입지를 망가뜨리는 인지전(Cognitive Warfare)도 가능할까요?

방법론적 한계와 성찰

Limits of Text Mining

의도성(Intentionality)의 문제

"우리는 정치인이 '자신의 마음 속에 있는 진실'을 대중에게 말한다고 가정하고 텍스트를 마이닝하는가?"

연설문은 대부분 보좌관이나 스피치 라이터가 씁니다.
특정 단어의 사용은 진심이 아니라 '선거 공학적 타겟팅'의 산물일 수 있습니다.
알고리즘은 이것(연기)을 판별하지 못하고 그대로 의제로 수용합니다.

진심이 담기지 않은 공학적 연설문(텍스트)조차도 세상을 바꾸고 법을 만듭니다. '행위자의 진정성'을 따지는 것이 정치학 텍스트 분석에 의미가 있을까요?

대안: 혼합 연구 방법론

Mixed Methods

기계의 거대 시야 + 인간의 미세 현미경

텍스트 마이닝은 수백만 건의 자료(거시적 동향)를 처리하는 데 최적화되어 있으나, 블랙박스의 한계를 지닙니다. 따라서 이를 독자적 결론으로 남겨두지 않습니다.

1단계 (텍스트 마이닝)
10년 치 정책 문서 5만 건 LDA 분석 → '탄소배출권 규제' 담론이 2018년에 급증함을 포착

2단계 (질적 심층 연구)
2018년 전후의 환경부 핵심 관료 5명 심층 인터뷰 → 알고리즘이 잡지 못하는 내부 알력 다툼 및 메커니즘 규명

양적 지표(통계)와 질적 인터뷰 내용이 정반대의 결론을 지시한다면, 연구자는 어떤 데이터를 기각해야 할까요?

환원주의의 위험

Reductionism

인간 경험을 숫자로 쪼개는 폭력

숫자에만 함몰되면?

단어 '자유'의 출현 빈도가 500회 통계적으로 찍혔다는 이유만으로, 텍스트가 담고 있는 피비린내 나는 현장의 역사적 고통과 철학을 평면적인 점수로 환원해 버립니다.

정치학의 위기

컴퓨터 분석 기술이 고도화될수록, 데이터 스크래핑과 정제, 코드 돌리는데 몰두하느라 왜 정치를 분석하는가에 대한 '정치철학적 고민(이론)'이 실종되는 경향이 짙어졌습니다.

방법론(기술)이 비대해져 목적(진리에 대한 질문)을 압도해버리는 학문적 현상을 우리는 어떻게 극복할 수 있을까요?

오픈소스와 민주화

Democratization of Data

데이터 무기 체계의 보편화

과거에는 막대한 예산과 슈퍼컴퓨터가 있는 극소수 연구소만이 10만 건 단위 텍스트 트렌드를 분석할 수 있었습니다.

Python, R 등 오픈소스의 혁명적 보급.
HuggingFace와 같은 소스 공유 생태계.
개인 연구자 1명이 거대 언론 기관이나 국가 권력이 은폐하는 정보를 스크래핑하여 역감시(Sousveillance)할 수 있는 시대.

모두가 데이터 마이닝을 할 수 있게 된 시대지만 권력기관 역시 데이터 조작에 능숙해졌습니다. 시민의 '정보 해독력'이 새로운 투표권이 될 수 있을까요?

향후 발전 방향

Future Scope

멀티모달 텍스트의 부상

지금까지의 텍스트 마이닝은 주로 활자화된 문자열(String)에 갇혀 있었습니다. 미래의 정치 언어는 그렇게 단조롭지 않습니다.

연구 영역의 확장

Short-form 밈(Meme): 텍스트가 덧씌워진 틱톡/유튜브 영상에서의 정치적 패러디.
오디오의 음성 억양 마이닝: 단어는 긍정적이나 높낮이(피치)가 분노를 표출하는 정치인 연설 생방송의 실시간 감성 분석.
이러한 다층적 모달(Multi-modal) 분석에서 텍스트는 이미지와 결합되어 새로운 복합 변수로 작용합니다.

정치적 밈(Meme)이 선거 결과를 뒤집는 요소로 작용할 때, 사회과학자들은 이 휘발성 강한 유희적 텍스트를 어떻게 모델링해야 할까요?

연구자 수칙

Guidelines for Analysts

알고리즘 앞에서 중심을 잡는 법

Garbage In, Garbage Out

아무리 복잡한 수학(LDA, BERT) 필터를 끼운다 한들, 스크래핑한 원본 기사가 편향되어 있거나 전처리를 엉망으로 했다면 분석 결과는 쓰레기가 됩니다.

가설의 통제

툴을 돌려놓고 "오, 재미있는 패턴이 나왔네"라며 사후가설을 설정(P-hacking적 태도)하는 것에 중독되지 마십시오. 반드시 이론적 질문(Why)이 선행되어야 합니다.

분석가가 '아름다운 시각화 결과물'의 마력에 빠져 데이터가 지닌 결함을 은폐하고 싶은 유혹을 어떻게 통제할 수 있을까요?

주차 요약

Summary

언어를 계산하다, 그러나 의미를 지키다

도구의 확장: TF-IDF, 감성 분석, 토픽 모델링은 텍스트라는 파편의 바다에서 항로를 알려주는 강력한 데이터 관측망입니다.
환원이 아닌 발굴: 기계가 단어를 숫자로 쪼개더라도, 그 수학적 배율을 통제가능한 '가설'로 재조립하여 숨겨진 의제를 폭로하는 것은 온전히 인간의 영역입니다.
결합 모델의 미래: 네트워크 구문 분석 구조화(Knowledge Graph, Obsidian 등)는 선형적 독해에 갇혀있던 정치학적 사고를 3차원 입체적 사고로 견인합니다.
방법론적 경계심: 언어가 보여주는 텍스트의 지평이 때로는 정치인이나 권력 기구의 '기만적 연기'일 수 있음을 성찰하며 단어 빈도 이면의 진실을 추적해야 합니다.