How verification works

어떻게 검증하나요?

팩트언팩트는 하나의 답을 한 번에 내놓지 않습니다. 여러 전문 에이전트가 역할을 나눠 주장을 잘게 쪼개고, 도메인에 맞는 공식 근거를 찾고, 비판적으로 따져본 뒤 판정합니다.

Pipeline

전체 검증 흐름

리포트 한 건이 만들어지기까지의 6단계입니다.

1
입력 수집

기사·유튜브·SNS·텍스트를 받아 원문과 메타데이터를 모읍니다.

2
범위 판별

정치·역사·시사·선거 같은 검증 범위에 해당하는지 확인합니다.

3
주장 추출

본문을 의미 단위로 나누고 검증 가능한 주장만 골라냅니다.

4
주장별 심층 검증

각 주장을 아래 ReAct 에이전트들이 단계적으로 검증합니다.

5
종합 판정

주장별 결과를 모아 리포트 전체 판정과 허위정보 유형을 정리합니다.

6
리포트 생성

근거·핵심 문장·판단 이유를 담은 리포트를 만들어 보여줍니다.

Agent flow

주장별 심층 검증 흐름도

위 4단계 '주장별 심층 검증'은 아래 에이전트들이 순서대로 맡습니다. 검색은 반복(루프)되고, 자기일관성 검사는 조건이 맞을 때만 작동합니다.

1도메인 분류기라우터

주장을 역사·법령·선거·정책·외교 등 9개 도메인 중 하나로 분류해, 어떤 공식 리소스를 쓸지 정합니다.

도메인 확정
2주장 분해기분해

복합 주장을 독립적으로 참·거짓을 가릴 수 있는 작은 사실 단위(sub-fact)로 쪼개고 검색 전략을 세웁니다.

검색 계획
3검색 라우터Adaptive RAG · 분기

이 주장이 외부 근거 검색이 꼭 필요한지, 아니면 모델이 이미 잘 아는 사실인지 스스로 판단합니다. 불확실하거나 최신·수치가 걸리면 보수적으로 검색을 택합니다.

외부 근거가 필요하면 ↓ 검색 / 내부 지식으로 충분하면 검색을 건너뛰고 바로 판정
4반복 증거 탐색기검색 · 루프

라운드마다 어떤 공식 저장소에서 무엇을 검색할지 스스로 정하고 근거를 모읍니다.

↺ 근거가 충분해지거나 최대 3회까지 반복
5근거 리랭킹관련도 필터

검색된 자료를 주장 + 전체 콘텐츠 맥락과의 관련도로 다시 정렬하고, 너무 일반적이거나 무관한 자료는 걸러냅니다.

6근거 품질·입장 분류평가

남은 근거마다 신뢰도·관련도를 점수화하고, 주장을 지지하는지 반박하는지 입장을 판정합니다.

7근거 분석가분석

근거 본문을 직접 읽고 각 사실이 확인됐는지·사실과 다른지·근거가 없는지 인용과 함께 따져봅니다.

근거가 충분하면 ↓ / 부족하면 자체 추론으로 한 번 더
8자체 추론 보강조건부 · 내부 지식

외부 근거를 못 찾아도 바로 '근거 부족'으로 끝내지 않고, 모델 내부 지식으로 사실 여부를 한 번 더 따져봅니다. 그래도 불확실하면 판정불가로 둡니다.

9편향·안전 검사검사

명예훼손·정파적 편향·선거 음모론·사생활 침해 같은 위험을 점검합니다.

확신이 낮거나 근거가 충돌·고위험일 때만 ↓
10자기일관성 검사조건부 · temp 0.7

같은 주장을 여러 시각으로 다시 평가해 판정이 흔들리는지 확인합니다. (확신이 높으면 건너뜀)

그 외에는 곧바로 ↓
11판정 추론기최종 판정

모든 분석을 종합해 '사실 ~ 거짓'의 7단계로 최종 판정하고, 그렇게 판단한 이유를 줄글로 설명합니다.

Adaptive RAG

필요할 때만 검색합니다

3단계 '검색 라우터'는 주장마다 외부 근거 검색이 필요한지 스스로 판단합니다. 모델이 확실히 아는 사실은 검색을 건너뛰어 빠르게, 불확실한 주장은 공식 근거를 끝까지 찾습니다.

외부 근거 검색 (RAG)

최근 사건, 특정 수치·날짜·통계, 인물의 최신 행적처럼 공식 출처 확인이 필요한 주장은 위 검색 단계를 모두 거칩니다. 기본값이며, 조금이라도 불확실하면 이쪽으로 보냅니다.

내부 지식으로 바로 판정

정의·일반 상식·널리 알려진 역사 사실처럼 모델이 확실히 아는 주장은 무거운 검색을 건너뛰어 빠르게 처리합니다. 주장이 많을 때 시간을 크게 줄여줍니다.

안전 가드레일

외부 근거 없이 내린 판정은 신뢰도를 0.70으로 제한하고 반드시 관리자 검토로 보냅니다. 'model_knowledge_only' 표시와 함께, 근거 없이 사실로 단정되지 않도록 막습니다.

Accuracy

'거짓'을 놓치지 않기 위한 장치

일치하는 근거만 찾으면 되는 '참'과 달리, '거짓'은 근거가 없어 '근거 부족'으로 새기 쉽습니다. 이를 줄이기 위한 네 가지 장치입니다.

관련도 리랭킹

주장 단위로 뉴스를 찾으면 너무 일반적이거나 무관한 자료가 섞입니다. 검색 후 관련도로 다시 정렬해 핵심 근거만 남겨, 엉뚱한 자료 때문에 판정이 흐려지는 걸 줄입니다.

근거 부족 → 자체 추론

'거짓'은 일치하는 근거가 없어 '근거 부족'으로 빠지기 쉽습니다. 외부에서 못 찾으면 모델 내부 지식으로 한 번 더 따져보고, 그래도 불확실할 때만 판정불가로 둡니다.

전체 맥락 먼저 읽기

문장 단위로만 검색하면 글의 전반적 흐름을 놓칩니다. 전체 콘텐츠의 요지·핵심 엔티티를 먼저 뽑아, 그 맥락과 관련 높은 자료를 우선합니다.

검증 대상 선별

의견·감상처럼 사실 검증이 무의미한 문장은 미리 걸러내고, 모델이 확실히 아는 주장은 검색을 건너뛰어 정작 확인이 필요한 주장에 집중합니다.

Domain resources

도메인별 사용 리소스

도메인 분류기가 고른 분야에 따라 우선 조회하는 공식 출처가 달라집니다. 1순위 출처가 비면 신뢰 출처군으로 자동 보강합니다.

역사천안함·5·18·한국전쟁 등 역사 사실

1순위 · 국가기록원·민주화기념사업회·5·18재단 아카이브

보강 · 역사 공식기관 · 팩트체크 · 정부 · 주요 언론

법령법률 조문·시행령·헌법 자체

1순위 · 국가법령정보센터 OpenAPI

보강 · 법령 공식 · 법률 전문매체 · 정부 · 주요 언론

법적 공방정치인 수사·기소·재판 등 사건

1순위 · 네이버 뉴스 + 대법원·헌재 판례

보강 · 법률 매체 · 팩트체크 · 주요 언론 · 법령 공식

선거선거 일정·후보/정당 등록·공약

1순위 · 중앙선거관리위원회 data.go.kr API

보강 · 선관위 공식 · 팩트체크 · 정부 · 주요 언론

정책정부 정책·예산·보조금

1순위 · 정책브리핑(korea.kr)

보강 · 정부 · 법령 공식 · 주요 언론

법원·판결대법원·헌재 판결·판례

1순위 · 대법원 종합법률정보 + 헌법재판소

보강 · 법령 공식 · 법률 매체 · 정부 · 주요 언론

외교·안보외교·통일·국방·국제관계

1순위 · 외교부 보도자료 + 네이버 뉴스

보강 · 정부 · 주요 언론 · 팩트체크

문화문화·예술·콘텐츠 정책

1순위 · 문체부·문화 보도자료 + 네이버 뉴스

보강 · 정부 · 주요 언론

일반 시사위에 속하지 않는 일반 시사

1순위 · 네이버 뉴스 + SNU 팩트체크

보강 · 팩트체크 · 주요 언론

Evidence quality

근거를 평가하는 기준

모든 근거가 똑같이 취급되지 않습니다. 출처의 공식성과 주장과의 일치도를 점수로 따집니다.

출처 등급 (Tier 1~5)

선관위·국가법령정보센터·대법원·헌재·국가기록원 같은 공식 기관을 최상위로 두고, 팩트체크·주요 언론, 일반 검색 순으로 신뢰도를 차등 적용합니다.

근거 품질 점수

출처 신뢰도(25%)·주장 직접 관련도(25%)·엔티티 일치(20%)에 더해 발행 신선도·날짜/수치 일치·원본성을 합산해 0~100%로 환산합니다.

임베딩 검색

1536차원 임베딩과 pgvector 유사도로 지식베이스에서 관련 근거를 찾고, 핵심 안내문 같은 노이즈는 걸러냅니다.

교차 검증

모든 도메인은 SNU 팩트체크를 함께 조회하고, 역사·법원·외교·문화·법적 공방은 최신 시사 보도로도 한 번 더 대조합니다.