콘텐츠로 이동

LLM on Graphs 서베이: GraphRAG는 이 지형의 한 칸이다

한 줄 요약

LLM과 그래프를 엮는 연구 전체를 그래프 시나리오 3종 × LLM 역할 3종의 격자로 정리한 서베이. 이 격자에 저장소의 GraphRAG 노트들을 얹어 보면 전부 한 칸에 몰려 있다는 것이 드러난다.

왜 이 서베이를 먼저 읽어야 하나

이 서베이의 격자에 저장소의 GraphRAG 노트들을 얹어 본 결과는 GraphRAG 지식 지도에 있습니다.

저장소에 GraphRAG 계열 정리가 여럿 쌓였다. Microsoft GraphRAG 해부, Graph RAG의 모든 것, LogicRAG, ROGRAG다.

이 서베이의 격자로 보면 그것들이 모두 같은 칸에 있다. 그래프를 텍스트로 직렬화해 LLM 컨텍스트에 넣는 방식, 즉 LLM as Predictor 안의 Graph as Sequence다. 나머지 여덟 칸은 GNN을 쓰는 완전히 다른 계열이고, GraphRAG 자료만 읽어서는 존재조차 모르게 된다.

GraphRAG는 LLM과 그래프를 엮는 여러 방식 중 하나이지 전부가 아니다. 이 한 문장을 얻는 것이 이 서베이를 읽는 이유다.

축 1: 그래프 시나리오 3종

시나리오 정의 예시 LLM의 관심사
Pure Graphs 텍스트 정보가 없거나 의미가 빈약한 그래프 교통망, 송전망 그래프 추론 능력 시험, 또는 환각을 줄이는 지식원
Text-Attributed Graphs 노드나 엣지에 의미 있는 텍스트가 붙은 그래프 논문 인용망, 이커머스망, 소셜망, 판례망 텍스트와 구조를 함께 쓰는 노드·엣지 표현 학습
Text-Paired Graphs 그래프 구조 전체에 텍스트 설명이 붙은 경우 분자 구조와 그 설명 구조가 성질을 결정하되 설명이 이해를 보완

세 번째가 낯설 수 있다. 분자처럼 그래프 하나가 곧 하나의 개체이고 거기에 캡션이 달린 형태다. 앞의 둘과 문제 성격이 완전히 다르다.

축 2: LLM의 역할 3종

무엇이 최종 예측을 내놓느냐로 가른다.

LLM as Predictor

LLM이 최종 출력을 낸다. 그래프 정보를 어떻게 주입하느냐로 다시 셋이다.

  • Graph as Sequence: LLM 구조를 건드리지 않고 "그래프 토큰 시퀀스"를 입력으로 준다. 자연어 서술일 수도 있고 그래프 인코더가 뱉은 은닉 표현일 수도 있다. GraphRAG 계열이 전부 여기다.
  • Graph-Empowered LLM: Transformer 구조 자체를 고쳐 텍스트와 그래프를 함께 인코딩한다.
  • Graph-Aware LLM Finetuning: 입력도 구조도 그대로 두고 그래프에서 나온 지도 신호로 파인튜닝만 한다.

LLM as Encoder

GNN이 최종 예측을 낸다. LLM은 앞단의 텍스트 인코더 역할만 한다. 노드·엣지에 붙은 텍스트를 LLM으로 임베딩해 GNN에 입력으로 넣고, GNN 출력이 최종 표현이 된다. 노드 단위나 엣지 단위 과제에 주로 쓴다.

이 방식은 수렴이 잘 안 되고, 데이터가 희소하며, 비효율적이라는 문제를 겪는다. 서베이는 해법을 최적화, 데이터 증강, 지식 증류 세 관점으로 묶는다.

LLM as Aligner

LLM과 GNN을 둘 다 최종 구성요소로 쓰고 정렬한다.

  • Prediction Alignment: 한쪽이 만든 의사 라벨로 다른 쪽을 학습시키는 것을 번갈아 반복한다.
  • Latent Space Alignment: 대조 학습으로 LLM 텍스트 임베딩과 GNN 그래프 임베딩을 같은 공간에 맞춘다.

Pure Graph 추론: LLM이 그래프 문제를 풀 수 있는가

이 서베이에서 가장 실험적인 부분이다. 최단 경로나 사이클 탐지 같은 쉬운 문제부터 최대 유량, 해밀턴 경로(NP-완전) 같은 어려운 문제까지 다룬다.

입력 직렬화가 첫 관문이다. 가장 단순한 방법은 자연어로 말로 푸는 것이다. 삼각형 그래프라면 엣지 리스트를 [(0, 1), (1, 2), (2, 0)]로 쓴다. 인접 리스트를 쓰기도 하고, 구조를 암묵적 특징 시퀀스로 인코딩하는 방식도 있다.

접근은 셋으로 나뉜다.

  • Direct Answering: 직렬화한 그래프를 주고 바로 답을 내게 한다. 단순해서 출발점으로 쓰이는데, 유한한 시퀀스 길이와 연산량 때문에 NP-완전 같은 문제에는 근본적 한계가 있다. 대부분의 연구가 "LLM이 초보적인 그래프 이해력은 갖지만 문제가 복잡해지거나 그래프가 커지면 성능이 떨어진다"고 보고한다.
  • Heuristic Reasoning: 휴리스틱으로 탐색을 유도한다.
  • Algorithmic Reasoning: 알고리즘 절차를 따라가게 한다.

IV-D의 결론이 정직하다. LLM에서 그래프를 어떻게 표현할지에 대해 아직 합의가 없다. 최종 해법은 계산 효율과 정보 완전성 사이의 균형을 찾아야 하고, 장문 컨텍스트 연구에서 실마리를 얻을 수 있으리라고 본다. 그리고 위 세 방식은 서로 배타적이지 않으므로 조합할 여지가 있다고 덧붙인다.

향후 연구 방향 여섯 가지

  1. 더 나은 벤치마크: Pure Graph 벤치마크가 동종(homogeneous) 그래프에 치우쳐 있고 이종·시공간 그래프 평가가 없다. Text-Attributed 쪽은 학술과 이커머스 도메인에 몰려 있어 법률이나 의료 데이터가 부족하다.
  2. 더 넓은 과제 공간: LLM as Encoder가 Text-Attributed에서는 탐색됐지만 분자 그래프에는 거의 적용되지 않았다. 그래프 생성도 Text-Paired에서는 다뤄졌으나 Text-Attributed에서는 미해결이다. 텍스트와 그래프 구조를 함께 생성하는 문제다.
  3. 효율성: 그래프를 시퀀스로 바꾸면 그래프가 커질수록 길이가 급격히 늘어난다. LLM의 최대 입력 길이에 걸리고 시간과 메모리 복잡도가 올라간다. LoRA 같은 일반적 효율화는 있지만 그래프를 아는 효율적 튜닝 논의는 비어 있다.
  4. 일반화와 견고성: 한 도메인 그래프에서 배운 것을 다른 도메인으로 옮기는 능력, 그리고 난독화나 공격에 일관된 예측을 내는 능력이다.
  5. 멀티모달 기반 모델: 텍스트, 그래프, 이미지를 하나로 통합할 것인가. 분자는 그래프이면서 텍스트이고 사진이기도 하다. 통합 모델과 도메인별 맞춤 구조 사이의 긴장을 어떻게 풀 것인지가 열린 질문이다.
  6. 동적 에이전트로서의 LLM: 한 번에 생성하는 방식은 환각을 낳고, 검색을 붙여도 검색기 성능이 천장이 된다. 사람이 논문망이나 위키를 동적으로 찾아보며 추론하듯, LLM도 멀티홉으로 그래프를 탐색하며 답을 고쳐 나가게 하자는 방향이다.

여섯 번째가 저장소에 쌓인 자료들과 바로 이어진다. LogicRAG의 하위 문제 DAG나 ROGRAG의 logic form 검색이 정확히 이 방향이다.

읽을 때 감안할 것

  • 최신판이 2024년 11월이다. v1이 2023년 12월이고 v4가 2024년 11월인데, 참조 자료 저장소의 마지막 푸시도 2025년 3월이다. 이 분야에서 2년은 길다. Microsoft GraphRAG 이후의 흐름, DRIFT 검색, LightRAG, HippoRAG, KAG 같은 이름은 담기지 않았거나 얕게만 다뤄진다.
  • 서베이라 깊이는 각론에 못 미친다. 각 방법이 한두 문단씩이라 실제로 구현하려면 원논문으로 내려가야 한다. 지도이지 매뉴얼이 아니다.
  • 정량 비교가 거의 없다. 세 역할의 장단점을 서술로 비교하지만 같은 조건에서 잰 수치 표는 없다. 어느 역할이 어떤 과제에서 나은지는 각 원논문을 봐야 한다.
  • RAG 관점이 약하다. 제목이 LLM on Graphs이지 GraphRAG가 아니다. 검색 증강 생성보다 표현 학습과 추론 능력에 무게가 실려 있다. GraphRAG 실무 자료를 기대하면 어긋난다.

가져갈 지점

  1. 저장소의 GraphRAG 노트들이 어느 칸에 있는지 알게 된다

전부 Pure Graphs 또는 지식 그래프를 지식원으로 쓰는 LLM as Predictor / Graph as Sequence다. 그래프를 텍스트로 풀어 컨텍스트에 넣는 방식이다. GNN을 학습시키는 나머지 계열은 손도 안 댔다. 그쪽이 필요한 문제인지 아닌지를 알고 안 하는 것과 모르고 안 하는 것은 다르다.

  1. 직렬화 길이가 병목이라는 지적

그래프를 시퀀스로 바꾸면 크기에 따라 길이가 급증한다는 문제는 Microsoft GraphRAG 해부 노트의 토큰 예산 배분과 같은 문제다. text_unit_prop과 community_prop으로 자르는 것이 이 병목에 대한 공학적 대응이다.

  1. Text-Attributed Graph 관점이 실무에 더 가까울 수 있다

사내 위키나 이슈 트래커는 노드에 텍스트가 붙은 전형적인 Text-Attributed Graph다. 이걸 GraphRAG로 다루면 텍스트로 직렬화하는 길뿐이지만, LLM as Encoder 계열이면 노드 표현 학습으로 다룬다. 문제를 검색으로 볼지 표현 학습으로 볼지의 갈림길이다.

  1. 동적 에이전트 방향이 이미 진행 중이다

서베이가 향후 과제로 꼽은 여섯 번째는 지금 LogicRAG와 ROGRAG가 밀고 있는 방향이다. 2023년 말에 열린 문제로 적힌 것이 2025~2026년에 논문으로 나온 셈이라, 서베이의 미해결 목록을 최신 논문과 대조하면 어디까지 왔는지 가늠할 수 있다.

결론

지도로서 값어치가 있다. GraphRAG 자료만 읽으면 "LLM에 그래프를 붙인다"가 곧 "그래프를 텍스트로 풀어 프롬프트에 넣는다"로 굳어지는데, 이 서베이는 그것이 아홉 칸 중 한 칸임을 보여준다.

다만 2024년 11월에 멈춰 있고 정량 비교가 없다. 분류 체계와 미해결 목록만 가져오고, 최신 흐름과 실제 성능은 개별 논문에서 채우는 방식이 맞다. 부록의 자료 저장소는 별 999개로 잘 정리돼 있으나 2025년 3월 이후 갱신이 없으므로 최신성은 기대하지 않는 편이 낫다.