Dify AI로 사내 챗봇 만드는 방법 총정리

tistory.com/entry/Dify-AI-사내-챗봇-만들기

Dify AI로 사내 챗봇 만드는 방법 총정리

📌 이 글의 핵심 요약

• Dify AI는 코딩 없이 사내 챗봇을 구축할 수 있는 오픈소스 LLM 플랫폼
• 셀프호스팅으로 데이터 보안을 유지하면서 OpenAI·Claude 등 모델 자유 선택
• 설치 → 모델 연결 → 지식베이스 → 챗봇 생성 → 포털 연동 5단계로 완성

📋 목차 1. Dify AI란 무엇인가 2. Dify AI 주요 기능 4가지 3. 사내 챗봇 구축 5단계 4. 경쟁 도구 비교 5. 도입 전 주의할 점 6. 마무리

직장에서 반복적인 질문을 처리하거나 내부 문서를 검색하는 데 매일 얼마나 많은 시간을 쓰고 있는지 생각해본 적 있는가.
신입사원 온보딩, 복지 규정 안내, 업무 프로세스 질의응답처럼 반복되는 업무는 챗봇 하나로 대부분 자동화할 수 있다.
그런데 막상 사내 챗봇을 도입하려고 하면 개발 비용과 인력 문제가 발목을 잡는 경우가 많다.

Dify AI는 코딩 지식 없이도 LLM 기반 챗봇과 자동화 워크플로우를 만들 수 있는 오픈소스 플랫폼이다.
이 글에서는 Dify AI의 핵심 기능부터 사내 챗봇 구축 순서까지 실무 중심으로 정리한다.

---

Dify AI란 무엇인가

Dify는 오픈소스 LLM 앱 빌더로 GitHub 스타 40만 개를 돌파하며 빠르게 확산된 플랫폼이다.
핵심 특징은 노코드 인터페이스로 RAG 파이프라인, 에이전트, 워크플로우를 GUI에서 구성할 수 있다는 점이다.

클라우드 버전(dify.ai)과 셀프호스팅 버전 두 가지로 제공된다.
사내 챗봇처럼 보안과 데이터 주권이 중요한 경우에는 Docker Compose 기반 셀프호스팅이 일반적이다.
사내 서버나 VPC 환경에 설치하면 데이터가 외부로 전송되지 않아 보안 정책을 준수하기 쉽다.

---

Dify AI 주요 기능 4가지

① 지식베이스 (Knowledge Base)

PDF, Word, Markdown, 웹페이지 등 다양한 문서를 업로드하면 자동으로 청킹 및 벡터화가 처리된다. 사용자가 질문하면 관련 문서를 찾아 AI가 답변을 생성하는 RAG 구조가 기본 적용된다.

② 챗봇 및 에이전트 빌더

시스템 프롬프트 설정, 모델 선택, 지식베이스 연결을 GUI에서 마무리할 수 있다. 외부 API 호출, 코드 실행, 웹 검색 같은 도구를 조합해 에이전트를 구성하는 것도 가능하다.

③ 워크플로우 자동화

입력 → 처리 → 출력 흐름을 노드 기반으로 시각적으로 설계한다. 문서 요약, 이메일 초안 작성, 데이터 분류 같은 반복 업무를 자동화할 때 유용하다.

④ API 및 임베드 지원

완성된 챗봇은 REST API로 외부 시스템과 연동하거나, iframe 코드 한 줄로 사내 포털이나 인트라넷에 바로 삽입할 수 있다.

---

사내 챗봇 구축 5단계

1설치 환경 준비

서버에 Docker와 Docker Compose가 설치되어 있어야 한다.
공식 GitHub 저장소에서 소스를 클론한 후 docker compose up -d 명령 하나로 Dify를 실행할 수 있다.
최소 사양은 2코어 CPU, 4GB RAM이지만 문서량이 많다면 8GB 이상을 권장한다.

2LLM 모델 연결

관리자 페이지에서 사용할 AI 모델을 연결한다.
OpenAI GPT-4o, Anthropic Claude, Google Gemini, 또는 Ollama 같은 로컬 모델까지 지원한다.
API 키를 입력하면 즉시 사용 가능하고, 비용이나 보안 정책에 따라 모델을 교체하는 것도 자유롭다.

3지식베이스 구성

사내 문서, 매뉴얼, FAQ 등을 지식베이스에 업로드한다.
Dify가 자동으로 텍스트를 청킹하고 임베딩 벡터로 변환해 저장한다.
청킹 방식과 청크 크기는 문서 유형에 맞게 조정하면 검색 정확도가 올라간다.

4챗봇 앱 생성

앱 빌더에서 챗봇 유형을 선택하고 시스템 프롬프트를 작성한다.
예: "당신은 회사 내부 규정 전문가입니다. 업로드된 문서를 기반으로 정확하게 답변하세요."
지식베이스를 연결하고 테스트 채팅으로 품질을 확인한 후 배포한다.

5사내 포털 연동

완성된 챗봇의 임베드 코드를 복사해 사내 인트라넷, Notion, Confluence 등에 붙여넣으면 즉시 서비스 가능하다.
API를 활용하면 Slack, Teams 같은 메신저에도 연동할 수 있다.

---

경쟁 도구 비교

도구	진입 장벽	RAG 지원	셀프호스팅	비용
Dify AI	낮음	기본 내장	가능	무료(셀프)
Flowise	중간	가능	가능	무료
LangFlow	중간	가능	가능	무료
MS Copilot	낮음	제한적	불가	유료

Dify AI는 UI 완성도와 RAG 기능이 상대적으로 높아 비개발자가 단독으로 챗봇을 구성하기 더 쉽다.
셀프호스팅은 완전 무료이며 오픈소스 라이선스 기반이라 상업적 사용도 가능하다.
AWS EC2 t3.medium 기준으로 월 약 3만원이면 소규모 사내 챗봇을 운영하기에 충분하다.

---

도입 전 주의할 점

⚠ 문서 품질 문제

스캔 PDF처럼 텍스트 추출이 어려운 형식은 OCR 전처리 없이는 검색 정확도가 낮아진다. 업로드 전에 텍스트 추출이 가능한 형식으로 변환하는 작업이 선행되어야 한다.

💡 청크 크기 설정 팁

청크가 너무 작으면 문맥이 끊기고, 너무 크면 관련 없는 내용이 섞인다. 일반 업무 문서 기준으로 500~800토큰이 무난한 시작점이다.

모델 선택도 신중하게 해야 한다.
GPT-4o는 답변 품질이 높지만 토큰 비용이 발생하고, 로컬 모델은 비용이 없는 대신 응답 속도와 품질에서 차이가 있다.
초기에는 GPT-4o Mini나 Claude Haiku처럼 가성비 모델로 시작해 품질을 확인한 후 업그레이드하는 전략을 추천한다.

---

마무리

Dify AI로 사내 챗봇을 도입하면 반복 업무를 줄이고 직원들의 정보 접근성을 높일 수 있다.

노코드 기반이라 IT 인력이 부족한 중소기업이나 팀 단위 프로젝트에서도 현실적으로 적용 가능하다.

지금 당장 Docker 환경이 있다면 오늘 오후에도 첫 번째 사내 챗봇을 배포할 수 있다.