지난 글에서 우리는 Microsoft가 제시한 AI 혁신의 출발점 – 인텔리전트 시스템을 위한 데이터 준비 전략을 통해,
데이터가 곧 AI의 성패를 좌우하는 가장 본질적인 기반임을 확인했습니다.
그렇다면, 이제는 질문을 바꿔볼 차례입니다.
이렇게 잘 준비된 데이터를 바탕으로 AI는 실제로 어떤 방식으로 ‘일’할 수 있을까요?
자동화는 어디까지 가능하고, 인텔리전스는 무엇을 의미하며, 그 사이에서 AI 에이전트는 어떤 위치에 있을까요?
[2025 Microsoft Cloud & AI Bootcamp] 세 번째,
오늘의 주제는 바로 “자동화 vs 인텔리전스 – AI Agent는 어디에 위치하는가?”입니다.
📌
- 주제: 자동화 vs 인텔리전스 – AI Agent는 어디에 위치하는가?
- 일시: 2025년 7월 23일 수요일 오전 11:30 ~ 12:15
- 장소: 온라인
- 발표자: Hyungil Kim ( 전략고객사업본부, 매니저 )
🔗해당 세션 다시보기 링크🔗: AZBC: 자동화 vs 인텔리전스 – AI Agent는 어디에 위치하는가?
🔗모든 세션 다시보기 링크🔗: Microsoft Cloud and AI Bootcamp
기업들이 생성형 AI에 대한 투자를 공격적으로 확대하면서, 단순한 관심을 넘은 실질적 ROI(투자 수익률) 확보가 이루어지고 있습니다.
2024년 말 기준, 생성형 AI에 1달러를 투자하면 3.7달러의 수익을 얻을 수 있다는 통계는 AI 기술이 더 이상 실험적이지 않다는 것을 입증합니다.
이 변화의 흐름 속에서, 이제 우리가 주목해야 할 키워드는 "AI 에이전트"입니다.
AI 에이전트 란❓
많은 사람들이 혼동하지만, AI 에이전트와 에이전틱 AI는 조금 다릅니다.
- AI 에이전트: 독립적인 소프트웨어 엔터티. 특정 목적을 가지고 입력값에 따라 행동.
- 에이전틱 AI: 여러 에이전트와 툴, 워크플로우가 얽힌 전체 시스템을 의미.
AI 에이전트는 단순 RPA처럼 규칙만 따르는 것이 아니라, LLM(대규모 언어 모델)을 기반으로 추론·계획·결정까지 가능한 '자율적 시스템'입니다.
✨ 적용 예시 비교
| 시나리오 | AI 에이전트 | 에이전틱 AI |
| 사용자가 단순 이메일 자동화 요청 | ✅ | ❌ |
| 사용자가 "내 업무를 스스로 분석하고 자동화해줘" 요청 | ❌ | ✅ |
| 장기 프로젝트의 계획 수립 및 중간 점검 | ❌ | ✅ |
| 특정 조건에서 API 효율 자동화 | ✅ | ❌ |
🔚 결론 요약
- AI Agent는 현재 주어진 목표를 도구와 절차로 수행하는 구조에 가깝고,
- Agentic AI는 목표 자체를 재정의하고 지속적으로 개선하는 자율적, 메타 인지적 시스템입니다.
즉, 모든 Agentic AI는 AI Agent이지만, 모든 AI Agent가 Agentic AI는 아닙니다.
💡 AI 에이전트를 구성하는 3가지 핵심
1️⃣ LLM
- GPT와 같은 LLM이 에이전트의 사고를 담당하며, 단순 규칙이 아닌 추론과 발상의 전환까지 수행
2️⃣ Instruction (지침)
- "1 → 2 → 3단계로 진행하라"는 식의 작업 흐름을 정의하는 단계
- 단, AI 에이전트는 이 지침조차도 스스로 변경하거나 재조정할 수 있는 유연성을 가지고 있음
3️⃣ Tools
- Knowledge: 회사 DB나 문서를 검색해 그라운딩된 정보 제공
- Actions: 문서 작성, 이메일 발송 등 실제 행동 수행
- Memory: 대화 맥락을 기억하여, 단발성 응답이 아닌 지속적인 개인화가 가능
💡 AI 에이전트의 입력과 출력
[ 입력 ]
- 시스템 이벤트
- 사용자 메시지
- 다른 에이전트의 호출
[ 출력 ]
- 문서 작성 및 요약, 이메일 자동 발송
- 다음 에이전트 호출, 보고서 생성
- 사용자의 요청에 대한 응답 또는 안내 등
💡 AI 에이전트의 핵심 기능
✅ 추론 및 계획: 두뇌 역할
→ LLM 또는 파운데이션 모델이 해당 역할을 하는 주체
✅ 검색 및 학습: 지식과 기억
→ 지식 베이스나 이전 상호 작용을 통해 저장된 메모리에서 데이터를 가져오고 컨텍스트로 학습 가능
→ 이를 통해 모델은 추가적인 지능을 획득하고 다양한 상황에 대응할 수 있는 수준의 이해력을 갖추게 됨
✅ 조정 및 실행: 작업 완료
→ 지침들에 따라 워크플로우 조율 및 작업 종료 시 어떤 출력을 생성할지에 따라 다양한 액션 실행 가능
✨ 시스템 이벤트와 결합하여 AI 에이전트로 비즈니스 프로세스를 완전히 자동화
- 데이터 구조화에 대해 LLM이 스스로 수행 → 사용자가 들이는 시간 ↓
- UI 업데이트 또는 변경 시 → 워크플로우를 스스로 조정
- Tool calling LLM → 복잡한 로직이 필요한 예외적인 경우에도 스스로 대응하고 복구 가능
💡 Microsoft는 어떤 솔루션을 제공할까?
✅ 즉시 사용 가능한 AI 에이전트
- M365 애플리케이션과 함께 제공
- 별도 개발 없이도 바로 사용 가능
- (예시) 퍼실리테이터 에이전트가 회의 시간 및 요약 정보를 실시간으로 안내
✅ 개발자 맞춤형 AI 에이전트 구축 솔루션
- Visual Studio, GitHub 등 개발 친화적 환경 지원
- 로우 코드 없이 코드 기반 개발 가능
- Azure AI Foundry의 다양한 모델 및 서비스 카탈로그 활용
- Azure AI 에이전트 서비스를 통한 안정적이고 관리형 환경 제공
💡 Azure AI Foundry 에이전트 서비스
Microsoft는 Azure AI Foundry를 통해 기업이 엔터프라이즈급 AI 에이전트를 손쉽고 안전하게 구축할 수 있도록 지원합니다.
Foundry는 단일 모델이나 기능이 아닌, AI 구축을 위한 전체 플랫폼 프레임워크이며, 그 핵심에는 에이전트 서비스가 있습니다.
✅ Foundry 에이전트 서비스란?
- Azure AI Foundry Agent Service는 완전 관리형 AI 에이전트 플랫폼입니다.
- 단일 에이전트든 멀티 에이전트든 빠르게 배포할 수 있으며, 모델 선택, 작업 수행, 보안 및 관찰 기능까지 패키지화된 형태로 제공됩니다.
1️⃣ Model Choice
에이전트를 위한 모델은 자유롭게 선택할 수 있습니다.
- OpenAI, Mistral, Meta LLaMA 등 다양한 파운데이션 모델 지원
- SLM, 파인튜닝, 멀티모달 모델 모두 가능
- 사용 목적에 맞는 최적 모델을 고르도록 모델 평가 도구도 함께 제공
2️⃣ AI Tools
에이전트가 실제로 작업을 수행할 수 있도록 돕는 실행 도구 입니다.
- Azure Functions, Logic Apps 등과 연계해 작업 자동화
- 다양한 지식 커넥터를 통해 사내 문서, 외부 웹, Bing Search 등 데이터 접근
- Copilot Studio를 활용해 에이전트를 쉽게 디자인 가능
3️⃣ Orchestration
AI 에이전트의 의사결정 흐름과 도구 호출을 조율합니다.
- 단일 에이전트로부터 멀티 에이전트 구성까지 유연하게 설계 가능
- 에이전트가 상황에 따라 올바른 도구를 선택해 능동적으로 작업을 수행
4️⃣ Trust
신뢰 가능한 AI를 위해 Microsoft는 다중 보안 계층을 적용합니다.
- 프롬프트 인젝션, 민감 정보 노출, 할루시네이션 등 위협 탐지 및 차단
- Content Safety 기능으로 비방, 폭력, 유해 컨텐츠 자동 차단
- 데이터는 Azure 구독 내에서만 처리되며, MS는 접근하지 않음
- 모델 도입 전 레드팀 테스트와 AI 원칙 점검 필수 수행
5️⃣ Observability
에이전트와 모델의 작동 전 과정을 추적, 평가, 모니터링합니다.
- 어떤 입력이 어떤 도구로 연결되어 어떤 결과를 냈는지 시각화
- 오류 발생 시 원인을 쉽게 파악하고 개선
- AgentOps를 통해 안정성과 성능까지 관리하는 엔드 투 엔드 운영 체계 구축
모델 선택부터 도구, 실행 흐름, 신뢰 설계, 모니터링까지 AI 에이전트 구축에 필요한 모든 요소가 하나의 플랫폼 안에 있습니다.
Azure AI Foundry Agent Service,
기업의 AI 도입을 안전하고 강력하게 뒷받침해줄 전략적 선택입니다.
💡 Azure AI 에이전트, 어디에 쓰일까?
앞서 Azure AI Foundry의 구성과 장점을 살펴봤다면, 이제는 실제 에이전트가 어떻게 활용되는지 알아볼 차례입니다.
AI 에이전트는 단순 자동화를 넘어, 기업의 업무 효율과 사용자 경험을 혁신적으로 바꾸는 도구로 자리잡고 있습니다.
✅ 다양한 AI 에이전트 사례
- 직원 셀프서비스 에이전트
- IT 헬프데스트 에이전트
- 경비 처리, 출장 예약, 고객 지원, 데이터 리포트 자동화 등
이미 많은 기업이 도입 중이며, 업무 효율 향상 + 개인 생산성 증가라는 성과를 체감하고 있습니다.
✅ 산업별 활용 분야
✅ 에이전트 활용 3단계
1. 노코드
- M365 Copilot을 통한 개인 생산성 향상
- 비즈니스 사용자가 직접 실행 가능
2. 로우 코드
- Copilot Studio를 활용해 설계 가능
- 팀 단위 배포 및 간단한 통합 가능
3. Custom 에이전트
- 조직 전체 대상 멀티에이전트 구성
- HR/IT/재무/조달 에이전트가 함께 협업
- 복잡한 업무 프로세스 자동화 및 확장
✅ 다양한 설계 패턴
- RAG 기반 에이전트: 문서·데이터 기반 답변 제공
- 코드 생성 에이전트: 개발 보조용
- 멀티 에이전트 시스템: 역할별 협업 구성
- 멀티 도메인 에이전트 시스템: 의료, 금융, 제조 등 산업별 맞춤 구성
✅ 기술 구성
에이전트 시스템은 다음처럼 계층적으로 구성됩니다.
1. 데이터 계층 – Microsoft Fabric 기반 데이터 레이크
2. AI 계층 – Azure AI Foundry: 모델, 툴, 에이전트 구성
3. 인터페이스 계층 – Copilot Studio, GitHub, VS Code 등
이 구조를 통해 데이터부터 사용자 인터페이스까지 연결된 AI 시스템을 구현할 수 있습니다.
AI 에이전트는 단순한 자동화 도구를 넘어,
개인 업무부터 조직 전체 프로세스까지 혁신하는 핵심 솔루션입니다.
이제 Azure AI Agent Service를 통해, 나만의 에이전트, 우리 조직만의 AI 동반자를 만들어보세요.
결국, AI가 진짜로 '똑똑해지는 순간'은 스스로 생각하고 판단하며 행동할 수 있을 때입니다.
그 중심에는 바로 AI 에이전트가 있죠.
하지만 어떤 도구든, 그 가능성을 현실로 만드는 건 그 도구를 이해하고 활용하는 사람들입니다.
지금 이 시대에 더 중요한 건, 바로 AI를 이해하고 연결할 줄 아는 우리입니다.
여러분의 인텔리전트 여정, 데이터스랩과 함께해요! 😊
다음 주제는 데이터센터 이야기 – 클라우드의 물리적 기반을 들여다보다 입니다!
다음 글에서 뵙겠습니다!
감사합니다. 뿅 ㅇ_<☆
※ 본 글은 Microsoft Cloud & AI Bootcamp 세션을 기반으로 작성되었으며, 정리 과정에서 OpenAI ChatGPT를 활용하여 작성하였습니다.
