[클라우드] Cloudflare Workers AI 활용 사례: 엣지 AI 서비스 구축기

Cloudflare Workers AI 활용 이야기를 해보려고 합니다. 요즘 AI 기능 하나 붙이려 해도 어디에 올릴지부터 고민되시죠. 중앙 리전(region, 클라우드 지역)에 모델 서버를 두면 구조는 익숙한데, 지연 시간(latency, 응답 지연)이나 운영 복잡도가 은근히 발목을 잡거든요. 저도 홈랩이랑 사내 테스트 환경에서 이것저것 붙여보다가, “이걸 꼭 무거운 GPU 서버로만 풀어야 하나?” 싶은 순간이 많았습니다. 처음엔 반신반의했는데, Cloudflare Workers AI를 같이 써보니까 엣지 AI(edge AI, 사용자와 가까운 위치에서 추론하는 방식) 서비스의 방향이 꽤 선명해지더라고요.

특히 Cloudflare Workers AI 활용 포인트는 단순합니다. 기존 Workers(워커스, 서버리스 런타임) 위에서 요청을 받고, AI 추론을 붙이고, 필요하면 KV(Key-Value 저장소)나 R2(Object Storage, 오브젝트 스토리지) 같은 주변 서비스를 연결해서 바로 서비스 형태로 만들 수 있다는 점입니다. 서버를 직접 띄우고 헬스체크하고 오토스케일링 붙이는 부담이 줄어드니까, 작은 팀이나 1인 개발자에게 꽤 현실적인 선택지였어요.

이번 글에서는 제가 직접 구성해본 흐름을 기준으로, 엣지 AI와 서버리스 AI를 어떻게 조합했는지, 그리고 실제로 어디서 삽질했는지까지 정리해보겠습니다. 너무 화려한 데모보다, “이 정도면 실서비스 PoC(Proof of Concept, 개념 검증)로는 충분하겠다” 싶은 수준에 맞춰 설명드릴게요.

사용자 요청이 Cloudflare 엣지로 들어와 Workers와 AI 추론, 저장소 연동으로 이어지는 전체 구조 예시입니다.

Cloudflare Workers AI란 무엇인가

쉽게 말해, Cloudflare 네트워크 위에서 AI 추론을 호출하는 방식입니다. 우리가 직접 AI 모델 배포 환경을 일일이 운영하기보다, Worker 코드 안에서 AI 작업을 요청하고 결과를 응답으로 돌려주는 식이죠. 여기서 중요한 건 “엣지에서 실행되는 애플리케이션 로직”과 “AI 추론 호출”이 한 흐름으로 이어진다는 점입니다.

처음 접하면 “그럼 모든 모델이 로컬처럼 바로 도는 건가?” 하고 헷갈릴 수 있어요. 저도 처음엔 그랬거든요. 실제로 써보니까 핵심은 이렇습니다.

• Workers: HTTP 요청을 받고 라우팅, 인증, 전처리, 후처리를 담당합니다.
• Workers AI: 텍스트 생성, 분류, 임베딩(embedding, 의미 벡터화) 같은 AI 작업을 호출합니다.
• 엣지 AI: 사용자와 가까운 네트워크 지점에서 빠르게 응답 체감을 만드는 접근입니다.
• 서버리스 AI: GPU 서버 운영보다 코드 중심으로 기능을 붙이는 방식입니다.

이 조합이 왜 좋았냐면, 서비스 초기에 필요한 건 대개 “정답률 0.1% 더 높은 모델”보다도 빨리 붙고, 운영이 단순하고, 비용 구조를 예측하기 쉬운 아키텍처인 경우가 많기 때문입니다. 특히 문의 분류, 간단한 요약, 입력 정제, 임베딩 기반 검색 전처리 같은 작업은 중앙 집중형 대형 백엔드보다 엣지 쪽이 훨씬 손에 잘 붙는 경우가 있더라고요.

어떤 서비스에 잘 맞는가: 엣지 AI와 서버리스 AI 활용 기준

모든 AI 워크로드가 여기에 맞는 건 아닙니다. 이게 중요한 포인트예요. 작게 쪼갤 수 있는 추론 작업에 특히 잘 맞습니다. 제가 테스트하면서 잘 맞는다고 느낀 케이스는 아래와 같았습니다.

1. 사용자 입력 유해성 검사나 형식 검증 같은 프런트 관문 처리
2. 짧은 텍스트 요약이나 카테고리 분류
3. 검색 전 임베딩 생성과 간단한 추천 로직
4. 챗봇 앞단의 프롬프트 가공 및 응답 후처리
5. 파일 업로드 후 메타데이터 추출 같은 이벤트성 작업

반대로 긴 세션을 유지해야 하거나, 아주 무거운 후처리 파이프라인이 붙는 작업은 별도 백엔드와 역할을 나누는 편이 낫습니다. 저도 처음엔 모든 걸 Worker 하나에 넣어보려다가 금방 정신 차렸습니다. 서비스 경계가 흐려지면 디버깅이 정말 힘들어지거든요.

실전 구현: 가장 단순한 Workers AI API 만들기

이제 실제로 붙여보겠습니다. 예시는 “사용자 문의를 요약하고 카테고리 라벨을 붙여주는 API”로 잡아볼게요. 이 패턴은 생각보다 응용 범위가 넓더라고요.

1. 프로젝트 생성

Cloudflare에서는 보통 Wrangler(랭글러, CLI 도구)를 사용해 Worker 프로젝트를 만듭니다.

npm create cloudflare@latest workers-ai-demo
cd workers-ai-demo
npm install

생성 과정에서 Worker 템플릿을 선택하고, JavaScript 또는 TypeScript 기반으로 시작하면 됩니다. 저는 이런 종류는 TypeScript가 조금 더 편하더라고요. 입력과 출력 스키마를 잡기가 수월해서요.

2. Worker 코드 작성

핵심은 요청 본문을 받고, AI 바인딩(binding, 서비스 연결 객체)을 통해 추론을 호출한 뒤, 결과를 JSON으로 반환하는 구조입니다.

export default {
  async fetch(request, env) {
    if (request.method !== "POST") {
      return new Response("Method Not Allowed", { status: 405 });
    }

    const body = await request.json();
    const text = body.text;

    if (!text || typeof text !== "string") {
      return Response.json({ error: "text is required" }, { status: 400 });
    }

    const prompt = [
      "You are a support triage assistant.",
      "Summarize the user message in Korean in one sentence.",
      "Then assign one category among billing, technical, account, other.",
      "Return JSON with summary and category.",
      "User message:",
      text
    ].join("\n");

    const result = await env.AI.run("@cf/meta/llama-3-8b-instruct", {
      prompt
    });

    return Response.json({
      input: text,
      result
    });
  }
};

여기서 모델 식별자는 실제 Cloudflare에서 제공하는 카탈로그 기준으로 맞춰야 합니다. 글을 읽는 시점에 사용 가능한 모델 목록은 바뀔 수 있으니, 이 부분은 공식 문서를 한 번 확인하셔야 합니다. 저는 예전에도 이런 부분 대충 외워서 넣었다가 바로 에러 봤습니다. 이런 건 꼭 현재 콘솔 기준으로 맞추셔야 해요.

HTTP 요청이 Worker 코드로 들어오고, AI 바인딩을 통해 추론이 호출되는 내부 흐름을 정리한 이미지입니다.

3. 설정 파일 확인

설정 파일에서는 Worker 이름, 진입점, 호환성 날짜 같은 기본값과 함께 AI 바인딩을 선언합니다.

name = "workers-ai-demo"
main = "src/index.js"
compatibility_date = "2024-05-01"

[ai]
binding = "AI"

여기서 binding 이름이 코드의 env.AI와 일치해야 합니다. 별거 아닌데, 이거 안 맞으면 “왜 env에 아무것도 없지?” 하면서 시간 정말 많이 잡아먹습니다. 저도 한 번 오타로 한참 돌았네요.

4. 로컬 개발과 배포

npx wrangler dev
npx wrangler deploy

배포 후에는 발급된 Worker URL로 POST 요청을 보내 테스트하면 됩니다.

curl -X POST https://your-worker.your-subdomain.workers.dev \
  -H "Content-Type: application/json" \
  -d '{"text":"로그인이 자꾸 풀리고 결제 영수증도 확인이 안 됩니다."}'

이 단계에서 드디어 첫 응답이 오면 정말 기분이 좋습니다. 드디어 됐다! 싶은 순간이 있어요. 사실 구조 자체는 단순한데, AI 기능이 바로 붙는다는 체감이 꽤 큽니다.

실서비스 형태로 확장하기: 캐시, 저장소, 검증 로직

단순 데모에서 한 단계만 올라가도 필요한 게 생깁니다. 예를 들어 같은 입력이 반복되면 결과를 캐시(cache, 재사용 저장)하고 싶고, 요청 로그는 저장하고 싶고, 프롬프트 인젝션(prompt injection, 입력을 통한 지시 왜곡)도 어느 정도 방어하고 싶어지죠.

제가 실제로 써보니까 아래 3가지는 거의 필수에 가깝더라고요.

• 입력 검증: 너무 긴 본문, 빈 문자열, 예상 외 필드 차단
• 응답 캐시: 동일 입력 반복 호출 방지
• 로그 저장: 어떤 입력에서 어떤 결과가 나왔는지 추적

예를 들어 요청 해시(hash, 고정 길이 요약값)를 키로 써서 KV에 저장해두면 재호출을 줄일 수 있습니다.

async function sha256(text) {
  const data = new TextEncoder().encode(text);
  const digest = await crypto.subtle.digest("SHA-256", data);
  return Array.from(new Uint8Array(digest))
    .map((b) => b.toString(16).padStart(2, "0"))
    .join("");
}

export default {
  async fetch(request, env) {
    const body = await request.json();
    const text = body.text?.trim();

    if (!text) {
      return Response.json({ error: "empty text" }, { status: 400 });
    }

    const cacheKey = await sha256(text);
    const cached = await env.RESULTS_KV.get(cacheKey, "json");
    if (cached) {
      return Response.json({ source: "cache", data: cached });
    }

    const result = await env.AI.run("@cf/meta/llama-3-8b-instruct", {
      prompt: "Summarize in Korean: " + text
    });

    await env.RESULTS_KV.put(cacheKey, JSON.stringify(result), {
      expirationTtl: 3600
    });

    return Response.json({ source: "ai", data: result });
  }
};

이렇게만 해도 체감이 확 달라집니다. 특히 짧은 문의 요약이나 반복 질의가 많은 내부 도구에서는요. Cloudflare Workers AI 활용 포인트가 여기서 또 살아납니다. AI 자체보다도, 그 앞뒤의 경량 로직을 엣지에서 같이 처리하니까 전체 구성이 매끈해져요.

⚠️ 트러블슈팅: 제가 실제로 막혔던 지점들

이 섹션은 좀 현실적으로 가보겠습니다. 멋진 성공담보다 이런 게 더 도움 되더라고요.

1. 바인딩 이름 불일치

아까 잠깐 언급했지만, 설정의 AI 바인딩과 코드의 환경 변수 이름이 다르면 바로 실패합니다. 에러 메시지가 친절한 편일 때도 있지만, 처음 보면 감이 안 올 수 있어요.

• 증상: env.AI가 비어 있거나 호출 실패
• 원인: 설정 파일의 binding 이름과 코드 불일치
• 해결: 설정 파일과 코드 이름을 동일하게 맞추기

2. 응답 포맷이 들쭉날쭉함

생성형 모델은 항상 예쁘게 JSON을 주지 않습니다. “JSON으로 줘”라고 했는데 설명까지 붙여주는 경우도 있거든요. 저도 처음엔 파싱 로직을 믿고 갔다가 깨졌습니다.

• 증상: JSON 파싱 실패
• 원인: 모델 응답이 순수 JSON이 아님
• 해결: 출력 형식을 더 엄격하게 지시하거나, 후처리 파서를 둠

여기서는 가능하면 모델에게 자유 서술을 덜 주고, 출력 스키마를 명확히 제한하는 쪽이 낫습니다.

3. 무거운 워크로드를 한 번에 몰아넣음

처음엔 이게 만능처럼 보여서, 요약도 하고 분류도 하고 벡터도 만들고 로그도 남기고 알림도 보내고 한 번에 다 넣고 싶어집니다. 근데 여기서 구조가 금방 꼬입니다.

• 증상: 디버깅 난이도 상승, 응답 지연 증가
• 원인: 하나의 Worker에 역할 과다 집중
• 해결: 전처리 API, 추론 API, 비동기 저장 작업을 분리

이건 인프라 쪽에서 흔히 하는 실수랑 비슷합니다. 처음엔 단순해 보여도 책임 분리를 안 해두면 나중에 훨씬 더 힘들어요.

4. 모델 선택보다 프롬프트 설계가 더 중요했던 경우

모델만 바꾸면 해결될 줄 알았는데, 실제로는 프롬프트(prompt, 모델에게 주는 지시문) 설계가 더 큰 영향을 준 경우가 많았습니다. 특히 분류 작업은 라벨 정의를 명확히 안 해두면 결과가 흔들리더라고요. 혹시 이런 경험 있으신가요? 모델 탓만 하다가 결국 입력 문장 설계부터 다시 보는 경우요.

바인딩 오류, 응답 포맷 문제, 역할 과다 집중 같은 흔한 장애 포인트를 시각적으로 정리한 이미지입니다.

검증과 결과: 무엇이 좋아졌나

완성 후에는 꼭 확인해야 합니다. 그냥 “응답 온다”에서 끝내면 안 되거든요. 저는 아래 기준으로 검증했습니다.

1. 기능 검증: 입력별로 요약과 분류가 의도대로 나오는지
2. 지연 시간 확인: 중앙 백엔드 경유 대비 체감 응답이 나아졌는지
3. 재현성 확인: 동일 입력에서 품질이 과도하게 흔들리지 않는지
4. 운영성 확인: 로그 추적과 에러 원인 파악이 쉬운지

여기서 중요한 건 과한 기대를 버리는 겁니다. 이 구조의 장점은 최고 성능 경쟁보다 빠른 서비스화와 운영 단순화에 있습니다. 실제로 써보니까, 고객 문의 분류기나 내부 자동화 도구처럼 “완벽한 창의성”보다 “일관된 처리”가 중요한 곳에 특히 잘 맞더라고요.

curl -X POST https://your-worker.your-subdomain.workers.dev \
  -H "Content-Type: application/json" \
  -d '{"text":"회원 탈퇴 후 재가입이 안 되고 인증 메일도 오지 않습니다."}'

{
  "source": "ai",
  "data": {
    "summary": "회원 탈퇴 이후 재가입과 인증 메일 수신에 문제가 있는 상태입니다.",
    "category": "account"
  }
}

이 정도 흐름만 안정적으로 나오면 PoC 단계에서는 꽤 괜찮습니다. 특히 AI 모델 배포를 직접 무겁게 하지 않고도 사용자-facing API를 만들 수 있다는 점이 정말 좋았습니다. 물론 대규모 서비스로 갈수록 관측성(observability, 관찰 가능성), 비용 추적, 프롬프트 버전 관리가 더 중요해지겠지만요.

API 호출 결과, 캐시 적중 여부, 응답 흐름 확인 같은 검증 포인트를 한눈에 볼 수 있는 예시 이미지입니다.

Cloudflare Workers AI 활용 시 운영 팁

마지막으로, 제가 정리해둔 운영 팁 몇 가지를 공유드릴게요. 이런 건 문서 한 줄보다 실제 운영에서 더 크게 다가오더라고요.

• 프롬프트 버전 관리: 코드와 같이 관리해야 롤백이 쉽습니다.
• 입력 길이 제한: 무제한 입력을 열어두면 품질과 비용이 같이 흔들립니다.
• 캐시 전략 분리: 요약, 분류, 임베딩은 캐시 정책이 달라야 합니다.
• 장애 대비: AI 호출 실패 시 기본 응답 또는 재시도 정책을 준비합니다.
• 비동기 분리: 저장, 알림, 통계 적재는 가능하면 본 응답 경로에서 떼어냅니다.

그리고 하나 더. Cloudflare Workers AI 활용은 만능 해법이 아니라, 서비스의 앞단을 영리하게 가볍게 만드는 선택지라고 보는 게 맞습니다. 이 관점으로 접근하면 훨씬 덜 실망하고, 훨씬 더 잘 쓰게 됩니다.

정리: 엣지 AI 서비스는 작게 시작하는 게 맞습니다

오늘 정리한 내용을 한 문장으로 줄이면 이겁니다. 엣지 AI와 서버리스 AI는 작은 기능을 빠르게 서비스화할 때 강력하다. 저도 처음엔 이게 뭔가 싶었는데, 직접 붙여보니까 “아, 이건 대형 모델 인프라를 대체한다기보다 앞단 자동화를 엄청 빠르게 만든다”는 쪽에 가깝더라고요.

만약 지금 AI 기능을 제품에 붙이려는데 인프라 부담이 걱정되신다면, 문의 분류기나 요약 API처럼 작고 분명한 문제부터 시작해보시는 걸 권합니다. 거기서 검증이 되면 검색, 추천, 간단한 어시스턴트 기능으로 확장하면 되고요. 다음 글에서는 Workers와 KV, R2를 같이 써서 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 비슷한 흐름을 어떻게 가볍게 실험할 수 있는지 다뤄볼 예정입니다. 이전 글에서 다뤘던 엣지 캐시 전략과도 연결해서 보시면 더 이해가 잘 되실 거예요.

전통적 모델 서버 방식과 엣지 AI 방식의 차이, 적용하기 좋은 워크로드를 요약한 인포그래픽입니다.

자주 묻는 질문

Q1. Cloudflare Workers AI 활용은 어떤 팀에 가장 잘 맞나요?

A. 작은 팀, 빠른 PoC가 필요한 팀, 그리고 AI 모델 운영보다 서비스 통합이 더 급한 팀에 잘 맞습니다.

Q2. 서버리스 AI만으로 모든 서비스를 구성할 수 있나요?

A. 아닙니다. 장시간 작업이나 복잡한 파이프라인은 별도 백엔드와 역할을 나누는 편이 더 안정적입니다.

Q3. AI 모델 배포를 완전히 대체하나요?

A. 완전 대체라기보다, 특정 구간에서는 훨씬 더 가볍고 빠른 대안이 됩니다. 특히 요청 전처리, 요약, 분류 같은 작업에서 장점이 큽니다.