인프라 · 반도체 · 추론
AI 인프라와 반도체, 어디에 두고 돌릴까
모델을 정했다면 다음 질문은 어디에서 돌릴지입니다. 클라우드, 자체 데이터센터, 온디바이스, 엣지 중 어디에 두느냐에 따라 비용 구조와 통제 방식이 달라집니다.
인프라는 한 곳에 몰아두는 결정이 아니라, 워크로드마다 나눠 두는 결정입니다
이 페이지는 AI 반도체와 NPU, 온디바이스 AI, 엣지 AI, 데이터센터까지 인프라 선택지를 한자리에서 비교할 수 있게 정리합니다. 어느 쪽이 옳다는 결론 대신, 무엇을 먼저 확인해야 하는지를 순서대로 짚습니다.
클라우드와 온프레미스 사이의 실제 기준
기준은 세 가지입니다. 데이터가 외부로 나가도 되는지, 응답 지연이 얼마나 허용되는지, 사용량이 예측 가능한지. 민감 데이터를 다루면서 지연이 중요하면 자체 또는 사설 구성이 맞습니다. 반대로 사용량 변동이 크고 데이터 제약이 적으면 클라우드가 유리합니다.
두 가지를 섞는 구성도 흔합니다. 학습과 대규모 배치 처리는 클라우드에 두고, 개인정보가 걸린 추론만 사내에 남기는 식입니다. 이때는 경계를 어디에 그었는지 문서로 남겨두어야 감사 대응이 쉬워집니다.
먼저 확인할 것
개인정보·영업비밀이 걸린 데이터의 목록과, 그 데이터가 어느 단계에서 외부로 나가는지.
온디바이스 AI와 엣지 AI는 언제 쓰나
현장 검사 라인 — 지연이 곧 불량 판정 속도
온디바이스는 기기 안에서 처리하므로 데이터가 밖으로 나가지 않습니다. 엣지는 현장 가까이에서 처리해 지연을 줄입니다. 제조 검사나 현장 응대처럼 즉시 응답이 필요한 경우에 맞습니다.
반대로 대규모 문서 분석처럼 처리량이 중요한 작업은 클라우드가 효율적입니다. 기기 성능의 상한, 모델 경량화 비용, 원격 업데이트 체계까지 함께 따져야 실제 운영이 됩니다.
NPU와 추론 특화 칩의 역할
학습보다 추론이 많아지면서 전력과 비용 효율이 중요해졌습니다. NPU와 추론 특화 칩은 이 지점을 겨냥합니다. 한국 정부가 2027년 예산 계획에서 AI 반도체를 핵심 투자 분야로 제시한 것도 같은 흐름입니다.
전력당 추론량
같은 작업을 같은 시간에 처리할 때 드는 전력이 얼마인지가 첫 번째 비교 축입니다. 전기요금이 큰 사업장일수록 이 차이가 예산에 직접 반영됩니다.
소프트웨어 생태계
칩 성능만으로 결정되지 않습니다. 쓰려는 모델이 그 칩에서 실제로 돌아가는지, 개발 도구와 라이브러리가 함께 성숙했는지를 확인해야 합니다.
교체 주기와 확장
추론 수요는 예고 없이 늘어납니다. 한 세대 안에서 몇 장까지 붙일 수 있는지, 다음 세대로 갈 때 기존 코드를 얼마나 다시 손대야 하는지도 함께 봅니다.
데이터센터를 어디에 둘 것인가
전력, 냉각, 네트워크 지연이 세 가지 축입니다. 수도권에 몰리면 전력과 부지 비용이 올라갑니다. 반대로 멀리 두면 지연이 늘어 실시간 서비스에 불리합니다.
워크로드별로 요구 조건이 다르므로 한 곳에 모두 두려 하지 않는 편이 낫습니다. 학습처럼 지연에 둔감하고 전력을 많이 쓰는 작업은 전력 단가가 낮은 지역으로, 대화형 서비스는 사용자와 가까운 곳으로 나누는 구성이 자주 검토됩니다.
데이터 파이프라인을 먼저 점검해야 하는 이유
인프라를 늘려도 데이터가 정리되지 않으면 처리할 것이 없습니다. 라벨링 상태, 저장 형식, 접근 권한이 정리되어 있는지 먼저 확인합니다. Superb AI처럼 데이터 구축을 다루는 기업이 등장하는 이유도 이 단계가 병목이기 때문입니다.
인프라 투자와 데이터 정비는 함께 가야 합니다. 정비되지 않은 데이터 위에 비싼 가속기를 올리면, 비용은 늘고 정확도는 제자리인 상태가 오래 갑니다.
점검 순서
- 라벨 기준이 문서로 남아 있는가
- 저장 형식이 학습과 추론에서 같은가
- 접근 권한이 역할별로 나뉘어 있는가
모델 접속 계층을 두는 방식
여러 모델을 쓸 계획이라면 접속 계층을 분리하는 구성이 검토됩니다. Tencent Cloud의 TokenHub처럼 여러 모델을 한곳에서 접속하게 하는 MaaS 구조가 그 예입니다.
이 계층이 있으면 모델을 바꿔도 상위 워크플로우를 다시 만들 필요가 줄어듭니다. 대신 통제와 비용 가시성을 이 계층에서 확보해야 합니다. 어떤 팀이 어떤 모델을 얼마나 호출했는지가 여기서 집계되지 않으면, 비용은 결국 총액으로만 보입니다.
계층에서 확보할 것
호출 경로, 모델별 사용량, 데이터가 어느 리전을 거쳐 나가는지에 대한 기록.
비용을 예측하는 방법
학습 비용과 추론 비용을 분리해서 봅니다. 학습은 일회성에 가깝고, 추론은 사용량에 비례해 계속 발생합니다. 대부분의 예산 초과는 추론 쪽에서 나타납니다.
- 학습 프로젝트 단위로 끝나는 지출입니다. 파인튜닝을 얼마나 자주 돌릴지, 데이터가 늘어날 때 다시 돌릴지가 변수입니다.
- 추론 사용자 수와 호출 빈도에 비례해 매달 반복됩니다. 사용자 수와 호출 빈도를 먼저 산정하면 규모를 가늠할 수 있습니다.
- 전력과 냉각 자체 구성에서는 이 항목이 고정비로 남습니다. 가속기를 놀리는 시간이 길수록 단위 작업당 비용이 올라갑니다.
- 운영 인력 자체 데이터센터를 두면 장비 교체와 장애 대응에 사람이 붙습니다. 클라우드 요금표에는 보이지 않던 항목입니다.
- 데이터 이동 대용량 데이터를 외부로 옮길 때 발생하는 비용과 시간입니다. 반복 배치에서는 무시하기 어려운 규모가 됩니다.
통신 인프라와 결합한 구성
SK Telecom은 통신 인프라와 결합한 AI 전략을 추진하며 소버린 AI 이니셔티브의 핵심 기업으로 포함됩니다. 네트워크 사업자가 AI 인프라 사업자 역할을 겸하는 흐름입니다.
자체 인프라를 갖기 어려운 조직에는 이런 결합형 구성이 대안이 됩니다. 다만 통제 범위와 데이터 위치를 계약 단계에서 확인해야 합니다. 어느 리전에 어떤 데이터가 남는지, 감사 기록을 요청할 수 있는지가 계약서에 적혀 있어야 합니다.
자주 나오는 질문
인프라 검토 회의에서 반복해서 올라오는 두 가지 질문입니다. 답이 갈리는 지점을 먼저 확인하세요.
한국에서 온디바이스 AI와 클라우드 AI는 어떻게 나뉘나요?
데이터 외부 전송 가능 여부와 응답 지연 요구 조건으로 나뉩니다. 민감 데이터와 즉시 응답이 필요하면 온디바이스나 엣지, 대규모 처리는 클라우드가 맞습니다.
AI 반도체를 도입하면 비용이 줄어드나요?
워크로드에 따라 다릅니다. 추론 비중이 높고 전력 비용이 큰 경우에 효과가 나타나며, 소프트웨어 생태계 성숙도도 함께 봐야 합니다.
다음 단계로 이어서 볼 내용
인프라 결정은 혼자 끝나지 않습니다. 어떤 모델을 어떤 조건으로 쓰는지가 정해져 있어야 서버 구성과 계약 조건도 확정됩니다. 아래 순서로 이어 읽으면 판단에 필요한 조각이 채워집니다.
뷰오벡스 · 월요일–금요일 09:00–18:00 · +82 2-592-9523 · [email protected]