텔코LLM 개념도. SKT 제공SK텔레콤이 통신 서비스에 특화된 '텔코LLM(통신사 특화 거대언어모델)'을 내놓는다. 6월 중 한국형 텔코 LLM 개발을 완료하고 향후 글로벌 버전까지 개발하겠다는 계획이다.
업종 특화하며 '멀티 LLM 전략' 선택한 SKT
SKT는 30일 서울 중구 SKT타워에서 설명회를 열고 텔코LLM을 6월 중 개발 완료할 예정이라고 밝혔다. 텔코LLM은 통신사를 뜻하는 '텔코'와 거대언어모델을 의미하는 'LLM'의 합성어다. 5G 요금제, T멤버십, 공시지원금 등 우리나라의 통신 전문 용어와 AI 윤리가치 같은 통신사의 내부 지침을 학습하고 있다.
SKT는 빅테크 LLM을 기반으로 업종에 특화된 모델을 만드는 최근 흐름을 타면서 '멀티 LLM'을 쓰는 전략을 택했다. 텔코LLM은 SKT의 에이닷엑스(A.X), 오픈AI의 GPT, 앤트로픽의 클로드 등 다양한 범용모델을 기반으로 튜닝했다. 이외에도 구글의 제미나이 등 다른 LLM 활용도 열어두고 있다. 단 5~6개 정도의 LLM 사용을 염두에 두고 있다.
에릭 데이비스 SKT AI Tech Collaboration담당은 "한 개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략"이라고 설명했다.
에릭 데이비스 SKT AI Tech Collaboration담당(왼쪽)과 정민영 SKT AI플랫폼 담당. SKT 제공"텔코LLM, 통신사 다양한 영역서 업무 효율성 높일 것"
SKT는 현재 자사의 LLM인 에이닷엑스와 오픈 AI의 GPT-4, 앤트로픽의 클로드에 한국어로 된 통신 관련 데이터를 학습시켜 다양한 텔코LLM을 개발하고 있다. 범용 LLM 대비 텔코 LLM이 통신 영역에서 높은 수준의 생성형 AI 작업을 수행할 수 있기 때문에 활용성이 높을 것이라는 기대에서다.
이를 위해 우선 텔코 데이터를 수집하고 비정형·정형 데이터를 선별, 정제하는 작업을 한다. 이를 기반으로 LLM을 통신사 전용으로 미세조정하는 과정을 거치고, 사람의 피드백 기반의 강화 학습을 한 후 최종 모델 평가를 하는 사이클을 거친다.
정민영 SKT AI플랫폼 담당은 "고객센터, 인프라뿐 아니라 마케팅·유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "지속해서 텔코LLM을 활용한 활용 사례를 늘려갈 계획"이라고 설명했다.
인텔리전스 플랫폼 개념도. SKT 제공통신사들 향한 구애 '인텔리전스 플랫폼'도 공개
SKT는 통신사가 생성형 AI 앱을 쉽게 구축할 수 있게 돕는 '인텔리전스 플랫폼'도 공개했다. 이 플랫폼은 일종의 기업용 AI 개발·운용 패키지다. 통신업에 특화한 다양한 LLM을 고객센터 콜봇, 챗봇, 유통 채널 어시스턴트 등에 쉽고 효율적으로 사용할 수 있다. 글로벌 통신사는 물론 통신사와 상담 업무 등 업무 특성이 비슷한 기업들이 이 플랫폼을 활용할 수 있다.
정 담당은 "기존 사내 시스템에 축적된 데이터를 활용해 업무 효율성을 높이는 작업, LLM의 이해 능력을 활용해 검색을 원활히 하는 작업, 문서 초안을 생성한다거나 시스템 모니터링을 하는 작업 등으로 다양하게 사용 범위를 확장할 수 있다"고 설명했다.