[디지털경제뉴스 박시현 기자] 뉴렐릭은 기업에서 생성형 AI 애플리케이션 개발, 배포, 모니터링 과정의 복잡성을 완화하고 비용을 절감할 수 있도록 옵저버빌리티 플랫폼 ‘뉴렐릭’을 엔비디아 NIM 추론 마이크로서비스와 통합했다고 밝혔다.
이제 고객은 ‘뉴렐릭 AI 모니터링’을 통해 엔비디아 NIM으로 구축된 애플리케이션의 AI 스택 전반에 걸쳐 통합적인 가시성을 확보할 수 있으며, 또 설정을 더욱 간소화하고 데이터 보안을 보장받을 수 있다. 이는 엔비디아 NIM 자체 호스팅 모델의 뛰어난 보안 기능과 사용 용이성을 보완해 생성형 AI 애플리케이션 제작을 가속화한다. 고객은 뉴렐릭과 엔비디아 NIM의 통합을 통해 보다 빠르게 AI를 도입하고 투자수익률(ROI)을 달성할 수 있다.
기업은 디지털 경험 향상, 생산성 증대 및 수익성 개선을 목적으로 생성형 AI를 빠르게 도입하고 있다. 가트너에 따르면, 2026년까지 80% 이상의 기업이 생성형 AI를 이용하거나 생성형 AI 애플리케이션을 배포할 것으로 예상된다. 기업이 시장에서 우위를 점하기 위해선 빠른 배포 및 ROI 실현이 매우 중요하며, 이를 가능케 하는 핵심 요소는 옵저버빌리티다.
옵저버빌리티 기술은 서비스, 인프라 및 AI 레이어 전반에 걸쳐 AI 애플리케이션 스택에 대한 전체적인 정보를 실시간 확인할 수 있도록 하여 효율적이고, 안정적이며, 비용 효과적인 운영을 지원한다.
AI 애플리케이션은 기술 스택 관리를 더 어렵게 만들고, 보안 문제를 증가시키며, 막대한 비용을 초래할 수 있다. 뉴렐릭 AI 모니터링은 데이터 프라이버시를 보장하면서 처리량, 레이턴시, 비용에 대한 주요 메트릭과 함께 AI 스택에 대한 통합적인 가시성을 제공한다. 또한 서비스 및 모델 전반의 요청 흐름을 추적해 AI 애플리케이션의 내부 작동 상황을 이해할 수 있다.
뉴렐릭은 데이터브릭스 DBRX, 구글 젬마, 메타 라마 3, 마이크로소프트 파이-3, 미스트랄 라지, 미스트랄 8x22B, 스노우플레이크 아크틱 등 다양한 AI 모델을 지원하며 엔비디아 NIM에 대해 심층적인 모니터링을 확대하여 제공한다. 이를 통해 기업은 엔비디아 NIM으로 구축된 AI 애플리케이션을 효과적으로 배포하고, 시장 출시 시간을 단축하며, ROI를 개선할 수 있다.
뉴렐릭 AI 모니터링의 주요 기능 및 활용 사례는 다음과 같다.
▪AI 풀스택 가시성: 애플리케이션, 엔비디아 GPU 기반 인프라, AI 레이어뿐 아니라 응답 품질, 토큰 수 및 APM 골든 시그널 등 전반을 아우르는 가시성을 통해 보다 신속히 문제 발견
▪모든 응답에 대한 심층 추적 인사이트: AI 응답과 관련된 전체적인 라이프 사이클을 추적하여 편향, 유해성, AI 할루시네이션과 같은 성능 및 품질 문제 해결
▪모델 인벤토리: 한 곳에서 모든 엔비디아 NIM 추론 마이크로서비스 전반의 주요 지표를 추적해 모델 관련 성능, 오류 및 비용 문제를 손쉽게 분리
▪모델 비교: 프로덕션 환경에서 실행 중인 여러 엔비디아 NIM 추론 마이크로서비스들 간의 성능을 한 눈에 비교해 인프라 및 사용자 요구사항에 따라 모델 선택 최적화
▪심층적인 GPU 인사이트: GPU 사용률, 온도 및 성능 상태와 같은 매우 중요한 가속 컴퓨팅 지표 분석을 통해 컨텍스트 이해 및 보다 빠른 문제 해결
▪향상된 데이터 보안: 엔비디아 자체 호스팅 모델의 보안 이점과 더불어, AI 요청 및 응답 중 개인 식별 정보(PII) 등 민감한 데이터에 대한 모니터링을 제외할 수 있도록 지원
이번 뉴렐릭과 엔비디아의 기술 통합은 최근 뉴렐릭이 엔비디아의 ‘AIOps 파트너 생태계’에 합류한 후 실현됐다. 뉴렐릭은 엔비디아 AI의 가속 컴퓨팅을 활용해 옵저버빌리티와 AI를 결합함으로써 IT 운영을 간소화하고 머신러닝 및 뉴렐릭 AI 생성형 AI 어시스턴트를 통한 혁신을 가속화할 수 있게 됐다.
뉴렐릭은 엔비디아 GPU 및 엔비디아 트리톤 추론 서버 소프트웨어를 포함한 60개 이상의 부문에서 AI 기술을 통합함으로써 가장 종합적인 옵저버빌리티 솔루션을 제공하고 있다. 뉴렐릭 AI 모니터링은 올인원 옵저버빌리티 플랫폼을 통해 이용 가능하며, 사용량 기반 과금 모델로 제공된다.
