프라이버시 강화, 지역 기반 AI 챗봇 ‘Chat with RTX’ 출시

엔비디아, 윈도우용 개인용 AI 챗봇 ‘Chat with RTX’ 공개

엔비디아가 윈도우 PC를 위해 설계된 개인용 AI 챗봇인 ‘Chat with RTX’를 출시했다고 발표했습니다. 이 새로운 챗봇은 사용자가 데이터를 로컬로 유지하면서 쿼리에 대한 사용자 지정 컨텍스트를 추가할 수 있어 보안 및 개인 정보 보호를 강화할 수 있습니다. 데모 앱인 Chat with RTX는 현재 무료로 다운로드할 수 있으며, 사용자는 자신의 콘텐츠와 데이터 소스로 챗봇을 개인화할 수 있습니다.

보안 및 개인정보 보호 강화

Windows RTX PC 및 워크스테이션에서 로컬로 실행되는 Chat with RTX를 통해 사용자는 데이터를 디바이스에 유지하면서 빠른 결과를 얻을 수 있습니다. 클라우드 기반 언어 모델 서비스와 달리 이 챗봇은 사용자가 민감한 데이터를 타사와 공유하거나 인터넷 연결에 의존할 필요 없이 로컬 PC에서 처리할 수 있습니다.

사용자 지정 및 호환성

Chat with RTX는 사용자에게 두 가지 오픈 소스 언어 모델인 미스트랄 또는 라마 2 중에서 선택할 수 있는 옵션을 제공합니다. 챗봇을 실행하려면 최소 8GB의 비디오 RAM이 장착된 Nvidia GeForce RTX 30 시리즈 이상의 GPU가 필요합니다. 챗봇은 최신 NVIDIA GPU 드라이버와 함께 Windows 10 또는 11과 호환됩니다.

효율적인 쿼리 및 데이터 관리

챗봇을 사용하면 사용자가 노트나 저장된 콘텐츠를 수동으로 검색하는 대신 쿼리를 입력할 수 있어 검색 프로세스가 간소화됩니다. 이 챗봇은 텍스트, pdf, doc/docx, xml 등 다양한 파일 형식을 지원합니다. 사용자는 관련 파일이 들어 있는 폴더를 가리켜 챗봇의 라이브러리에 데이터를 추가할 수도 있습니다.

개발자 역량 강화

개발자는 GitHub에서 제공되는 TensorRT-LLM RAG 개발자 참조 프로젝트를 활용하여 플랫폼용 RAG 기반 앱을 직접 구축할 수 있습니다. 이를 통해 AI 챗봇 분야에서 더욱 커스터마이징하고 혁신할 수 있습니다.

근로자 생산성 및 개인정보 보호 강화

Nvidia의 Chat with RTX는 AI를 대중화하고 여러 플랫폼에서 액세스할 수 있도록 한다는 사명에 부합합니다. 로컬에서 운영되는 개인화된 챗봇을 제공함으로써 Nvidia는 개인 정보 보호 문제를 줄이면서 작업자의 생산성을 높이는 것을 목표로 합니다. 챗봇은 사용자의 로컬 환경 내에서 작동하므로 대화를 비공개로 안전하게 유지하여 민감한 정보가 외부로 노출될 위험을 최소화합니다.

보안 및 개인정보 보호 문제 해결

genAI 기반 챗봇의 도입이 증가하고 있지만 보안 및 개인 정보 보호 문제도 함께 증가하고 있습니다. 엔비디아는 데이터와 응답을 사용자의 로컬 환경으로 제한함으로써 이러한 우려를 해결합니다. 이를 통해 데이터 유출 및 민감한 정보에 대한 무단 액세스의 위험을 크게 줄일 수 있습니다.

지속적인 감독 및 책임감 있는 사용

기업은 직원들이 언어 모델에 입력하는 데이터에 대한 지속적인 감독을 유지하는 것이 좋습니다. 생성 AI의 책임 있는 사용에 관한 정책을 직원들에게 전달할 수 있지만, 민감한 기업 데이터가 언어 모델에 입력되는 것을 방지하기 위해 지속적인 모니터링이 필요합니다.

향후 시사점 및 접근성

클라우드에서 서버, 엣지 컴퓨팅에 이르기까지 다양한 플랫폼에서 AI에 액세스할 수 있도록 하는 엔비디아의 노력은 이 분야의 하드웨어 및 소프트웨어 공급업체로서 엔비디아의 입지를 공고히 하고 있습니다. Chat with RTX는 이러한 노력을 잘 보여주는 예로, 사용자에게 로컬 환경에서 AI의 편리함과 강력한 성능을 제공합니다.

전반적으로 엔비디아의 ‘Chat with RTX’는 보안, 개인 정보 보호, 사용자 생산성 향상을 결합한 개인화된 AI 챗봇을 위한 유망한 솔루션을 제시합니다.