패트로너스, 신뢰할 수 있는 AI를 위한 진단 도구 개발

스타트업 기업 패트로너스, GenAI의 실수를 잡아내는 진단 도구 개발

ChatGPT, Dall-E2, 알파코드와 같은 생성형 인공지능(genAI) 플랫폼이 빠르게 발전함에 따라 이러한 도구가 오류나 공격적인 응답을 생성하는 것을 방지하는 문제는 점점 더 어려워지고 있습니다. 지금까지는 genAI의 기반이 되는 대규모 언어 모델(LLM)에서 생성된 정보의 정확성을 보장하는 방법이 제한적이었습니다.

신뢰할 수 있는 genAI에 대한 필요성이 커짐에 따라 스타트업 기업인 Patronus는 기업이 LLM을 안전하게 사용할 수 있도록 설계된 자동화된 평가 및 보안 플랫폼을 출시했습니다. 패트로너스의 툴은 적대적 테스트를 통해 모델 내의 불일치, 부정확성, 환각, 편향성을 감지할 수 있습니다.

신뢰 및 안전 문제 해결

패트로너스의 설립자 겸 CEO인 아난드 칸나나판(Anand Kannanappan)은 AI 시스템에 대한 신뢰 구축의 중요성을 강조합니다. 그는 “사람들이 AI를 신뢰하지 않는 이유는 그것이 환각인지 확신할 수 없기 때문입니다. 이 제품은 검증을 위한 제품입니다.”

패트로너스의 심플세이프티테스트 진단 도구 제품군은 100가지 테스트 프롬프트를 활용하여 AI 시스템에 심각한 안전 위험이 있는지 조사합니다. 패트로너스는 광범위한 테스트를 통해 OpenAI의 ChatGPT 및 기타 AI 챗봇을 비롯한 인기 있는 genAI 플랫폼을 평가했습니다. 그 결과 이러한 챗봇의 실패율이 약 70%에 달해 신뢰성 개선이 필요하다는 것을 알 수 있었습니다.

가트너의 부사장이자 저명한 애널리스트인 아비바 리탄은 3%에서 30%에 이르는 AI 환각률의 심각성을 강조합니다. 그러나 이 문제에 대한 포괄적인 데이터는 아직 제한적입니다.

AI 배포의 보안 및 신뢰 강화

Gartner는 2025년까지 세대AI를 위한 사이버 보안 리소스에 대한 지출이 15% 증가할 것으로 예측하며, 이는 이러한 시스템을 보호해야 할 필요성이 커지고 있음을 나타냅니다. 이 보고서는 또한 자동화된 프로세스에만 의존하는 것은 조직을 위험한 길로 이끌 수 있으므로 AI 배포에 있어 사람의 개입이 중요하다고 강조합니다.

이전에는 빙 챗봇으로 알려진 마이크로소프트의 365용 코파일럿은 AI 시스템에서 사람의 감독 필요성에 대한 인식을 제고할 것으로 기대됩니다. 코파일럿은 가트너가 제시한 5가지 요건 중 하나만 충족하지만, 회사의 개인 데이터만 입력하면 정확한 정보 출력을 보장합니다. 하지만 기본 설정에서는 인터넷에서 가져온 정보를 사용할 수 있어 잘못된 정보가 출력될 가능성이 있습니다.

신뢰성 있는 AI를 보장하는 패트로너스의 역할

패트로너스는 genAI 모델에 대한 신뢰할 수 있는 제3자 평가자가 되어 AI에 대한 신뢰 부족 문제를 해결하는 것을 목표로 합니다. Patronus는 검증 검사 및 안전성 테스트를 제공함으로써 기업이 자동화된 방식으로 대규모의 언어 모델 오류를 발견할 수 있도록 지원합니다.

파트로너스는 진단 툴을 통해 여러 개방형 언어 모델에서 심각한 안전 취약점을 발견했습니다. 일부 LLM은 안전하지 않은 응답을 생성하지 않았지만, 대다수의 경우 20% 이상에서 안전하지 않은 응답이 나타났으며 극단적인 경우 50%를 초과했습니다.

패트로너스는 주로 의료, 법률, 금융 서비스 등 규제가 엄격한 산업 분야의 고객에게 서비스를 제공합니다. 이러한 분야에서는 소송이나 규제 벌금으로 이어질 수 있는 오류를 피하기 위해 신뢰할 수 있는 AI 시스템이 필요합니다.

Conclusion

genAI가 계속 발전함에 따라 패트로너스의 진단 플랫폼과 같은 도구의 필요성이 점점 더 분명해지고 있습니다. Patronus는 AI 시스템의 정확성, 안전성, 신뢰 문제를 해결함으로써 기업이 신뢰할 수 있고 안전한 genAI 배포를 보장할 수 있는 수단을 제공하는 것을 목표로 합니다.

면책 조항: 이 문서에 제공된 정보는 2024년 11월 29일 루카스 메리안 선임 기자가 게시한 “이제는 ChatGPT 습관을 버려야 할 때”라는 제목의 뉴스 기사를 기반으로 합니다. 이 문서에 제시된 명제와 내용은 원본 뉴스 기사에서 제공된 정보에서 발췌한 것입니다.