기업용 GenAI, 불투명성과 정확도 문제로 논란

기업용 GenAI, 매우 부정확하고 불투명하다는 연구 결과

스탠퍼드 대학교에서 실시한 두 건의 연구에 따르면 ChatGPT와 같은 생성형 AI 도구의 기반이 되는 대규모 언어 모델(LLM)은 기업 데이터베이스에 연결할 때 매우 부정확하고 불투명한 것으로 밝혀졌습니다. LLM이 계속해서 방대한 양의 정보를 수집하고 규모가 커짐에 따라 사용하는 데이터의 출처를 추적하기가 어려워져 기업, 학계, 정책 입안자들이 어려움을 겪고 있습니다.

투명성 문제와 도전과제

LLM의 투명성 부족은 상업용 유전체 AI 기반 모델을 사용하여 애플리케이션을 구축하려는 기업에게 우려를 불러일으킵니다. 또한 연구 목적으로 이러한 모델에 대한 학계의 신뢰도도 떨어집니다. 스탠포드 연구팀이 기초 모델 투명성 지수(FMTI)를 사용해 10개의 LLM을 평가한 결과, 평균 투명성 점수가 37%에 불과한 것으로 나타났습니다. 이러한 투명성 부족은 규제 당국이 잠재적 위험에 대처하고 소비자가 모델의 한계를 이해하기 어렵게 만듭니다.

보안 위험과 불확실성

카스퍼스키랩이 별도로 실시한 설문 조사에 따르면 고위 경영진의 95%는 직원들이 정기적으로 genAI 도구를 사용하고 있다고 답했으며 53%는 현재 특정 비즈니스 부서를 주도하고 있다고 답했습니다. 그러나 경영진의 59%는 중요한 회사 정보를 손상시키고 핵심 비즈니스 기능에 대한 통제력을 상실할 수 있는 genAI 관련 보안 위험에 대해 깊은 우려를 표명했습니다.

정확성 문제와 신뢰 침식

데이터 카탈로그 플랫폼 제공업체인 data.world가 실시한 또 다른 연구에 따르면 SQL 데이터베이스에 연결된 LLM이 기본적인 비즈니스 쿼리에 대해 정확한 응답을 반환하는 경우는 22%에 불과했습니다. 더 복잡한 쿼리의 경우 정확도는 0%로 떨어졌습니다. 이러한 정확성 부족은 신뢰를 약화시키고 이사회나 규제 당국에 부정확한 정보를 제공하는 것과 같은 심각한 결과를 초래할 수 있습니다.

정확성 문제 해결 및 투명성 제고

LLM의 정확성을 개선하려면 강력한 데이터 기반과 엔터프라이즈 SQL 데이터베이스의 지식 그래프 표현을 사용해야 합니다. 이러한 접근 방식은 정확도를 54%까지 높이는 것으로 나타났습니다. 그러나 LLM의 전반적인 정확도는 오픈 웹에서 관찰된 패턴에 의존하기 때문에 특정 기업 컨텍스트와 항상 일치하지 않을 수 있습니다.

기업은 특정 유형의 질문에 대한 답변의 정확도를 높이기 위해 소규모 언어 모델(SLM) 또는 산업별 언어 모델(ILM)을 사용하는 것도 고려할 수 있습니다. 하지만 민감하고 독점적인 정보를 보호하고 모델의 예측 가능성을 유지하려면 감독과 거버넌스가 매우 중요합니다.

GenAI의 미래와 투명성

GenAI 툴이 계속 발전함에 따라 투명성은 공공의 책임, 과학적 혁신, 디지털 기술의 효과적인 거버넌스를 위한 중요한 요소로 남아 있습니다. 투명성이 확보되지 않으면 규제 당국은 올바른 질문을 던지고 적절한 조치를 취하는 데 어려움을 겪습니다. LLM이 제기하는 과제는 비즈니스 환경에서 genAI의 잠재적 이점을 완전히 실현하기 위해 정확성과 투명성 문제를 해결하기 위한 지속적인 연구 개발의 필요성을 강조합니다.

전반적으로 이 연구는 genAI 도구 사용에 있어 투명성, 정확성, 윤리적 고려사항의 중요성을 강조하며 기업, 연구자, 정책 입안자들이 책임감 있고 효과적인 AI 기술 사용을 보장하기 위해 이러한 과제를 책임감 있게 해결할 것을 촉구합니다.