Amazon Q, AI 비서의 환각과 기밀 데이터 유출 논란

아마존 Q가 환각을 일으키고 기밀 데이터를 유출한다는 보도가 나오면서 제기된 의문점

아마존의 코파일럿 경쟁 제품인 Amazon Q가 출시된 지 일주일도 채 되지 않아 이 인공지능 비서가 환각을 일으킬 수 있다는 새로운 보고서가 나오면서 이미 생존의 위협에 직면해 있습니다.

부정확성과 개인정보 보호 문제로 고심하는 Q

더플랫폼은 유출된 문서를 인용해 Q가 환각과 데이터 유출을 포함한 부정확성과 개인정보 보호 문제로 고심하고 있다고 보도했습니다. 이 보고서는 대규모 언어 모델(LLM)이 기업 데이터베이스에 연결될 때 매우 부정확하고 투명성이 떨어지고 있다는 두 가지 주요 연구 결과가 나온 가운데 나온 것이어서 주목됩니다.

아마존, 기밀 정보 유출 부인

그러나 아마존 대변인에 따르면 아마존 Q는 어떠한 기밀 정보도 유출하지 않았습니다.

“일부 직원이 내부 채널과 티켓팅 시스템을 통해 피드백을 공유하고 있으며, 이는 아마존의 표준 관행입니다. 이러한 피드백의 결과 어떠한 보안 문제도 확인되지 않았습니다. 이미 받은 모든 피드백에 감사드리며, Q가 프리뷰 제품에서 일반 사용 가능한 제품으로 전환되는 과정에서 계속 조정해 나갈 것입니다.”라고 대변인은 말했습니다.

기업의 사용에 회의적인 애널리스트

아마존이 수백만 명의 업무 동반자가 될 것이라고 거창하게 주장하지만, 업계를 추적하는 애널리스트들에 따르면 아마존 Q는 기업에서 사용하기에는 아직 준비가 덜 된 것 같습니다.”

“환각이 존재한다면 기업 환경에서 의사 결정에 사용할 수 없습니다.”라고 EIIRTrend & Pareekh Consulting의 CEO인 파레크 자인(Pareekh Jain)은 말합니다. “개인적인 용도로 사용하거나 정보를 얻는 데는 괜찮지만 의사 결정 과정에는 적합하지 않습니다.”

더 많은 테스트 필요

아마존은 제너레이티브 AI 비서를 상용 출시하기까지 상당한 테스트 과제에 직면할 수 있습니다. 자인은 준비성을 확보하기 위해 광범위한 내부 시험을 실시하는 것이 중요하다고 강조했습니다.

“먼저 내부 직원들을 대상으로 더 많은 테스트를 해야 한다고 생각합니다.”라고 자인은 덧붙였습니다. “분명히 지금 내부 직원들은 그렇게 하고 있습니다. 결국 외부에서 이러한 문제를 보고한 사람은 아무도 없습니다. 여기에는 두 가지가 있습니다. 하나는 데이터이고 다른 하나는 알고리즘입니다. 데이터에 문제가 있는지 알고리즘에 문제가 있는지 확인해야 합니다.”

Q는 17년간 축적된 AWS의 데이터와 개발 역량을 활용합니다

Q는 17년간 축적된 AWS의 데이터와 개발 역량을 활용하며, 기업을 위한 다목적 도구로 작동하도록 설계되었습니다. 업계의 방향성을 고려할 때, 이 AI 제품에는 많은 것이 걸려 있습니다.

제너레이티브 AI에 필수적인 적절한 교육

환각이 소비자 및 기업 사용 사례에서 제너레이티브 AI의 잠재력을 훼손하지는 않지만, 시장조사기관 IDC의 부사장인 샤라스 스리니바사무티에 따르면 적절한 트레이닝은 필수적입니다.

“더 나은 품질의 데이터로 모델 훈련, 프롬프트 증강(모델이 쉽게 이해할 수 있는 사전 정의된 프롬프트로 사용자 안내), 조직 또는 산업별 데이터 및 정책에 대한 지속적인 모델 미세 조정, 응답이 의심스러운 경우 인간 확인 계층을 보강하는 것이 이 새로운 기술을 최대한 활용하기 위해 취해야 할 몇 가지 단계입니다.”

라고 Srinivasamurthy는 말합니다.

환각으로 인해 규제가 시급할까요?

환각에 대한 보고는 규제의 필요성과 언젠가 시행될 수 있는 규제의 심각성에 대한 우려를 불러일으킵니다. 그러나 그레이하운드 리서치의 수석 애널리스트 겸 CEO인 산치트 비르 고지아는 규제가 오히려 역효과를 낼 수 있다고 지적합니다.

“모든 규제는 사실 데이터의 교환과 활용을 늦출 수 있습니다.”라고 Gogia는 말합니다. “따라서 현재로서는 이 산업에 대한 규제가 적을수록 좋습니다. 그래야 데이터를 더 쉽고 원활하게 사용할 수 있습니다. 어떤 데이터를 수집할 수 있는지에 대한 엄격한 규제가 있었다면 이 기술은 성공하지 못했을 것입니다.”

자율 규제와 책임감 있는 AI에 집중

Jain은 또한 외부에서 경계를 설정하는 것은 실현 가능한 아이디어가 아닐 수 있지만, 기업 스스로 더 많은 노력을 기울일 수 있다고 제안했습니다.

“규제가 존재할 수는 있지만, 주로 자율 규제에 초점을 맞추고 있습니다.”라고 Jain은 설명합니다. “규제와 가이드라인은 필요하지만, 감사를 강제하는 데에는 한계가 있습니다. ‘블랙박스’ 시스템을 만드는 대신 고객에게 로직을 설명할 수 있는 책임감 있는 AI에 중점을 두어야 합니다. 하지만 제가 보기에는 그 이상의 임계값이 존재하며, 이 임계값을 넘어서는 것은 기업이 이러한 조치를 보안의 문제로 인식하고 구현하는 방식에 더 많은 책임이 있다고 생각합니다.”

모두의 시선이 아마존으로

이러한 인사이트는 보다 강력한 내부 테스트의 필요성과 자율 규제로의 전환에 대해 조명하지만, 엔터프라이즈 환경에 AI를 배포하는 길은 복잡성으로 가득 차 있습니다. 특히 이 분야에 뒤늦게 진입한 아마존이 이러한 과제를 해결해야 할 책임이 있습니다.”

“AWS는 이 분야에서 다소 후발주자이며, 현재 Microsoft와 Google이 선두를 달리고 있습니다.”라고 Jain은 덧붙입니다. “따라서 사람들은 특히 챗봇 및 기타 관련 기술에 대해 더 높은 기대치를 가지고 있습니다.”

(이 기사는 Amazon 대변인의 의견으로 업데이트되었습니다.)