마운트 시나이 연구자들이 실시한 새로운 연구에 따르면, AI 챗봇은 잘못된 의학적 정보를 퍼뜨릴 가능성이 있지만, 간단한 메시지를 통해 오류를 크게 줄일 수 있는 것으로 나타났습니다. 이는 의료 분야에서 더욱 강력한 안전장치가 필요하다는 점을 강조합니다.
마운트 시나이 아이칸 의대 연구진은 의료 분야에서 흔히 사용되는 AI 챗봇이 허위 의료 정보를 유포할 가능성이 매우 높다는 사실을 발견했습니다. 이는 이러한 도구가 정확한 정보를 제공할 수 있도록 더욱 강력한 안전 장치가 시급히 필요하다는 것을 보여줍니다.
그들의 연구 결과는, 출판 커뮤니케이션 의학 저널에 실린 연구에 따르면 간단한 내장형 경고 메시지를 구현하면 이런 위험을 크게 완화할 수 있다고 합니다.
연구팀의 독립 컨설턴트이자 수석 저자인 마흐무드 오마르는 관찰된 취약성을 설명했습니다.
그는 보도자료에서 "전반적으로 AI 챗봇이 의도적이든 우발적이든 잘못된 의료 정보에 쉽게 현혹될 수 있다는 것을 확인했습니다."라고 밝혔습니다. "챗봇은 잘못된 정보를 반복했을 뿐만 아니라, 종종 과장해서 설명하며 존재하지도 않는 질환에 대해서도 확신에 찬 설명을 내놓기도 했습니다. 고무적인 점은 간단한 한 줄짜리 경고 메시지만으로도 환각 증상을 극적으로 줄일 수 있다는 것입니다. 작은 안전장치가 큰 변화를 가져올 수 있다는 것을 보여줍니다."
실험 세부 사항
연구팀은 조작된 의학 용어, 즉 허구의 질병이나 증상을 통합하여 가상의 환자 시나리오를 만들었습니다.
이러한 시나리오는 주요 AI 모델에 제출되었습니다. 처음에는 추가 지침이 제공되지 않아 챗봇이 잘못된 정보를 생성하는 경우가 많았습니다. 그러나 AI에게 정보가 부정확할 수 있음을 상기시키는 한 줄짜리 경고를 추가하자 오류율이 크게 감소했습니다.
"저희의 목표는 의학적 질문에 거짓 정보를 넣었을 때 챗봇이 실행될지 확인하는 것이었고, 답은 '예'입니다."라고 마운트 시나이 아이칸 의대의 빈드라이히 인공지능 및 인간 건강과에서 생성 AI 책임자이자 공동 수석 저자인 에얄 클랑이 덧붙여 말했습니다.
"단 하나의 지어낸 용어만으로도 완전히 허구에 기반한 상세하고 단호한 반응을 불러일으킬 수 있습니다. 하지만 프롬프트에 내장된 간단하고 시의적절한 안전 알림이 중요한 변화를 가져왔고, 실수를 거의 절반으로 줄였다는 것을 발견했습니다."라고 그는 덧붙였습니다. "이는 이러한 도구들을 더 안전하게 만들 수 있다는 것을 보여주지만, 프롬프트 설계와 내장된 안전 장치를 진지하게 고려해야만 가능합니다."
미래의 의미
연구팀은 이 접근법을 실제 익명화된 환자 기록에 적용하고 고급 안전 프롬프트 및 검색 도구를 테스트할 계획입니다. 연구팀은 이 "가짜 용어" 방식이 병원, 기술 개발자, 규제 기관이 AI 시스템을 임상 적용하기 전에 스트레스 테스트를 수행하는 데 강력한 도구가 될 수 있다고 믿습니다.
"이 연구는 현재 AI 도구가 잘못된 정보를 처리하는 방식, 특히 의료 분야에서의 잘못된 정보를 처리하는 방식에 대한 맹점을 드러냅니다." 공동 책임 저자이자 빈트라이히 인공지능 및 인간 건강부의 의장인 기리쉬 N. 나드카르니가 보도자료에서 밝혔습니다.
"이는 오늘날 AI 시스템이 의료 환경에서 잘못된 정보를 처리하는 방식에 심각한 취약점이 있음을 보여줍니다. 오해의 소지가 있는 문구 하나가 자신만만하지만 완전히 잘못된 답변을 유도할 수 있습니다. 해결책은 의료 분야에서 AI를 포기하는 것이 아니라, 의심스러운 입력을 감지하고 신중하게 대응하며 인간의 감독을 최우선으로 하는 도구를 개발하는 것입니다. 아직 그 수준에 도달하지는 못했지만, 신중한 안전 조치를 통해 달성 가능한 목표입니다."라고 하소 플래트너 디지털 헬스 연구소 소장이자 마운트 시나이 아이칸 의대의 아이린 및 아서 M. 피시버그 박사 겸 의학 교수이며, 마운트 시나이 헬스 시스템의 최고 AI 책임자이기도 한 나드카르니는 덧붙였습니다.
출처: 마운트 시나이 의과 대학