MIT 연구원들은 대규모 언어 모델의 추론 능력을 향상시키는 기술인 자연어 내장 프로그램(NLEP)을 도입했습니다. 이 혁신은 프로그래밍과 자연어를 결합하여 다양한 작업에서 90% 이상의 정확도를 달성하고 AI 시스템에 더 큰 투명성과 신뢰성을 제공합니다.
ChatGPT를 지원하는 것과 같은 대규모 언어 모델은 법적 서류 초안 작성, 고객 감정 분석 및 문서 번역과 같은 인상적인 기능을 보여주었습니다. 그러나 이러한 모델은 복잡한 수치적 또는 상징적 추론이 필요한 작업을 처리할 때 종종 문제가 발생합니다.
MIT 및 기타 기관의 연구자들이 제안한 혁신적인 기술인 자연어 내장 프로그램(NLEP)을 시작해 보세요. 이 방법은 언어 모델이 Python 프로그램을 생성 및 실행하여 복잡한 쿼리를 해결한 다음 솔루션을 일반 언어로 표현하도록 유도합니다. 이 접근 방식은 다양한 추론 작업에서 모델의 정확도를 대폭 향상시켜 프로세스를 더욱 투명하고 다양하게 만듭니다.
“우리는 AI가 투명하고 신뢰할 수 있는 방식으로 복잡한 추론을 수행하기를 원합니다. 아직 갈 길이 멀지만 우리는 대규모 언어 모델에서 프로그래밍 기능과 자연어를 결합하는 것이 사람들이 AI 내부에서 일어나는 일을 완전히 이해하고 신뢰할 수 있는 미래를 향한 매우 좋은 첫 걸음이라는 것을 보여주었습니다. 모델”, MIT 컴퓨터 과학 및 인공 지능 연구소(CSAIL)의 박사후 연구원이자 본 논문의 공동 저자인 Hongyin Luo 공부에서 말했다 성명서.
NLEP는 모델이 구조화된 프로세스를 따르도록 하여 작동합니다. 모델은 먼저 필요한 함수를 호출하고 관련 자연어 데이터(예: 미국 대통령 생일 목록)를 가져온 다음 함수를 통해 계산을 수행하고 마지막으로 결과를 자연어로 표시합니다. 이러한 구조화된 4단계 접근 방식은 오류가 발생할 경우 사용자가 Python 코드를 직접 검사하고 수정할 수 있으므로 더 높은 안정성을 보장하고 문제 해결을 간단하게 만듭니다.
Luo는 “프로그램이 올바른 한 항상 올바른 계산 결과를 제공하는 디지털 계산기와 같습니다.”라고 덧붙였습니다.
팀은 기호 추론, 지시 따르기, 텍스트 분류 등 다양한 작업에 대해 NLEP를 테스트하여 90% 이상의 정확도를 달성했습니다. 놀랍게도 NLEP는 덜 정교한 오픈 소스 모델을 사용하는 경우에도 다른 작업별 프롬프트 방법보다 30% 더 나은 성능을 보였습니다.
정확성 향상과 함께 NLEP는 데이터 개인 정보 보호 및 효율성 측면에서 이점을 제공합니다. 프로그램은 로컬에서 실행되므로 사용자 데이터를 처리하기 위해 OpenAI 또는 Google과 같은 외부 엔터티로 전송할 필요가 없습니다. 또한 유사한 질문에 대해 하나의 핵심 프로그램을 생성함으로써 사용자는 모델을 다시 실행하지 않고도 변수를 대체할 수 있어 상당한 계산 리소스를 절약할 수 있습니다.
MIT-IBM Watson AI Lab의 수석 과학자인 Leonid Karlinsky는 "코드를 사용하여 언어 모델을 추론하면 도구 사용, 출력 검증, 모델의 기능 및 사고 방식에 대한 보다 구조화된 이해 등을 위한 많은 기회가 열립니다."라고 말했습니다.
그러나 제한 사항 중 하나는 제한된 훈련 데이터로 인해 더 작은 모델이 NLEP와 잘 작동하지 않을 수 있다는 것입니다. 따라서 연구자들은 더 작은 언어 모델의 기능을 향상하고 프롬프트 변형의 견고성을 향상시키는 방법을 탐구하는 데 열중하고 있습니다.
“여기에는 마법이 없습니다. 우리에게는 더 비싸거나 멋진 언어 모델이 없습니다. 우리가 하는 일은 자연어 생성 대신 프로그램 생성을 사용하는 것뿐이며, 이를 훨씬 더 나은 성능으로 만들 수 있습니다.”라고 Luo는 말했습니다.
AI의 투명하고 효율적인 미래를 약속하는 이 연구는 전산언어학협회 북미지부 연례회의에서 발표될 예정입니다. 이는 강력하면서도 인간이 쉽게 이해할 수 있는 AI 시스템을 구축하는 데 있어 중요한 진전을 의미합니다.