언어 모델을 활용한 효율적인 계획 수립

核心概念

언어 모델을 활용한 계획 수립 접근법의 복잡성과 비효율성을 분석하고, 이를 개선할 수 있는 효율적인 대안을 제안한다.

摘要

이 논문은 언어 모델(LLM)을 활용한 계획 수립 접근법의 복잡성과 비효율성을 분석하고, 이를 개선할 수 있는 효율적인 대안을 제안한다.

먼저, 기존의 다양한 LLM 기반 계획 수립 접근법(IO, CoT, ReAct, ReWOO, RAP, ToT, GoT, Policy Generation)을 분석하여 각 접근법의 LM 평가 복잡도를 정량화한다. 이를 통해 기존 접근법들이 상당한 수의 LLM 호출을 필요로 하여 비효율적임을 보여준다.

이에 대한 대안으로, 저자들은 LLM을 활용하여 검색 구성 요소(successor 함수, goal test 함수 등)를 직접 생성하고, 이를 통해 검색을 수행하는 접근법을 제안한다. 이를 통해 LLM 호출 횟수를 크게 줄일 수 있으며, 검색 알고리즘의 완전성과 정확성을 보장할 수 있다.

저자들은 24 게임 문제를 예로 들어 이 접근법을 구현하고 평가한다. 실험 결과, 제안한 접근법은 ToT 접근법에 비해 훨씬 적은 계산 자원을 사용하면서도 더 나은 성능을 보인다. 이를 통해 LLM을 효율적이고 책임감 있게 활용할 수 있는 방법을 제시한다.

統計資料

LLM 호출 횟수가 O(1)인 IO와 CoT 접근법에 비해, ReAct는 O(n), ReWOO는 최선의 경우 O(1)이지만 최악의 경우 O(n)의 복잡도를 가진다.
RAP 접근법은 검색 공간 크기에 선형적인 O(N×d×L) 복잡도를 가진다.
ToT와 GoT 접근법은 검색 알고리즘의 제한으로 인해 O(b×k×T) 및 O(N) 복잡도를 가진다.
제안 접근법의 BFS 구현은 1362개 문제 인스턴스를 3.6~6.9초 내에 해결했으며, 이는 단일 LLM 평가 시간(약 7초)과 비슷한 수준이다.

引述

"LLMs are also non-deterministic, a key part of finding a solution involves different rollouts at each step, which further add to the inefficiency."
"We argue for an efficient and responsible use of compute resources, pleading for efficient use of LLMs."
"We urge the research community to focus their efforts on such approaches."

從以下內容提煉的關鍵洞見

Planning with Language Models Through The Lens of Efficiency

by Michael Katz... 於 arxiv.org 04-19-2024

https://arxiv.org/pdf/2404.11833.pdf

深入探究

LLM 기반 계획 수립 접근법의 비효율성을 해결하기 위해 어떤 다른 방법들이 있을 수 있을까

기존 LLM 기반 접근법의 비효율성을 극복하기 위한 대안으로 LLM을 활용하여 검색 구성 요소를 파생시키는 방법이 제안됩니다. 이는 LLM을 활용하여 심볼로 표현된 검색 구성 요소를 생성하거나 직접 검색 구성 요소를 생성하는 것을 포함합니다. 이를 통해 LLM을 호출하지 않고도 검색을 효율적으로 수행할 수 있습니다. 이러한 방식은 휴리스틱 검색을 수행하는 고전적인 계획자들이 하는 것과 유사한 방식으로 작동합니다.

LLM의 비결정성이 계획 수립 문제에 미치는 영향을 최소화하기 위한 방법은 무엇일까

LLM의 비결정성이 계획 수립 문제에 미치는 영향을 최소화하기 위해서는 각 단계에서 다른 롤아웃을 수행하여 솔루션을 찾는 것이 중요합니다. 이를 위해 LLM을 호출하는 대신 LLM을 사용하여 검색 구성 요소를 파생시키는 방법을 제안합니다. 이를 통해 검색 공간의 정확성을 확인하고 검색 알고리즘의 음성 및 완전성을 보장할 수 있습니다.

LLM을 활용한 계획 수립 외에 어떤 다른 응용 분야에서 효율성 향상이 필요할까

LLM을 활용한 계획 수립 외에도 일반적인 정책이나 일반화된 계획이 필요한 문제에서도 효율성 향상이 필요합니다. 예를 들어, LLM을 쿼리하여 직접 파이썬에서 정책 구현을 제공하는 방법이 제안되었습니다. 이를 통해 도메인의 문제 인스턴스에서 정책을 확인하고 문제를 해결하지 못하는 경우에 대한 피드백을 제공할 수 있습니다. 이러한 방식은 도메인당 LLM 호출 수가 O(1)이며 결과는 해당 도메인의 모든 문제 인스턴스에 분할할 수 있습니다.