LLM을 활용한 우회 공격: 텍스트-이미지 모델의 안전 필터 우회

Core Concepts

LLM을 활용하여 텍스트-이미지 모델의 안전 필터를 우회하고 원치 않는 이미지를 생성할 수 있다.

Abstract

이 논문은 LLM(Large Language Model)을 활용하여 텍스트-이미지 생성 모델의 안전 필터를 우회하는 Divide-and-Conquer Attack(DACA)을 제안한다.

DACA는 다음과 같은 과정으로 이루어진다:

1. Divide Prompt: LLM에게 원치 않는 이미지를 구성하는 개별 요소들을 분리하여 묘사하도록 지시한다.
2. Conquer Prompt: LLM이 생성한 개별 요소 묘사를 종합하여 최종 적대적 프롬프트를 만든다.

이를 통해 DACA는 DALL·E 3와 Midjourney V6의 안전 필터를 효과적으로 우회할 수 있다. 실험 결과, DALL·E 3에 대해 85% 이상의 우회 성공률을, Midjourney V6에 대해 75% 이상의 우회 성공률을 달성했다. 또한 생성된 이미지는 원본 프롬프트의 의미를 상당 부분 유지하고 있다.

이러한 DACA 공격은 기존 수동 조작이나 반복적 모델 쿼리 방식보다 공격 장벽이 낮고, 해석 가능성이 높으며, 방어 기술 발전에도 잘 적응할 수 있어 더 심각한 보안 문제를 야기할 수 있다.

Stats

제안된 DACA 공격은 DALL·E 3에 대해 85% 이상의 우회 성공률을 달성했다.
DACA는 Midjourney V6에 대해 75% 이상의 우회 성공률을 달성했다.

Quotes

"LLM을 활용하여 텍스트-이미지 모델의 안전 필터를 우회하고 원치 않는 이미지를 생성할 수 있다."
"DACA는 DALL·E 3와 Midjourney V6의 안전 필터를 효과적으로 우회할 수 있다."
"DACA 공격은 기존 방식보다 공격 장벽이 낮고, 해석 가능성이 높으며, 방어 기술 발전에도 잘 적응할 수 있어 더 심각한 보안 문제를 야기할 수 있다."

Key Insights Distilled From

Divide-and-Conquer Attack

by Yimo Deng,Hu... at arxiv.org 03-15-2024

https://arxiv.org/pdf/2312.07130.pdf

Deeper Inquiries

LLM 기반 DACA 공격의 장단점은 무엇인가?

장점:

낮은 공격 장벽: LLM을 사용한 DACA 전략은 공격을 시작하는 데 필요한 복잡성을 크게 줄입니다. 이는 LLM을 사용하여 비윤리적 프롬프트를 쉽게 변환할 수 있음을 의미합니다.
해석 가능성 강화: 숫자 임베딩 공간 내에서 결함을 찾는 방법과 달리, 우리의 공격은 직관적으로 이해 가능하며 사람들도 실행할 수 있습니다. 이는 공격자가 LLM에 의해 생성된 적대적 프롬프트를 유연하게 수정할 수 있도록 합니다.
발전 방어에 대한 적응: 텍스트 기반 안전 필터도 점점 LLM을 활용하여 윤리적 프롬프트를 분류하고 차단합니다. 따라서 우리의 공격도 적대적 프롬프트 생성에 LLM을 활용하므로 LLM의 안전 필터에 대한 개선이 우리의 공격 능력을 무의도하게 향상시킬 수 있습니다.
단점:

윤리적 우려: DACA 공격은 비윤리적 이미지 생성을 용이하게 하므로 윤리적 문제를 야기할 수 있습니다.
안전성 취약점 증가: LLM을 사용한 공격은 안전 필터를 우회하는 데 효과적일 수 있지만, 모델의 안전성을 약화시킬 수 있습니다.