AI 통제는 불가능하다, 그래서 흐름을 감시한다

결론부터 말하면, AI 내부를 완전히 이해하고 통제하겠다는 목표는 현재 기술로 불가능하다. 대신 AI의 출력과 행동의 흐름을 바깥에서 지속적으로 감시하는 쪽이 현실적이다. 이 글은 그 패러다임 전환을 제안하는 FAMS(Flow-based Active Monitoring System) 구상을, 원안의 과장된 주장을 걷어내고 검증 가능한 형태로 다듬어 정리한다.

1. 왜 AI 통제는 불가능한가: 세 가지 한계

확률성: 같은 입력에 다른 출력

전통 소프트웨어는 결정적이다. 같은 입력에는 같은 출력이 나온다. 그래서 테스트와 디버깅이 성립한다. 대규모 언어 모델은 본질적으로 확률적이다. 같은 질문에 매번 다른 답이 나올 수 있으므로, 특정 입력에 대한 정답을 정의하는 방식의 검증은 성립하지 않는다. 버그 재현도 통계적으로 어려워진다.

블랙박스: 내부는 볼 수 없다

수십억에서 수천억 개에 이르는 가중치 중 어느 뉴런이 왜 그런 값을 냈는지 답할 수 없다. 해석 불가능성, 설명 불가능성, 수학적 검증 불가능성이 한 세트로 따라온다. 물리적 댐의 균열은 육안으로 보이지만, AI의 균열은 숫자 속에 숨어 있다.

자동화 편향: 인간이 AI를 맹신한다

원안에서 환상 효과라 부른 현상은 심리학의 자동화 편향(automation bias)으로 이미 알려진 개념이다. 언어를 구사하는 존재에게 의식을 가정하고, 똑똑해 보이는 시스템의 판단을 맹신하는 경향이다. AI 보안의 가장 교묘한 구멍은 AI가 아니라 사용하는 인간 쪽에 있다.

2. 정정: 눈덩이 효과 주장은 틀렸다

원안에는 가중치의 10억분의 1(10의 9제곱분의 1)만 바꿔도 출력이 유의미하게 변한다는 정리가 있었다. 이는 경험적으로 거짓이므로 삭제한다. 반례는 우리 사이트에서 이미 다룬 로컬 AI 양자화 포맷 완전 정리다. Q4 양자화는 가중치를 대폭 깎아내는데도 모델이 정상 동작한다. 신경망은 미세 섭동에 오히려 강인한 편이다.

이 정정은 패러다임에 유리하게 작용한다. 가중치 하나하나를 감시하는 미시적 통제가 무의미하다면, 거시적 흐름을 감시하는 쪽이 맞다는 결론이 더 단단해진다.

3. 지점 감시에서 흐름 관리로

기존 보안은 지점 감시다. 방화벽, IDS, 안티바이러스는 알려진 위협을 각 지점에서 차단한다. 한계는 명확하다. 감시 지점이 늘수록 검토해야 할 조합이 폭증하고, 사각지대를 노리는 공격에는 무력하며, 발생 후에야 감지한다.

흐름 관리는 지점이 아니라 정보와 행동의 흐름을 본다. 세 가지 흐름을 정의한다.

4. FAMS 아키텍처: 5개 계층

사용자 인터페이스: 상태 표시, 이상 리포트, 피드백 수집
의사결정 계층: 위험도 평가, 다수결 합의, 인간 개입 트리거
분석 계층: 흐름 추출, 패턴 인식, 이상 탐지
수집 계층: AI 출력, 시스템 메트릭, 사용자 행동 수집
플러그인 계층: 크롤러, CVE 스캐너, 외부 API 연동

핵심 원칙은 네 가지다. 이격의 원칙(상황에 따라 추상화 수준을 조절하며 멀리서 본다), 흐름의 원칙(지점이 아닌 흐름을 본다), 의심의 원칙(모든 출력을 기본적으로 의심하고 다중 검증한다), 투명성의 원칙(상태와 근거를 공개한다).

이격 거리는 상황에 따라 조절한다. 평상시는 높은 추상화 수준에서 전체 흐름만 보고, 이상이 의심되면 세밀하게 들어가며, 비상시에는 인간 개입을 요구한다.

5. 구현: 핵심 코드 두 조각

전체의 골격이 되는 흐름 분석기와 다중모델 합의 검증기다.

import numpy as np

class FlowAnalyzer:
    def __init__(self, config):
        self.window_size = config.get('window_size', 100)
        self.threshold_multiplier = config.get('threshold_multiplier', 3.0)
        self.history = []

    def analyze(self, data_point):
        self.history.append(data_point)
        if len(self.history) > self.window_size:
            self.history.pop(0)
        if len(self.history) < self.window_size // 2:
            return 'INSUFFICIENT_DATA'
        mean = np.mean(self.history)
        std = np.std(self.history)
        if abs(data_point - mean) > self.threshold_multiplier * std:
            return 'OUTLIER'
        return 'NORMAL'

import numpy as np

class ConsensusVerifier:
    def __init__(self, models, threshold=0.75):
        self.models = models
        self.threshold = threshold

    def verify(self, prompt):
        responses = [m.generate(prompt) for m in self.models]
        if len(responses) < 2:
            return {'status': 'INSUFFICIENT'}
        sims = [self._sim(a, b) for i, a in enumerate(responses)
                for b in responses[i+1:]]
        avg = float(np.mean(sims)) if sims else 0
        if avg > self.threshold:
            return {'status': 'CONSENSUS', 'confidence': avg}
        return {'status': 'DISAGREEMENT', 'confidence': avg}

    def _sim(self, t1, t2):
        s1, s2 = set(t1.split()), set(t2.split())
        return len(s1 & s2) / len(s1 | s2) if s1 and s2 else 0.0

솔직한 평가를 덧붙인다. 위 흐름 분석기는 z-score 이상치 탐지라서 패러다임 전환이라는 이름값에는 못 미친다. 진짜 흐름 관리를 하려면 의미적 일관성 측정과 에이전트 행동 그래프 분석이 들어가야 하며, 그 부분은 아직 숙제다. CVE 크롤러 같은 플러그인은 전통적 위협 인텔이지 AI 흐름 감시가 아니라는 점도 밝혀둔다.

6. 목표 수치: 결과가 아니라 목표다

원안의 실험 결과표는 측정 방법과 데이터셋이 없어 결과로 인정할 수 없다. 아래는 목표치로 읽어야 한다.

실측으로 채우는 것이 다음 단계의 과제다.

7. 관련 연구와 연결

이 주제의 선행 연구로는 NeMo Guardrails와 Llama Guard 같은 외부 울타리 프레임워크, Constitutional AI, 레드티밍 문헌이 있다. 우리 사이트의 AI는 왜 통제가 안 되는가, 확률 엔진의 정체와 탈옥과 인젝션과 외부 울타리 설계에서 다룬 입력 가드레일과 출력 가드레일이 바로 FAMS의 수집 계층과 분석 계층에 들어갈 부품이다. 두 글을 함께 읽으면 이론과 부품이 이어진다.

8. 한계와 향후 과제

다중 에이전트 간 협력 감시, 이격 거리의 자동 최적화, 프라이버시를 보호하는 위협 정보 공유, 실시간 분석의 하드웨어 가속이 남았다. 무엇보다 실측 실험이 먼저다. 목표 수치를 실제 데이터셋에서 재는 순간부터 이 구상은 연구가 된다.