실존 정책 4건 중 3건, 시행 전 문구만으로 사후 지적을 먼저 찾았습니다.
그중 150명 집단 시뮬레이션이 잡은 건 1건, 문구 모호성 분석이 잡은 건 2건입니다. 프롬프트 튜닝에는 쓰지 않았고, 실행 중 드러난 코드 결함은 고친 뒤 재실행했습니다(이력은 각 판정 메모에 있습니다).
튜닝에 쓰지 않은 실존 정책의 시행 시점 공식 발표 문구를 그대로 발췌해 입력하고, 시뮬레이션이 찾은 사각지대 후보를 시행 후 실제 제기된 지적과 대조했습니다. 매칭 판정(일치, 부분, 미탐, 오탐)은 사람이 했고 근거를 함께 기록했습니다.
- 사후 지적을 문구만으로 먼저 찾음
- 3
- 매칭 대상 실존 정책
- 4
- 탐지 범위 밖, 원인까지 공개
- 1
도구의 출력은 세 층으로 나눠 판정합니다. 문구 모호성은 정책 문구 자체의 모호한 경계 조건을 찾은 것, 사각지대 집단은 150명 시뮬레이션의 집단 통계가 찾은 것, 판정 불가 보고는 판정할 속성이 없을 때 지어내지 않고 그렇게 말한 것입니다. 각 판정에 어느 층이 잡았는지 적었습니다. 원문·실행 결과·판정 근거는 전부 리포지토리의 evals/backtest에 있습니다.
01기후동행카드
서울특별시, 2024-01-27 시행. live 실행.
시뮬레이션이 찾은 사각지대 후보
- 만 70세 이상, 비서울 거주 또는 거주지 불명, 서울 이용 여부 불명확 고령 대중교통 이용자판단하지 못한 비율 98%, 전체는 76%, 재현성 91%, 확신도 0.42
- 경기 거주, 자가용 보유, 서울 대중교통 이용 여부 불명확 집단판단하지 못한 비율 100%, 전체는 76%, 재현성 81%, 확신도 0.49
- 비서울 거주, 중간 수준 대중교통 접근, 자가용 없음판단하지 못한 비율 98%, 전체는 76%, 재현성 61%, 확신도 0.47
- 비서울 거주, 자영업, 서울 방문·이용 여부 불명확 그룹판단하지 못한 비율 97%, 전체는 76%, 재현성 61%, 확신도 0.46
- 서울 외 거주, 대중교통 접근성 낮음, 자가용 없음판단하지 못한 비율 97%, 전체는 76%, 재현성 59%, 확신도 0.55
판정. 사람이 대조해 기록했습니다
- 일치사각지대 집단실제 지적: 경기·인천 등 서울 외 거주 통근·이용자 배제 지적도구 출력: '서울 외 거주 자영업 이용자'(재현성 69%)·'경기 저소득 1인가구'(68%) 등 비서울 거주자 집단 상위권 + '부산·전남광주 배제 100%' 집단공고문에는 '제외되는 교통수단'만 명시. 도구는 '피해받는 인구집단'을 통계로 도출. 파서 실행 간 변동에 강건: 이용범위 rule을 추출하지 않는 회차에는 배제-집단 층(재현성 0.55~0.69), 추출하는 회차에는 LLM 위임 후 불명확-집중 층(재현성 0.59~0.91)으로 잡히며, 두 경우 모두 경기·비서울 거주 이용자 집단이 상위권. 검출 유지. (결함 수정 이력: '서울 외' 부정 문맥 오배제, 이용범위 조건의 거주지 오판정. 수정 후 재실행분이 본 파일)
사후 지적 출처: 서울시 기후동행카드 안내·수도권 확대 발표
02청년희망적금
금융위원회, 2022-02-21 시행. live 실행.
시뮬레이션이 찾은 사각지대 후보
- 인천 지역, 35세 이상 청년기 이후 연령층자격 배제 비율 97%, 전체는 78%. 이 집단은 대부분 자격에서 빠집니다, 재현성 28%, 확신도 0.62
- 전북, 35세 이상 중장년, 청년 연령요건 비대상자격 배제 비율 96%, 전체는 78%. 이 집단은 대부분 자격에서 빠집니다, 재현성 13%, 확신도 0.57
판정. 사람이 대조해 기록했습니다
- 일치 (파서 검출률 3/5)문구 모호성실제 지적: 2021년 첫 취업 사회초년생 소득증명 불가 배제 논란도구 출력: 문구 모호성: '국세청 자료가 일시적으로 미비한 최근 취업·이직자의 처리 기준 불명확'핵심 사후 논란을 정확히 지목. 사각지대 집단으로는 미탐. 인구 구성에 근속연차·취업시점 속성이 없어 집단 통계로는 구조적으로 잡을 수 없음. 파서 ambiguity는 실행 간 변동이 있어 5회 반복 측정: 3/5 검출 (evals/backtest/ambiguity-rate.json)
- 사각지대 집단, 자격 배제도구 출력: 자영업자·비청년 배제 집단(93%)1차 실행에서 총급여 기준 근로소득 중심성(자영업자 배제) 집단가 나왔으나, 결함 수정 후 재실행에서는 자격 재서술 억제 가드에 걸려 소멸. 잔여 배제 집단는 연령 상관 잔여물(재현성 0.13~0.28)로 낮게 표기됨. 재현되지 않는 후보임을 그대로 기록함(과장 방지).
사후 지적 출처: 세계일보 (2022-02-23)
03청년도약계좌
금융위원회, 2023-06-15 시행. live 실행.
시뮬레이션이 찾은 사각지대 후보
- 비경제활동 청년(19~34세), 소득·증빙 정보 불명확 집단판단하지 못한 비율 100%, 전체는 79%, 재현성 62%, 확신도 0.57
- 중간소득대(4분위), 소득·가구소득·소득증빙 정보 불명확 청년판단하지 못한 비율 100%, 전체는 79%, 재현성 52%, 확신도 0.60
- 전국, 19~34세, 부부가구 청년판단하지 못한 비율 100%, 전체는 79%, 재현성 48%, 확신도 0.42
- 전북 거주, 35세 이상 청년기 졸업 세대자격 배제 비율 100%, 전체는 84%. 이 집단은 대부분 자격에서 빠집니다, 재현성 21%, 확신도 0.56
- 충북 거주, 35세 이상 중년층자격 배제 비율 100%, 전체는 84%. 이 집단은 대부분 자격에서 빠집니다, 재현성 9%, 확신도 0.55
판정. 사람이 대조해 기록했습니다
- 일치 (파서 검출률 5/5)문구 모호성, 가끔 집단으로도실제 지적: 무소득 취준생·대학생 가입 불가 지적도구 출력: 문구 모호성: '무소득 청년·소득금액증명 발급이 지연·곤란한 프리랜서 처리 불명확' + income_proof 자격 rule 추출. 일부 실행에서는 '소득·증빙 정보 불분명' 판단 못 함 집단도 임계 도달(실행 간 변동)핵심 사후 논란(무소득·소득증빙 불가 배제)을 파서 ambiguity가 5/5 검출. 수정 코드 재실행에서는 '비경제활동 청년·소득증빙 불명확' 집단가 재현성 0.62로 상위 관찰. 1차의 '간헐적'에서 반복 관찰로 강화됐으나 실행 간 변동이 있어 ambiguity 층 매칭이 여전히 주 근거. 파서 ambiguity는 실행 간 변동이 있어 검출률을 5회 실측(5/5)해 병기.
- 미탐-실제 지적: 5년 만기 부담·중도해지 우려시간 경과·저축 지속성은 속성 축에 없음. 탐지 범위 밖
사후 지적 출처: 파이낸셜뉴스 Q&A (2023-06-15)파이낸셜뉴스 Q&A (2023-06-15) 등 시행 전후 보도
04에너지바우처
산업통상자원부, 2015 시행·매년 갱신 시행. live 실행.
시뮬레이션이 찾은 사각지대 후보
- 경기, 부부+자녀 가구(기초수급·취약가구 여부·신청 여부 정보 부재)혜택 대상 안 평균 영향 0.00. 전체 평균 0.55보다 기준 이상 낮습니다, 재현성 95%, 확신도 0.45
- 55–59세, 한부모가구 포함 가능, 기초수급·신청 여부 불명확혜택 대상 안 평균 영향 0.00. 전체 평균 0.55보다 기준 이상 낮습니다, 재현성 95%, 확신도 0.44
- 전국, 25~29세 청년, 자격·신청 정보 미파악 집단혜택 대상 안 평균 영향 0.00. 전체 평균 0.55보다 기준 이상 낮습니다, 재현성 95%, 확신도 0.47
- 60–64세, 잠재적 에너지취약층, 자격·신청 정보 누락혜택 대상 안 평균 영향 0.00. 전체 평균 0.55보다 기준 이상 낮습니다, 재현성 93%, 확신도 0.43
- 전국, 부부+자녀 가구, 상용직 근로자 가구(생계·의료급여·취약속성·신청 여부 미상)혜택 대상 안 평균 영향 0.00. 전체 평균 0.55보다 기준 이상 낮습니다, 재현성 91%, 확신도 0.43
판정. 사람이 대조해 기록했습니다
- 미탐 (범위 밖)판단 불가 보고실제 지적: 신청주의로 인한 미신청·홍보 부족, 1인 가구 사용률 저조도구 출력: '기초수급·취약가구 여부 미상' 판단 못 함 100% 집단 다수 (재현성 0.73~0.78)신청 행태·제도 인지·행정 접근성은 탐지 범위 밖(사전 기대대로 미탐). 다만 도구는 '무엇을 모르는지'(수급 여부 미상 집단)를 재현성 높은 집단으로 구조화해 보여줌. 사각지대를 날조하지 않으면서 데이터 공백을 지목
사후 지적 출처: 1코노미뉴스 (국정감사 지적 보도)
05부모급여
보건복지부, 2023-01-01 시행. live 실행.
판정. 사람이 대조해 기록했습니다
- 판정 한계 확인AI의 근사 판단도구 출력: '만 0~1세 아동이 없는 가구 배제' 집단 (정책 정의상 자명한 배제)영아 유무 속성이 없어 판정 불가한 정책. 1차 실행은 가구형태 근사가 정책 정의의 재서술(trivial) 집단를 냈고, 결함 수정(유형명 없는 가구 기준의 LLM 위임 + 기저율과 구분 불가한 배제 집단 탐지 차단) 후 재실행에서는 후보 0건으로 정직하게 침묵. 대상 판정 속성이 없는 정책에서 도구가 낼 수 있는 것의 상한을 보여주는 사례로, '후보 0건'은 사각지대 부재가 아니라 탐지 범위 밖을 뜻함.
전향 검증. 시행 전에 등록해 두고 기다립니다
전향(pre-registered) 검증: 시행 전이거나 시행 직후(사후 지적 공론화 전)인 정책의 공식 발표 요건을 발췌 입력하고, 공용 파이프라인(제품과 동일 경로)이 산출한 사각지대 후보를 실행 시점에 박제한다. 산출 파일에는 실행 시점의 코드 커밋(headShaAtRun)·모델 버전·표본 수·critic 통계·confidence가 기록되고, 파일을 포함한 커밋 이력이 등록 시점을 증명한다. 시행 후 실제 제기되는 지적과 대조해 일치/미탐/오탐을 이 페이지에 추가한다. 유의: 발표 보도 자체가 모델 학습데이터에 있을 가능성까지 배제할 수는 없으며, 이 프로토콜은 '사후 지적의 재발견' 여지를 최소화하는 장치다.
등록직장인 든든한 점심밥
농림축산식품부, 2026-08-31 등록. 유효 등록 — 2026 하반기 시행 예정(시행세칙 미발표 시점). 예측은 파서 모호 조건 5건 중심 — 자격 속성이 persona 축 밖이라 집단 통계 후보는 미탐(도구 한계 정직 반영)
박제된 사각지대 후보. live 실행, 시민 150명, 검증 통과 135 수정 2 보류 13, 코드 7ee37ffa
탐지 임계를 넘는 후보 없음
이 정책의 자격 판정 속성(중소기업 재직·외식업체 이용 등)은 population 5개 축에 없어, 집단 통계 층에서는 후보가 나오지 않습니다(자격 배제는 정책 의도라 제외). 아래에 미리 등록한 모호 조건이 이 등록의 실질 내용입니다. 탐지 범위를 넘는 것을 지어내지 않는다는 원칙의 결과입니다.
박제된 모호 조건. 시행 초기 혼란이 예상되는 지점
- 5만명이 예산·총량 상한인지, 기업·근로자 선정 기준 및 초과 신청 시 배분 방식이 명시되지 않음.
- 점심 식대의 지급 방식(현금, 식권, 법인카드, 현물), 지급액 최소 기준, 일부 인원에게만 지급하는 경우 포함 여부 등이 불분명함.
- ‘외식업체’의 범위(카페·패스트푸드·푸드코트·복합쇼핑몰 내 식당 등 포함 여부)와 공휴일이 평일에 포함되는지, 결제 시각 기준인지 이용 시각 기준인지가 모호함.
- 심사 기준(재무상태, 근로자 수, 기존 복지 수준 등)과 선정 탈락·탈퇴·변경(이전·폐업) 시 근로자 지원 지속 여부가 명시되지 않음.
- 배달앱을 통해 주문하되 매장에서 직접 결제·수령하는 경우, 키오스크·모바일 오더 등 비대면 오프라인 결제의 처리 기준이 불명확함.
시행 후 대조 결과: 아직 없음 (시행 전 등록)
출처: 대한민국 정책주간지 K-공감 (농림축산식품부)아주경제 (2026-05-19)
등록일손부족일자리 동행인센티브
고용노동부, 2026-08-30 등록. 판정 한계 사례 — 1차 등록(2026-08-30)이 자격 속성 부재로 퇴화 실행(eligible 0%)됨을 확인. 교훈 보존용
수료·업종·근속 속성이 population 축에 없어 예측이 배제 통계의 재서술로 퇴화(전수조사에서 확인). 대상 판정 속성이 없는 정책에서 도구가 낼 수 있는 것의 상한을 보여주는 사례로 보존하며, 유효 등록은 판정 가능한 정책(lunch-support)으로 재실행.
출처: 고용노동부 2026년 달라지는 정책 발표 보도 (2026-01)