AI 거버넌스 (AI Governance)

정의

AI 거버넌스(AI Governance)는 AI 시스템의 설계·개발·배포·운영·폐기 전 과정에서 (1) 위험을 식별·관리하고, (2) 책임 소재를 분명히 하며, (3) 투명성과 설명 가능성을 확보하기 위한 정책·표준·조직 체계를 통칭한다. 법·규제(EU AI Act 등), 산업 표준(ISO/IEC 42001, NIST AI RMF), 조직 내부 규정(모델 카드, 데이터 거버넌스, 사고 대응 매뉴얼)을 모두 포함하는 우산 개념이다.

왜 중요한가

AI 시스템은 학습 데이터의 편향, 잘못된 의사결정, 사생활 침해, 보안 취약성, 환각된 정보 등 일반 소프트웨어와는 다른 위험을 만든다. 거버넌스가 없으면 이런 위험은 (a) 사고가 나야 가시화되고, (b) 누가 책임지는지 불분명하며, (c) 외부 감사·규제 대응이 어렵다. NIST 는 2023년 AI Risk Management Framework(AI RMF 1.0) 를 공개해 GOVERN/MAP/MEASURE/MANAGE 네 기능으로 거버넌스 활동을 구조화했고, ISO/IEC 42001(2023) 은 AI 관리 시스템에 대한 첫 국제 표준으로 자리잡았다. 유럽연합의 AI Act(2024) 는 위험 등급별로 의무를 부여하는 첫 포괄 규제로, 글로벌 AI 운영에 직접적 영향을 준다.

Semicolon에서의 의미

Semicolon 같은 작은 팀에게도 거버넌스는 “나중에 해야 할 일”이 아니라 “지금 어떤 결정 기록을 남기는가”의 문제다. 어떤 모델을 어떤 데이터로 어떻게 평가했고, 어떤 사고가 있었으며 어떻게 대응했는지의 흔적을 KB·문서·로그로 남기는 것이 거버넌스 운영의 출발점이다. 모델 모니터링, 규칙·정책 엔진, MLOps 와 함께 AI 운영의 “안전 인프라” 한 축을 이룬다.

예시

NIST AI RMF: 미국 국가 표준연구소가 펴낸 AI 위험 관리 프레임워크 (정부·민간 광범위 채택)
EU AI Act: 위험 등급별(금지·고위험·제한·최소) 의무를 정한 유럽연합 규정
ISO/IEC 42001: AI 관리 시스템(AIMS)에 대한 국제 표준
Model Card / Datasheet: 모델·데이터의 용도·한계·평가 결과를 문서화하는 표준 양식

주의할 점

거버넌스는 “선언문”으로 끝나면 안 된다. 정책이 있어도 실제 모델·데이터·운영 로그에 연결되지 않으면 문서일 뿐이다. 거버넌스 활동은 모델 모니터링(measurement), 규칙·정책 엔진(enforcement), 그리고 사고 대응·감사 절차(operations)와 함께 묶일 때 의미가 있다. 또한 EU AI Act 같은 규제는 발효 일정·세부 시행령이 단계적으로 적용되므로, 최신 공식 문서를 직접 확인해야 한다.

정의

왜 중요한가

Semicolon에서의 의미

예시

주의할 점

출처