변호사

• 잠재의식적 및 조작적 기법: 사람의 행동을 왜곡하여 중대한 피해를 초래하거나 초래할 가능성이 있는 AI 시스템의 사용, 출시, 서비스 투입이 금지됩니다.
• 취약성 악용: 나이, 장애 또는 특정 사회적, 경제적 상황으로 인해 개인이나 특정 집단의 취약성을 악용하여 중대한 피해를 초래하거나 초래할 가능성이 있는 AI 시스템의 사용, 출시, 서비스 투입이 금지됩니다.
• 사회적 평가 및 분류: 사회적 행동이나 개인적 특성을 기반으로 자연인이나 집단을 평가하거나 분류하여 부당하거나 과도한 대우를 초래하는 AI 시스템의 사용, 출시, 서비스 투입이 금지됩니다.
• 범죄 위험 평가: 프로파일링을 기반으로 범죄를 저지를 위험을 평가하거나 예측하기 위해 AI 시스템을 사용하는 경우가 금지됩니다. 단, 객관적이고 검증 가능한 사실에 기반한 인간 평가를 지원하는 경우는 제외됩니다.
• 얼굴 인식 데이터베이스 생성: 인터넷이나 CCTV 영상을 무차별적으로 스크래핑하여 얼굴 인식 데이터베이스를 생성하거나 확장하는 AI 시스템의 사용, 출시, 서비스 투입이 금지됩니다.
• 감정 추론: 직장이나 교육 기관에서 감정을 추론하기 위해 AI 시스템을 사용하는 경우, 의료 또는 안전 목적으로 사용되는 경우를 제외하고 금지됩니다.
• 생체 인식 분류: 생체 데이터를 기반으로 개인의 인종, 정치적 견해, 종교 등을 추론하거나 분류하는 AI 시스템의 사용, 출시, 서비스 투입이 금지됩니다. 단, 법적으로 획득한 생체 데이터셋을 사용하는 경우는 제외됩니다.
• 실시간 원격 생체 인식 시스템: 공공 장소에서 법 집행 목적으로 실시간 원격 생체 인식 시스템을 사용하는 경우, 특정 조건을 충족하는 경우에만 허용됩니다. 긴급 상황에서는 사전 승인 없이 사용할 수 있으며, 사용 후 지체 없이 승인 요청이 이루어져야 합니다.
• 법 집행 목적: 공공 장소에서 법 집행 목적으로 실시간 원격 생체 인식 시스템을 사용하는 경우, 관련 국가 법률에 따라 승인 요청, 발급, 이행 및 보고에 대한 세부 규칙을 명시해야 합니다. 국가 시장 감시 당국 및 데이터 보호 당국에 사용을 통지하고 연례 보고서를 제출해야 합니다.
• 기타 금지: 다른 EU 법률을 위반하는 AI의 사용 행위

위 내용을 보면 AI를 이용한,

사람의 심리나 행동을 조작할 수 있는 행위, 차별행위를 금지하고 있으며 국가가 사회 및 국민을 감시하는데 악용될 수 있는 범죄 위험 평가, 개인에 대한 감정, 성향 등의 추론, 생체 인식 등은 예외적으로 허용하고 있음을 알 수 있습니다.

인권을 중시하는 유럽답습니다.

High-Risk AI System(고위험 인공지능 시스템)

Chapter III에서는 다섯 개의 section에 걸쳐 Article 6에서부터 Article 49가 고위험 인공지능 시스템과 관련된 내용을 규정하고 있습니다.

Section의 내용은 아래와 같습니다.

Section 1: Classification of AI Systems as High-Risk(인공지능 시스템의 ‘고위험’ 분류)

Section 2: Requirements for High-Risk AI Systems(고위험 인공지능 시스템에 대한 요구사항)

Section 3: Obligations of Providers and Deployers of High-Risk AI Systems and Other Parties(고위험 인공지능 시스템 제공자 및 배포자의 의무와 기타 당사자들의 역할)

Section 4: Notifying Authorities and Notified Bodies(고위험 인공지능 시스템 관련 당국에 대한 통보 및 그 통보)

Section 5: Standards, Conformity Assessment, Certificates, Registration(고위험 인공지능 시스템의 표준, 적합성 평가, 인증, 등록)

EU AI Act는 고위험 인공지능 시스템을, 주로 인간의 안전 또는 안전과 관련된 사항과 결부되어 사용되는 인공지능 시스템으로 정의하고 있습니다. EU AI Act의 Annex III(부속서 III) High-Risk AI Systems는 아래 영역에서 사용되는 AI 시스템을 고위험 인공지능 시스템이라 분류하고 있습니다.

1. 생체 인식

• 원격 생체 인식 시스템(단순 인증 목적 제외)
• 민감한 속성에 따른 생체 분류 시스템
• 감정 인식 시스템

2. 중요 인프라

• 디지털 인프라, 도로 교통, 물, 가스, 난방, 전기 공급 관리에 사용되는 AI 시스템

3. 교육 및 직업 훈련

• 접근, 입학 결정, 학습 결과 평가, 금지된 행동 감지 등에 사용되는 AI 시스템

4. 고용 및 노동 관리

• 채용, 인재 선발, 근로 조건 결정, 근로 성과 평가에 사용되는 AI 시스템

5. 필수 서비스 접근

• 공공 서비스 자격 평가, 신용 평가, 보험 위험 평가, 긴급 전화 평가 등에 사용되는 AI 시스템

6. 법 집행

• 범죄 피해 위험 평가, 증거 신뢰성 평가, 재범 위험 평가, 프로파일링 등에 사용되는 AI 시스템

7. 이민, 망명 및 국경 통제 관리

• 보안 위험, 불법 이민 위험, 건강 위험 평가, 망명 및 비자 신청 검토, 국경 통제 관리에 사용되는 AI 시스템

고위험 인공지능 시스템의 범위가 상당히 넓은 것을 알 수 있습니다. 학습 결과, 신용 평가, 보험 위험 평가하는 것도 고위험 인공지능 시스템이라고 하니 실제로는 대부분의 인공지능 시스템이 고위험 인공지능 시스템이라 분류될 듯 합니다.

고위험 인공지능 시스템에 대한 나머지 내용에 대해서는 Part 2에서 다루도록 하겠습니다. Part 2에서는 고위험 인공지능 시스템의 CE marking(일종의 인증 마크)에 대해서 자세히 언급할 예정입니다.

General Purpose AI Models를 별도로 규정하고 있는 점

General Purpose AI Models에 대해서 별도의 chapter를 두어(Chapter V) 규정하고 있습니다.

General Purpose AI Models에 대해서는 Annex XIII(부속서 XIII)에 그 판별 기준을 두고 있습니다.

Annex XIII는 아래와 같습니다(원문과 한국어 번역본).

For the purpose of determining that a general-purpose AI model has capabilities or an impact equivalent to those set out in Article 51(1), point (a), the Commission shall take into account the following criteria:

(a) the number of parameters of the model;

(b) the quality or size of the data set, for example measured through tokens;

(c) the amount of computation used for training the model, measured in floating point operations or indicated by a combination of other variables such as estimated cost of training, estimated time required for the training, or estimated energy consumption for the training;

(d) the input and output modalities of the model, such as text to text (large language models), text to image, multi-modality, and the state of the art thresholds for determining high-impact capabilities for each modality, and the specific type of inputs and outputs (e.g. biological sequences);

(e) the benchmarks and evaluations of capabilities of the model, including considering the number of tasks without additional training, adaptability to learn new, distinct tasks, its level of autonomy and scalability, the tools it has access to;

(f) whether it has a high impact on the internal market due to its reach, which shall be presumed when it has been made available to at least 10 000 registered business users established in the Union;

(g) the number of registered end-users.

일반 목적 AI 모델이 제51조(1)항 (a)에서 설정한 능력 또는 영향과 동등한지 여부를 결정하기 위해, 위원회는 다음 기준을 고려해야 합니다:

(a) 모델의 매개변수 수;

(b) 데이터 세트의 품질 또는 크기, 예를 들어 토큰을 통해 측정;

(c) 모델 학습에 사용된 계산량, 부동 소수점 연산으로 측정하거나 학습의 예상 비용, 예상 학습 시간 또는 예상 에너지 소비와 같은 다른 변수의 조합으로 표시;

(d) 모델의 입력 및 출력 방식, 예를 들어 텍스트에서 텍스트(대형 언어 모델), 텍스트에서 이미지, 다중 모달리티 및 각 모달리티의 고영향 능력을 결정하는 최신 기술 임계값, 그리고 특정 입력 및 출력 유형(예: 생물학적 서열);

(e) 모델의 능력에 대한 벤치마크 및 평가, 추가 학습 없이 수행할 수 있는 작업 수, 새로운 독립적인 작업을 학습할 수 있는 적응성, 자율성 및 확장성 수준, 접근할 수 있는 도구;

(f) 그 범위로 인해 내부 시장에 미치는 고영향 여부, 이는 연합 내에서 최소 10,000명의 등록된 비즈니스 사용자에게 제공된 경우로 추정됨;

(g) 등록된 최종 사용자 수.

General Purpose AI Models와 General Purpose AI Models with systemic risk의 구분

Chapter V: General Purpose AI Models의 Section 2는 Obligations for Providers of General Purpose AI Models, Section 3는 Obligations for Providers of General Purpose AI Models with Systemic Risk입니다. Systemic Risk가 없는 범용 인공지능 모델과 있는 모델에 따라 다른 책임을 부과하고 있습니다.

Systemic risk(시스템 위험, 체계적 위험)은 무엇일까요? EU AI Act는 systemic risk를 아래와 같이 정의하고 있습니다.

Article 3: Definitions

(65) ‘systemic risk’ means a risk that is specific to the high-impact capabilities of general-purpose AI models, having a significant impact on the Union market due to their reach, or due to actual or reasonably foreseeable negative effects on public health, safety, public security, fundamental rights, or the society as a whole, that can be propagated at scale across the value chain;

(65) ‘시스템적 위험’이란, 일반 목적 AI 모델의 높은 영향력을 가진 능력에 특정한 위험을 의미하며, 해당 모델의 범위로 인해 연합 시장에 중대한 영향을 미치거나 공중 보건, 안전, 공공 보안, 기본 권리 또는 사회 전체에 실제적이거나 합리적으로 예측 가능한 부정적인 영향을 미칠 수 있는 위험을 말하며, 이는 가치 사슬 전체에 걸쳐 대규모로 전파될 수 있습니다.

Systemic risk가 있는 경우 아무래도 그렇지 않은 경우보다 더 많은 의무가 부과될 것입니다. Systemic risk가 있는 범용 인공지능 AI의 provider는 그렇지 않은 경우보다 아래의 의무를 더 이행하여야 합니다.

• 위험 평가의 범위와 심도: 시스템적 위험을 가진 모델은 더 광범위하고 심도 있는 위험 평가 및 완화 조치를 요구.
• 사이버 보안: 시스템적 위험을 가진 모델은 사이버 보안 보호 수준을 강화해야 함.
• 사고 보고: 시스템적 위험을 가진 모델은 사고 발생 시 더 엄격한 기록 및 보고 의무가 있음.
• 모델 평가 방법: 표준화된 프로토콜과 도구를 사용하여 모델의 적대적 테스트를 포함한 평가를 수행해야 함.

Part I은 여기까지 하고 Part 2에서 고위험 인공지능 시스템의 내용을 이어서 다루도록 하겠습니다.

감사합니다.