개정 사유: 해당 없음(신설 Annex).

Reasons for changes: Not applicable (new annex).

이 Annex는 의약품 및 원료의약품 제조에 사용되는 모든 유형의 컴퓨터화 시스템 중, 환자 안전, 제품 품질 또는 데이터 완전성에 직접 영향을 미치는 중요 용도(예: 데이터의 예측 또는 분류)에 인공지능 모델이 사용되는 경우에 적용한다. 이 문서는 AI 모델이 내장된 컴퓨터화 시스템에 대하여 Annex 11에 추가되는 지침을 제공한다.

This annex applies to all types of computerised systems used in the manufacturing of medicinal products and active substances, where Artificial Intelligence models are used in critical applications with direct impact on patient safety, product quality or data integrity, e.g. to predict or classify data. The document provides additional guidance to Annex 11 for computerised systems in which AI models are embedded.

이 문서는 명시적으로 프로그래밍된 것이 아니라 데이터를 이용한 학습(training)을 통해 기능을 갖추게 된 기계학습(AI/ML) 모델에 적용한다. 모델은 각각 GMP의 특정 공정 단계를 자동화하는 여러 개별 모델로 구성될 수 있다.

The document applies to machine learning (AI/ML) models which have obtained their functionality through training with data, rather than being explicitly programmed. Models may consist of several individual models, each automating specific process steps in GMP.

이 문서는 정적 모델, 즉 사용 중에 새로운 데이터를 반영하여 성능을 바꾸지 않는 모델에 적용한다. 사용 중에 지속적·자동으로 학습하여 성능을 바꾸는 동적 모델의 사용은 이 문서의 대상이 아니며, 중요 GMP 용도에 사용하여서는 안 된다.

The document applies to static models, i.e. models that do not adapt their performance during use by incorporating new data. The use of dynamic models which continuously and automatically learn and adapt performance during use, is not covered by this document, and should not be used in critical GMP applications.

이 문서는 동일한 입력이 주어지면 동일한 출력을 내는 결정론적 출력 모델에 적용한다. 동일한 입력이 주어져도 동일한 출력을 내지 않을 수 있는 확률적 출력 모델은 이 문서의 대상이 아니며, 중요 GMP 용도에 사용하여서는 안 된다.

The document applies to models with a deterministic output which, when given identical inputs, provide identical outputs. Models with a probabilistic output which, when given identical inputs, might not provide identical outputs are not covered by this document and should not be used in critical GMP applications.

위와 같은 이유로 이 문서는 생성형 AI 및 대규모 언어 모델(LLM)에는 적용하지 않으며, 이러한 모델은 중요 GMP 용도에 사용하여서는 안 된다. 환자 안전, 제품 품질 또는 데이터 완전성에 직접 영향을 미치지 않는 비중요 GMP 용도에 사용하는 경우에는, 적절한 자격과 교육훈련을 갖춘 인원이 항상 그러한 모델의 출력이 사용 목적에 적합한지 보장할 책임을 져야 하며(즉, 사람 개입(HITL)), 해당되는 경우 이 문서에 기술된 원칙을 고려할 수 있다.

Following the above, the document does not apply to Generative AI and Large Language Models (LLM), and such models should not be used in critical GMP applications. If used in non-critical GMP applications, which do not have direct impact on patient safety, product quality or data integrity, personnel with adequate qualification and training should always be responsible for ensuring that the outputs from such models are suitable for the intended use, i.e. a human-in-the-loop (HITL) and the principles described in this document may be considered where applicable.

2.1 인원. GMP 환경에서 AI 모델을 적용하는 것의 사용 목적과 그에 따른 위험을 충분히 이해하기 위하여, 알고리즘 선정과 모델 학습, 밸리데이션, 시험 및 운영 전반에 걸쳐 관련된 모든 당사자 사이에 긴밀한 협력이 있어야 한다. 여기에는 공정 분야 전문가(SME), QA, 데이터 과학자, IT 및 컨설턴트가 포함되며, 이에 한정되지 않을 수 있다. 모든 인원은 적절한 자격, 정해진 책임 및 적절한 수준의 접근 권한을 갖추어야 한다.

2.1. Personnel. In order to adequately understand the intended use and the associated risks of the application of an AI model in a GMP environment, there should be close cooperation between all relevant parties during algorithm selection, and model training, validation, testing and operation. This includes but may not be limited to process subject matter experts (SMEs), QA, data scientists, IT, and consultants. All personnel should have adequate qualifications, defined responsibilities and appropriate level of access.

2.2 문서화. 모델의 학습, 밸리데이션 및 시험을 자체적으로 수행하는지, 공급업체나 서비스 제공업체가 제공하는지와 관계없이, 이 항에 기술된 활동에 관한 문서는 규제 대상 사용자가 이용할 수 있어야 하고 검토하여야 한다.

2.2. Documentation. Documentation for activities described in this section should be available and reviewed by the regulated user irrespective of whether a model is trained, validated and tested in-house or whether it is provided by a supplier or service provider.

2.3 품질위험관리. 이 문서에 기술된 활동은 환자 안전, 제품 품질 및 데이터 완전성에 대한 위험에 근거하여 이행하여야 한다.

2.3. Quality Risk Management Activities described in this document should be implemented based on the risk to patient safety, product quality and data integrity.

3.1 사용 목적. 모델의 사용 목적과 모델이 지원하거나 자동화하도록 설계된 특정 작업은 모델이 통합되는 공정에 대한 깊이 있는 지식을 바탕으로 상세히 기술하여야 한다. 여기에는 모델이 입력으로 사용하도록 의도된 데이터와 그 모든 일반적·드문 변동, 즉 입력 표본 공간(input sample space)에 대한 포괄적인 특성 기술이 포함되어야 한다. 모든 제한 사항과 발생할 수 있는 오류 입력 및 편향된 입력을 파악하여야 한다. 공정 분야 전문가(SME)가 이 기술의 적절성에 대한 책임을 져야 하며, 이 기술은 인수 시험 시작 전에 문서화되고 승인되어야 한다.

3.1. Intended use. The intended use of a model and the specific tasks it is designed to assist or automate should be described in detail based on an in-depth knowledge of the process the model is integrated in. This should include a comprehensive characterisation of the data the model is intended to use as input and all common and rare variations; i.e. the input sample space. Any limitations and possible erroneous and biased inputs should be identified. A process subject matter expert (SME) should be responsible for the adequacy of the description, and it should be documented and approved before the start of acceptance testing.

3.2 하위 집단. 해당되는 경우, 입력 표본 공간은 관련 특성에 따라 하위 집단(subgroup)으로 나누어야 한다. 하위 집단은 결정 출력(예: ‘적합’ 또는 ‘부적합’), 공정별 기준 특성(예: 지리적 제조소 또는 설비), 원자재 또는 제품의 특정 특성, 자동화되는 작업에 고유한 특성(예: 결함의 유형과 심각도) 같은 특성으로 정의할 수 있다.

3.2. Subgroups. Where applicable, the input sample space should be divided into subgroups based on relevant characteristics. Subgroups may be defined by characteristics like the decision output (e.g. ‘accept’ or ‘reject’), process specific baseline characteristics (e.g. geographical site or equipment), specific characteristics in material or product, and characteristics specific to the task being automated (e.g. types and severity of defects).

3.3 사람 개입. 모델이 사람 작업자가 내리는 결정에 입력을 제공하는 데 사용되고(사람 개입(human-in-the-loop)), 그러한 모델에 대한 시험 노력이 줄어든 경우, 사용 목적 기술에는 작업자의 책임이 포함되어야 한다. 이 경우 작업자의 교육훈련과 일관된 수행 능력을 다른 수작업 공정과 마찬가지로 모니터링하여야 한다.

3.3. Human-in-the-loop. Where a model is used to give an input to a decision made by a human operator (human-in-the-loop), and where the effort to test such model has been diminished, the description of the intended use should include the responsibility of the operator. In this case, the training and consistent performance of the operator should be monitored like any other manual process.

4.1 시험 지표. 사용 목적에 따라 모델의 성능을 측정할 수 있도록, 사례에 맞는 적절한 시험 지표(test metrics)를 정하여야 한다. 예를 들어 제품을 분류(예: ‘적합’ 또는 ‘부적합’)하는 데 사용되는 모델의 적절한 시험 지표에는 혼동 행렬(confusion matrix), 민감도, 특이도, 정확도(accuracy), 정밀도(precision) 및/또는 F1 점수가 포함될 수 있으며, 이에 한정되지 않을 수 있다.

4.1. Test metrics. Suitable, case dependent test metrics, should be defined to measure the performance of the model according to the intended use. As an example, suitable test metrics for a model used to classify products (e.g. ‘accept’ or ‘reject’) may include, but may not be limited to, a confusion matrix, sensitivity, specificity, accuracy, precision and/or F1 score.

4.2 허용 기준. 정해진 시험 지표에 대하여, 모델의 성능이 사용 목적에 허용 가능하다고 판단할 수 있는 허용 기준을 설정하여야 한다. 허용 기준은 사용 목적 안의 특정 하위 집단별로 다를 수 있다. 공정 분야 전문가(SME)가 허용 기준 설정에 대한 책임을 져야 하며, 허용 기준은 인수 시험 시작 전에 문서화되고 승인되어야 한다.

4.2. Acceptance criteria. Acceptance criteria for the defined test metrics should be established by which the performance of the model should be considered acceptable for the intended use. The acceptance criteria may differ for specific subgroups within the intended use. A process subject matter expert (SME) should be responsible for the definition of the acceptance criteria, which should be documented and approved before the start of acceptance testing.

4.3 성능 저하 금지. 모델의 허용 기준은 적어도 그 모델이 대체하는 공정의 성능만큼은 높아야 한다. 이는 모델로 대체될 공정의 성능이 알려져 있어야 함을 의미한다(Annex 11 2.7항 참조).

4.3. No decrease. The acceptance criteria of a model, should be at least as high as the performance of the process it replaces. This implies, that the performance should be known for the process which is to be replaced by a model (see Annex 11 2.7).

5.1 선정. 시험 데이터는 사용 목적의 전체 표본 공간을 대표하고 포괄하여야 한다. 시험 데이터는 층화되어야 하고, 모든 하위 집단을 포함하여야 하며, 모델의 사용 목적 안에서의 제한 사항, 복잡성 및 모든 일반적·드문 변동을 반영하여야 한다. 시험 데이터 선정 기준과 근거를 문서화하여야 한다.

5.1. Selection. Test data should be representative of and expand the full sample space of the intended use. It should be stratified, include all subgroups, and reflect the limitations, complexity and all common and rare variations within the intended use of the model. The criteria and rationale for selection of test data should be documented.

5.2 충분한 크기. 시험 데이터셋과 그 하위 집단은 각각 적절한 통계적 신뢰도로 시험 지표를 계산할 수 있을 만큼 충분한 크기여야 한다.

5.2. Sufficient in size. The test dataset, and any of its subgroups, should be sufficient in size to calculate the test metrics with adequate statistical confidence.

5.3 라벨링. 시험 데이터의 라벨링은 매우 높은 수준의 정확성을 보장하는 절차에 따라 확인하여야 한다. 여기에는 여러 전문가에 의한 독립적 확인, 밸리데이션된 설비 또는 시험실 시험이 포함될 수 있다.

5.3. Labelling. The labelling of test data should be verified following a process that ensures a very high degree of correctness. This may include independent verification by multiple experts, validated equipment or laboratory tests.

5.4 전처리. 시험 데이터의 모든 전처리(예: 변환, 정규화 또는 표준화)는 사전에 규정하여야 하며, 그것이 사용 목적의 조건을 대표한다는 근거를 제시하여야 한다.

5.4. Pre-processing. Any pre-processing of the test data, e.g. transformation, normalisation, or standardisation, should be pre-specified and a rationale should be provided, that it represents intended use conditions.

5.5 제외. 시험 데이터의 정제(cleaning)나 제외는 모두 문서화하고 충분히 타당성을 입증하여야 한다.

5.5. Exclusion. Any cleaning or exclusion of test data should be documented and fully justified.

5.6 데이터 생성. 생성형 AI 등을 이용한 시험 데이터나 라벨의 생성은 권장되지 않으며, 이를 사용하는 경우에는 충분히 타당성을 입증하여야 한다.

5.6. Data generation. Generation of test data or labels, e.g. by means of generative AI, is not recommended and any use hereof should be fully justified.

6.1 독립성. 시험 데이터의 독립성, 즉 모델 시험에 사용될 데이터가 모델의 개발, 학습 또는 밸리데이션 중에 사용되지 않도록 보장하기 위하여, 기술적 및/또는 절차적 관리로 이루어진 효과적인 조치를 이행하여야 한다. 이는 학습과 밸리데이션을 마친 후에야 시험 데이터를 수집하거나, 학습을 시작하기 전에 전체 데이터 풀에서 시험 데이터를 분리하는 방법으로 할 수 있다.

6.1. Independence. Effective measures consisting of technical and/or procedural controls should be implemented to ensure the independency of test data, i.e. that data which will be used to test a model, is not used during development, training or validation of the model. This may be by capturing test data only after completion of training and validation, or by splitting test data from a complete pool of data before training has started.

6.2 데이터 분리. 모델 학습 전에 전체 데이터 풀에서 시험 데이터를 분리하는 경우, 모델의 개발과 학습에 관여하는 직원이 시험 데이터에 접근한 적이 전혀 없어야 한다는 것이 필수적이다. 시험 데이터는 접근 관리와, 시험 데이터에 대한 접근 및 변경을 기록하는 감사 추적 기능으로 보호하여야 한다. 이 저장소 밖에 시험 데이터의 사본이 있어서는 안 된다.

6.2. Data split. If test data is split from a complete pool of data before training of the model, it is essential that employees involved in the development and training of the model have never had access to the test data. The test data should be protected by access control and audit trail functionality logging accesses and changes to these. There should be no copies of test data outside this repository.

6.3 식별. 어떤 데이터가 언제, 몇 번 시험에 사용되었는지 기록하여야 한다.

6.3. Identification. It should be recorded which data has been used for testing, when and how many times.

6.4 물리적 대상. 시험 데이터가 물리적 대상에서 얻어지는 경우, 모델의 최종 시험에 사용하는 대상이 이전에 모델의 학습이나 밸리데이션에 사용된 적이 없도록 보장하여야 한다. 다만 특징(feature)이 독립적인 경우는 예외로 한다.

6.4. Physical objects. When test data originates from physical objects, it should be ensured, that the objects used for the final test of the model have not previously been used to train or validate the model, unless features are independent.

6.5 직원의 독립성. 시험 데이터에 접근한 적이 있는 직원이 같은 모델의 학습과 밸리데이션에 관여하지 못하도록 효과적인 절차적 및/또는 기술적 관리를 이행하여야 한다. 이러한 독립성을 유지할 수 없는 조직에서는, 어떤 모델의 시험 데이터에 접근했을 수 있는 직원은 그러한 접근 이력이 없는 동료와 함께(짝을 이루어) 작업할 때에만 같은 모델의 학습과 밸리데이션에 접근할 수 있어야 한다(4-eyes 원칙).

6.5. Staff independency. Effective procedural and/or technical controls should be implemented to prevent staff members who have had access to test data from being involved in training and validation of the same model. In organisations where it is impossible to maintain this independency, a staff member who might have had access to test data for a model, should only have access to training and validation of the same model when working together (in pair) with a colleague who has not had this access (4-eyes principle).

7.1 사용 목적 적합성. 시험은 모델이 사용 목적에 적합하고 ‘일반화가 잘 되는지’, 즉 모델이 사용 목적에서 나오는 새로운 데이터에 대해 만족스러운 성능을 보이는지 보장하여야 한다. 여기에는 모델이 학습 데이터에 과적합(overfitting) 또는 과소적합(underfitting)되었는지 검출하는 것이 포함된다.

7.1. Fit for intended use. The test should ensure that a model is fit for intended use and is ‘generalising well’, i.e. that the model has a satisfactory performance with new data from the intended use. This includes detecting possible over- or underfitting of the model to the training data.

7.2 시험 계획서. 시험을 시작하기 전에 시험 계획서를 작성하고 승인하여야 한다. 시험 계획서에는 사용 목적의 요약, 사전에 정한 지표와 허용 기준, 시험 데이터에 대한 참조, 시험 수행에 필요한 모든 단계를 기술한 시험 스크립트, 시험 지표의 계산 방법에 대한 기술이 포함되어야 한다. 공정 분야 전문가(SME)가 계획서 작성에 참여하여야 한다.

7.2. Test plan. Before the test is initiated, a test plan should be prepared and approved. It should contain a summary of the intended use, the pre-defined metrics and acceptance criteria, a reference to the test data, a test script including a description of all steps necessary to conduct the test, and a description of how to calculate the test metrics. A process subject matter expert (SME) should be involved in developing the plan.

7.3 일탈. 시험 계획서로부터의 모든 일탈, 허용 기준 미충족 또는 시험 데이터 일부의 미사용은 문서화하고 조사하며 충분히 타당성을 입증하여야 한다.

7.3. Deviation. Any deviation from the test plan, failure to meet acceptance criteria, or omission to use all test data should be documented, investigated, and fully justified.

7.4 시험 문서. 모든 시험 문서는 사용 목적 기술, 시험 데이터의 특성 기술, 실제 시험 데이터 및 해당되는 경우 물리적 시험 대상과 함께 보관하여야 한다. 또한 시험 데이터에 대한 접근 관리 문서와 관련 감사 추적 기록도 다른 GMP 문서와 마찬가지로 보관하여야 한다.

7.4. Test documentation. All test documentation should be retained along with the description of the intended use, the characterisation of test data, the actual test data, and where relevant, physical test objects. In addition, documentation for access control to test data and related audit trail records, should be retained similarly to other GMP documentation.

8.1 특징 기여도. 중요 GMP 용도에 사용되는 모델을 시험하는 동안, 시스템은 특정 분류나 결정(예: 불합격 처리)에 기여한 시험 데이터 안의 특징을 수집하고 기록하여야 한다. 해당되는 경우, 결과에 기여한 핵심 요인을 부각하기 위해 특징 기여도 분석(feature attribution) 기법(예: SHAP 값 또는 LIME)이나 히트맵 같은 시각적 도구를 사용하여야 한다.

8.1. Feature attribution. During testing of models used in critical GMP applications, systems should capture and record the features in the test data that have contributed to a particular classification or decision (e.g. rejection). Where applicable, techniques like feature attribution (e.g. SHAP values or LIME) or visual tools like heat maps should be used to highlight key factors contributing to the outcome.

8.2 특징의 타당성. 모델이 관련성 있고 적절한 특징에 근거하여 결정을 내리도록 보장하기 위하여, 위험에 근거하여 이러한 특징에 대한 검토를 시험 결과 승인 절차의 일부로 포함하여야 한다.

8.2. Feature justification. In order to ensure that a model is making decisions based on relevant and appropriate features and based on risk, a review of these features should be part of the process for approval of test results.

9.1 신뢰도 점수. 데이터를 예측하거나 분류하는 데 사용되는 모델을 시험할 때, 해당되는 경우 시스템은 각 예측 또는 분류 결과에 대한 모델의 신뢰도 점수(confidence score)를 기록하여야 한다.

9.1. Confidence score. When testing a model used to predict or classify data, the system should, where applicable, log the confidence score of the model for each prediction or classification outcome.

9.2 임계값. 데이터를 예측하거나 분류하는 데 사용되는 모델은 적합한 경우에만 예측이나 분류가 이루어지도록 적절한 임계값을 설정하여야 한다. 신뢰도 점수가 매우 낮으면, 신뢰할 수 없을 가능성이 있는 예측이나 분류를 하는 대신 모델이 그 결과를 ‘판정 불가’로 표시하도록 할지 검토하여야 한다.

9.2. Threshold. Models used to predict or classify data should have an appropriate threshold setting to ensure predictions or classifications are made only when suitable. If the confidence score is very low, it should be considered whether the model should flag the outcome as ‘undecided’, rather than making potentially unreliable predictions or classifications.

10.1 변경관리. 시험을 마친 모델, 그 모델이 구현된 시스템, 그리고 모델이 자동화하거나 지원하는 공정 전체는 운영에 배치되기 전에 변경관리 대상으로 두어야 한다. 모델 자체, 시스템 또는 모델이 사용되는 공정에 대한 모든 변경(모델이 입력으로 사용하는 물리적 대상의 변경 포함)은 문서화하고, 모델의 재시험이 필요한지 판단하기 위해 평가하여야 한다. 이러한 재시험을 하지 않기로 결정한 경우에는 충분히 타당성을 입증하여야 한다.

10.1. Change control. A tested model, the system it is implemented in, and the whole process it is automating or assisting should be put under change control before it is deployed in operation. Any change to the model itself, the system, or the process in which it is used, including any change to physical objects the model is using as input, should be documented and evaluated to determine if the model needs to be retested. Any decision not to conduct such retest should be fully justified.

10.2 구성관리. 시험을 마친 모델은 운영에 배치되기 전에 구성관리 대상으로 두어야 하며, 승인되지 않은 변경을 검출하기 위한 효과적인 조치를 사용하여야 한다.

10.2. Configuration control. A tested model should be put under configuration control before being deployed in operation, and effective measures should be used to detect any unauthorised change.

10.3 시스템 성능 모니터링. 컴퓨터화 시스템의 변화(예: 조명 조건의 악화 또는 변경)를 검출하기 위하여, 지표로 정의된 모델의 성능을 정기적으로 모니터링하여야 한다.

10.3. System performance monitoring. The performance of a model as defined by its metrics should be regularly monitored to detect any changes in the computerised system (e.g. deterioration or change of a lighting condition).

10.4 입력 표본 공간 모니터링. 입력 데이터가 여전히 모델의 표본 공간과 사용 목적 안에 있는지 정기적으로 모니터링하여야 한다. 입력 데이터의 드리프트(drift)를 모니터링하기 위한 지표를 정하여야 한다.

10.4. Input sample space monitoring. It should be regularly monitored whether the input data are still within the model sample space and intended use. Metrics should be defined for monitoring any drift in the input data.

10.5 사람의 검토. 모델이 사람 작업자가 내리는 결정에 입력을 제공하는 데 사용되고(사람 개입(human-in-the-loop)), 그러한 모델에 대한 시험 노력이 줄어든 경우, 이 과정에 대한 기록을 유지하여야 한다. 공정의 중요도와 모델의 시험 수준에 따라, 이는 절차에 따라 모델의 모든 출력을 일관되게 검토 및/또는 시험하는 것을 의미할 수 있다.

10.5. Human review. When a model is used to give an input to a decision made by a human operator (human-in-the-loop), and where the effort to test such model has been diminished, records should be kept from this process. Depending on the criticality of the process and the level of testing of the model, this may imply a consistent review and/or test of every output from the model, according to a procedure.