이 가이드라인은 모델 기반 의약품 개발(Model-Informed Drug Development, MIDD)에서 도출된 근거(이하 “MIDD 근거”)의 계획, 모델 평가 및 문서화에 관한 일반 권고사항을 제시한다.¹ 이 가이드라인은 MIDD 근거에 대한 조화된 평가 프레임워크(관련 용어 포함)를 수립한다.

This Guideline provides general recommendations for planning, model evaluation, and documentation of evidence derived from Model-Informed Drug Development (MIDD), hereafter “MIDD evidence.”¹ It establishes a harmonized assessment framework (including associated terminology) for MIDD evidence.

이 가이드라인에서 MIDD는 근거를 생성하기 위하여 비임상 데이터, 임상 데이터, 사전 정보 및 지식(예: 의약품⁴ 및 질병 특성)을 포함하고 통합할 수 있는 전산 모델링 및 시뮬레이션(modeling and simulation, M&S)³ 방법의 사용으로 정의된다². 생성된 MIDD 근거는 의약품 개발자, 규제당국 및 그 밖의 이해관계자의 의약품 개발 및 의사결정에 정보를 제공하는 데 사용된다.

For the purposes of this Guideline, MIDD is defined² as the use of computational modeling and simulation (M&S)³ methods that can include and integrate nonclinical data, clinical data, prior information, and knowledge (e.g., drug⁴ and disease characteristics) to generate evidence. The generated MIDD evidence is used to inform drug development and decision-making by drug developers, regulatory authorities, and other stakeholders.

MIDD를 조기에 계획하여 전체 의약품 개발 계획에 포함하면 MIDD 전략을 뒷받침하는 데 필요한 데이터가 생성되도록 보장할 수 있다. 마찬가지로, 이 가이드라인에서 권장하는 바와 같이 계획된 MIDD 전략에 관하여 규제당국과 효과적으로 소통하고 조기에 합의하면 이후 MIDD 근거의 수용이 용이해진다.

Early planning and inclusion of MIDD into the overall drug development plan ensures that the necessary data are generated to support MIDD strategies. Similarly, as encouraged in this Guideline, effective communication and early alignment with regulatory authorities regarding planned MIDD strategies facilitates the subsequent acceptance of MIDD evidence.

MIDD 전략에 사용되는 M&S 방법 및 접근방식에는 집단 약동학 및 약력학, 생리학 기반 약동학 및 생물약제학, 노출-반응, 모델 기반 메타분석, 정량적 시스템 약리학 및 독성학, 행위자 기반 모델, 질병 진행 모델, 인공지능/기계학습 등이 있으며, 이에 한정되지 않는다. M&S 방법 및 접근방식은 단독으로 또는 조합하여 사용할 수 있다.

M&S methods and approaches used in MIDD strategies include, but are not limited to, population pharmacokinetics and pharmacodynamics, physiologically based pharmacokinetics and biopharmaceutics, exposure-response, model-based meta-analysis, quantitative systems pharmacology and toxicology, agent-based models, disease progression models, and artificial intelligence/machine learning. M&S methods and approaches may be used alone or in combination.

MIDD의 일반 원칙에 관한 이 ICH M15 가이드라인은 현재의 M&S 방법, 접근방식 및 적용과 새롭게 등장하는 M&S 방법, 접근방식 및 적용 모두에 적용된다. 이 가이드라인은 MIDD 근거의 평가에 중점을 두며, 관련 규제 상호작용, 보고 및 제출에 관한 권고사항을 제시한다. 이 가이드라인은 MIDD와 이에 따른 근거 생성에 대한 다학제적 이해를 돕기 위한 것이다. 이 가이드라인은 관련 주제별 ICH 가이드라인(예: E4, E5, E6, E7, E9, E11, E14, E17, M12, M13 및 S7B)과 함께 사용하여야 한다.

This ICH M15 Guideline on general principles for MIDD applies to both current and emerging M&S methods, approaches, and applications. It focuses on assessment of MIDD evidence and provides recommendations for related regulatory interactions, reporting, and submission. This Guideline is intended to facilitate a multidisciplinary understanding of MIDD and associated evidence generation. It should be used in conjunction with relevant topic-specific ICH Guidelines (e.g., E4, E5, E6, E7, E9, E11, E14, E17, M12, M13, and S7B).

모델 개발은 해당 M&S 방법에 대하여 현재 인정되는 표준 및/또는 과학적 관행과 함께 이 가이드라인에 제시된 일반 권고사항에 부합하여야 한다. 이 가이드라인은 모델 개발 과정의 기술적 측면에 관한 세부사항에 중점을 두지 않는다.

Model development should be consistent with the general recommendations outlined in this Guideline in conjunction with current accepted standards and/or scientific practices for the M&S method(s). This Guideline does not focus on details regarding technical aspects of the model development process.

이 가이드라인은 보충용 공식 ICH 교육 자료와 함께 읽어야 한다.⁵

The Guideline should be read in conjunction with supplementary official ICH training materials.⁵

이 가이드라인은 먼저 MIDD 근거 평가를 위한 프레임워크를 설명하고(섹션 2), 이어서 MIDD 근거 평가의 기초로서 필요한 모델 평가를 개괄하며(섹션 3), 마지막으로 모델 수준과 MIDD 근거 수준 모두에서의 보고 및 제출에 관한 일반 권고사항을 제시한다(섹션 4).

This Guideline first outlines the framework for assessing MIDD evidence (Section 2), then provides an overview of the model evaluation needed (Section 3) as the basis for MIDD evidence assessment, and finally presents general recommendations for reporting and submission at both the model and MIDD evidence levels (Section 4).

MIDD 계획 및 MIDD 근거 제출과 관련한 이 가이드라인의 개요는 표 1에 제시하였다.

An overview of the Guideline in relation to MIDD planning and MIDD evidence submission is provided in Table 1.

이 섹션은 의사결정에 정보를 제공하기 위하여 MIDD 근거를 평가하는 핵심 개념을 기술한다. 규제 상호작용 및 제출을 돕기 위하여 MIDD 근거 평가표⁶(이하 “평가표”)를 부록 1에 제시하였다.

This section describes key concepts for assessing MIDD evidence to inform decision-making. To aid in regulatory interaction and submission, a table for assessment of MIDD evidence⁶ (hereafter “assessment table”) is provided in Appendix 1.

의약품 개발자는 투명성을 높이고 제안된 MIDD 전략, 그 실행 및 MIDD 근거 제공과 관련하여 확보된 결과에 대한 이해를 제공하기 위하여, 의약품 개발자와 규제당국 간, 그리고 다학제 팀 전반에 걸친 소통 도구로 평가표를 사용하여야 한다. 규제당국과 조기에 합의하면 이후 MIDD 근거의 수용이 용이해진다.

Drug developers should use the assessment table as a tool for communication between drug developers and regulatory authorities, across multidisciplinary teams, to increase transparency and provide an understanding of the proposed MIDD strategy, its implementation, and available results with respect to provision of MIDD evidence. Early alignment with regulatory authorities facilitates subsequent acceptance of MIDD evidence.

다음 하위 섹션에서는 평가표의 각 부분에 대한 정의와 그 사용 방법을 제시한다. 개념과 평가표 작성 방법에 대한 사고 과정을 예시하기 위하여 작성이 완료된 평가표의 예를 보충용 공식 ICH 교육 자료에 제시하였다.

Within the following subsections, definitions for each part of the assessment table are provided followed by instructions with respect to their use. An example of a completed assessment table is provided in the supplemental official ICH training materials to illustrate the concept and the thought process on how to fill out the assessment table.

핵심 평가 요소에는 관심 질문, 사용 맥락(context of use, COU), 모델 영향력(model influence), 잘못된 결정의 결과(consequence of wrong decision), 모델 위험(model risk) 및 모델 파급도(model impact)가 있다. 모델 위험과 모델 파급도는 각각 위험 평가와 파급도 평가의 결과이다. 모델 위험은 모델 영향력과 잘못된 결정의 결과를 조합한 것이며, 모델 평가 요건을 결정하는 데 필수적이다. 모든 핵심 평가 요소는 평가표를 계획 단계에서 사용하는지 제출 단계에서 사용하는지와 관계없이 평가표에 포함될 것으로 기대된다. 이들 요소를 명확히 이해하는 것은 계획, 근거 평가 및 소통에 필수적인 것으로 간주된다. 핵심 평가 요소는 다음 하위 섹션에서 기술한다.

The key assessment elements include question of interest, context of use, model influence, consequence of wrong decision, model risk, and model impact. Model risk and model impact are the outcome of risk and impact assessment, respectively. Model risk is the combination of model influence and consequence of wrong decision and is essential for determining the requirements for model evaluation. All key assessment elements are expected to be included in the assessment table regardless of whether it is used at the planning or submission stages. A clear understanding of these elements is considered essential for planning, evidence assessment, and communication. The key assessment elements are described in the following subsections.

낮음, 중간 또는 높음으로 등급을 매기는 각 평가 요소에 대해서는 항상 타당성 근거가 기대되며, 이는 평가를 가능하게 하는 데 필수적이다.

For each assessment element that is rated low, medium, or high, justification is always expected and essential in enabling the assessment.

관심 질문은 MIDD로 답하고자 하는 질문이다. 관심 질문은 명시적으로 기술하여야 한다. 관심 질문은 다학제적 평가와 규제 의사결정을 반영하고 이에 정보를 제공하여야 한다. 관심 질문은 모델의 의도된 용도보다 넓을 수 있다는 점에 유의하여야 한다. 관심 질문은 개발 단계 및/또는 제품 수명주기 상태를 고려하여 의약품 개발 프로그램에 필요한 정보를 반영하여야 한다. MIDD로 서로 다른 관심 질문에 답하고자 계획한 경우, 질문마다 별도의 평가표를 사용하는 것이 권장된다.

The question of interest is the question that MIDD is intended to answer. The question of interest should be explicitly stated. It should reflect and inform multidisciplinary assessments and regulatory decision-making. It should be noted that the question of interest can be broader than the intended use of the model(s). It should reflect information needed for the drug development program given the development stage and/or product lifecycle status. If MIDD is planned to answer different questions of interest, it is recommended to use separate tables for each question.

사용 맥락은 관심 질문에 답하는 데 사용되는 모델의 역할과 범위를 간결하고 명확하며 명시적으로 기술하는 형태로 제시하여야 한다. 사용 맥락에는 모델, 그 역할과 범위, 모델 구축에 사용된 데이터, 그리고 관심 질문에 대한 답에 정보를 제공할 추가 데이터 또는 근거에 대한 설명이 포함되어야 한다. 추가 데이터 또는 근거에는 관심 질문에 대한 답에 정보를 제공할 임상시험 또는 비임상 실험, 시판 후 또는 실사용 근거가 포함될 수 있다.

The context of use should be outlined as a concise, clear, and explicit description of the role and scope of the model(s) used to answer the question of interest. It should include a description of the model, its role and scope, the data used to build the model, and any additional data or evidence that will inform the answer to the question of interest. The additional data or evidence can include evidence from clinical trials or nonclinical experiments, post-marketing, or real-world evidence that will inform the answer to the question of interest.

모델 영향력은 추가 데이터 또는 근거의 기여를 고려할 때 의사결정에서 모델 결과가 갖도록 의도된 비중이다.

Model influence is the intended weight of the model outcomes in decision-making considering the contribution of additional data or evidence.

모델 영향력은 기술하고 낮음, 중간 또는 높음으로 등급을 매긴 다음 그 등급의 타당성을 제시하여야 한다. 기술, 등급 및 타당성 근거는 관심 질문에 답하는 데 사용되는 다른 관련 정보에 대비한 모델 결과의 비중에 중점을 두어야 한다. 모델 영향력 등급은 모델 결과의 비중이 커짐에 따라 낮음에서 중간, 높음으로 높아져야 한다.

Model influence should be described and rated as low, medium, or high, and then the rating justified. The description, rating, and justification should focus on the weight of the model outcomes in relation to the other relevant information used for answering the question of interest. The model influence rating should increase from low to medium to high as the weight of model outcomes increases.

일반적으로 모델 결과가 결정을 뒷받침하는 유일한 근거인 경우 모델 영향력은 높음으로 간주하여야 한다. 다른 관련 출처로부터 상당한 데이터와 근거가 있는 경우, 모델 결과의 비중에 따라 모델 영향력을 낮음 또는 중간으로 평가할 수 있다.

In general, when model outcomes are the sole source to support the decision, model influence should be considered as high. If there is considerable data and evidence coming from other relevant sources, the model influence may be rated low or medium depending on the weight of the model outcomes.

잘못된 결정의 결과는 이용 가능한 모든 정보에 근거한 잘못된 결정으로 인하여 발생하는 잠재적 부정적 영향(예: 환자 안전 및/또는 유효성 결여에 대한 영향)을 말한다.

The consequence of wrong decision refers to the potential negative effect (e.g., on patient safety and/or lack of efficacy) resulting from an incorrect decision based on all available information.

잘못된 결정의 결과는 기술하고 낮음, 중간 또는 높음으로 등급을 매긴 다음 그 등급의 타당성을 제시하여야 한다.

Consequence of wrong decision should be described and rated as low, medium, or high, and then the rating justified.

잘못된 결정의 결과 등급은 잠재적 부정적 영향의 심각성과 잘못된 결정이 잠재적 부정적 영향으로 이어질 가능성을 모두 고려하여야 한다. 이 두 요인은 모두 규제 상호작용 시점에 이용 가능한 모든 정보(예: 비임상 데이터, 임상 데이터, 사전 정보 및 지식)에 근거하여 고려한 다음, 조합하여 잘못된 결정의 결과 등급을 산출하여야 한다.

The rating for consequence of wrong decision should take into consideration both the severity of potential negative effects as well as the likelihood that a wrong decision will result in potential negative effects. Both of these factors should be considered based on all available information at the time of regulatory interaction (e.g., nonclinical data, clinical data, prior information, and knowledge) and then combined to generate a rating for consequence of wrong decision.

모델 위험은 모델 결과가 잘못된 결정 가능성과 그에 따른 잠재적 바람직하지 않은 결과에 기여하는 정도이다.

Model risk is the contribution of the model outcomes to a possible wrong decision and subsequent potential undesirable consequences.

모델 위험은 모델 영향력과 잘못된 결정의 결과를 조합하여 도출한다. 모델 위험은 기술하고 낮음, 중간 또는 높음으로 등급을 매긴 다음 그 등급의 타당성을 제시하여야 한다. 등급은 모델 영향력 및/또는 잘못된 결정의 결과 등급이 높아짐에 따라 낮음에서 중간, 높음으로 높아져야 한다. 일반적으로 모델 영향력과 잘못된 결정의 결과 등급이 모두 낮으면 모델 위험은 낮다. 두 등급이 모두 높으면 모델 위험은 높다. 모델 영향력과 잘못된 결정의 결과 등급이 서로 다른 경우, 모델 위험 등급은 두 항목 중 영향이 더 큰 항목에 의하여 결정될 수 있으며, 이러한 고려사항은 타당성 근거에 반영하여야 한다.

The model risk is derived by combining model influence and consequence of wrong decision. Model risk should be described and rated as low, medium, or high, and then the rating should be justified. The rating should increase from low to medium to high as the ratings for model influence and/or consequence of wrong decision increase. In general, if the ratings for both model influence and consequence of wrong decision are low, model risk is low. If the ratings for both are high, model risk is high. When the ratings for model influence and consequence of wrong decision differ, the model risk rating may be driven by the most influential of the two items; these considerations should be captured in the justification.

모델 위험은 모델 평가 요건을 결정하는 데 핵심이며, MIDD 계획, 소통 및 근거 평가에 사용된다. 모델 평가는 최소한 현재 인정되는 표준을 충족하여야 하며, 모델 위험에 상응하여야 한다(섹션 3 참조).

Model risk is key for determining the requirements for model evaluation and is used for MIDD planning, communication, and evidence assessment. Model evaluation should at minimum meet the current accepted standards and be commensurate with the model risk (see Section 3).

모델 위험은 특정 관심 질문에 답하는 맥락에서 해석하여야 하며, MIDD 또는 M&S에 내재된 위험으로 받아들여서는 안 된다.

Model risk should be interpreted in the context of answering a specific question of interest and is not to be perceived as a risk intrinsic to MIDD or M&S.

모델 파급도는 관심 질문에 답하기 위하여 제안된 MIDD 전략이 규제 표준, 또는 규제 표준이 없는 경우 규제 기대 수준에서 벗어나는 정도를 반영한다.

Model impact reflects the extent to which the proposed MIDD strategy varies from regulatory standards, or expectations when no regulatory standard is in place, for answering the question of interest.

모델 파급도는 기술하고 낮음, 중간 또는 높음으로 등급을 매긴 다음 그 등급의 타당성을 제시하여야 한다.

Model impact should be described and rated as low, medium, or high, and then the rating should be justified.

등급은 MIDD 전략이 현재의 규제 표준, 또는 규제 표준이 없는 경우 규제 기대 수준에서 벗어나는 정도에 따라 높아져야 한다.

The rating should increase with the degree to which the MIDD strategy varies from current regulatory standards, or expectations when no regulatory standard is in place.

모델 파급도는 MIDD 계획, 소통, 조기 합의 및 근거 평가에 사용된다.

Model impact is used for MIDD planning, communication, early alignment, and evidence assessment.

섹션 2.1에 기술된 핵심 평가 요소에 더하여, MIDD 계획 및/또는 MIDD 근거 제출과 관련된 의사결정에 정보를 제공하기 위하여 기술적 기준, 제안된 MIDD의 적절성, 모델 및 모델 결과의 평가, MIDD 근거 평가의 결론을 포함하여야 하며, 규제 상호작용을 뒷받침하기 위하여 이를 규제당국에 제공하여야 한다.

In addition to the key assessment elements described in Section 2.1, technical criteria, appropriateness of proposed MIDD, evaluation of model(s) and model outcomes, and outcome of the MIDD evidence assessment should be included to inform decision-making related to MIDD planning and/or MIDD evidence submission and should be provided to regulators to support regulatory interactions.

기술적 기준과 제안된 MIDD의 적절성은 이르면 계획 단계에서부터 핵심 평가 요소와 함께 논의할 수 있다.

Technical criteria and appropriateness of proposed MIDD can be discussed as early as the planning stage in conjunction with key assessment elements.

모델 및 모델 결과의 평가에 관한 요약은 분석이 완료되어 규제 제출 준비가 되면 제출하여야 한다.

A summary related to evaluation of model and model outcomes should be submitted once the analysis is completed and ready for regulatory submission.

MIDD 근거 평가의 결론은 MIDD 근거 제출 단계에서 제공하여야 한다.

The outcome of the MIDD evidence assessment should be provided at the MIDD evidence submission stage.

기술적 기준은 모델⁷ 및 모델 결과를 평가하기 위한 핵심 기준으로서, MIDD 근거 수용에 정보를 제공하여 관심 질문에 대한 답에 기여하는 데 필요한 기준이다.

Technical criteria are key criteria for evaluating the model⁷ and model outcomes, and that are needed to inform MIDD evidence acceptance, contributing to the answer to the question of interest.

관심 질문에 특정한 기술적 기준에 대한 명확하고 간결한 설명과 그 근거를 평가표에 제시하여야 한다.

A clear and concise description of and rationale for the technical criteria, which are specific to the question of interest, should be provided in the assessment table.

기술적 기준을 사전에 정하는 과정의 일부로서, 의약품 개발자는 이것이 모델 위험에 어떻게 상응하는지 개략적으로 제시하여야 한다. 기술적 기준의 세부사항은 적절한 문서(예: 모델 분석 계획서[MAP] 또는 규제 상호작용 배경 자료; 섹션 4 참조)에 제시하여야 한다.

As part of predefining technical criteria, drug developers should outline how this is commensurate with model risk. The details of technical criteria should be provided in appropriate documents (e.g., in a model analysis plan [MAP] or regulatory interaction background materials; see Section 4).

제안된 MIDD의 적절성은 제안된 MIDD가 관심 질문에 답하기에 적합한 이유에 대한 근거이다.

The appropriateness of proposed MIDD is the rationale for why the proposed MIDD is suitable to answer the question of interest.

규제 상호작용을 용이하게 하기 위하여, 무엇보다 계획 단계에서, 의약품 개발자는 제안된 MIDD가 관심 질문에 답하기에 적절하다고 판단하는 이유와 방식을 간략히 논의하여 제시하여야 한다. 의약품 개발자는 적절성의 타당성 근거를 제시하기 위하여 핵심 평가 요소의 여러 측면을 고려할 것이 권장된다. 기술적 기준이 MIDD 근거 생성을 위한 모델 결과의 적절성을 보장하는 데 어떻게 적합한지에 관한 정보를 포함하여야 한다.

To facilitate regulatory interaction, most importantly at the planning stage, drug developers should provide a brief discussion of why and how the proposed MIDD is considered appropriate for answering the question of interest. Drug developers are encouraged to consider aspects of the key assessment elements to provide justification for appropriateness. Information on how the technical criteria are suitable to ensure the appropriateness of the model outcomes for generating MIDD evidence should be included.

모델 및 모델 결과의 평가는 모델 및 모델 결과에 대한 기술적 평가의 주요 결과와 결론을 간략히 논의한 것이다.

Evaluation of model(s) and model outcomes is a brief discussion of the key results and conclusions of the technical evaluation of the model and model outcomes.

MIDD 근거 제출 단계에서 규제 상호작용을 용이하게 하기 위하여, 의약품 개발자는 모델 및 모델 결과에 대한 기술적 평가의 간결한 요약을 포함하고 이들이 기술적 기준을 어떻게 충족하는지 기술하여야 한다. 모델 및 모델 결과에 대한 상세한 평가는 적절한 문서(예: 모델 분석 보고서[MAR] 또는 규제 상호작용 배경 자료; 부록 2 참조)에 제시하여야 한다. 모델 평가에 관한 추가 세부사항은 섹션 3을 참조한다.

To facilitate regulatory interaction at the MIDD evidence submission stage, drug developers should include a concise summary of the technical evaluation of the model and model outcomes and describe how they fulfill the technical criteria. A detailed evaluation of model and model outcomes should be provided in appropriate documents (e.g., in a model analysis report [MAR] or regulatory interaction background materials; see Appendix 2). For additional details on model evaluation, refer to Section 3.

MIDD 근거 평가의 결론은 모델 결과가 MIDD 근거로 간주되는지에 대한 다학제 팀의 평가와 결론이다. 이는 모든 평가 요소를 통합하여 요약하여야 한다.

The outcome of the MIDD evidence assessment is the multidisciplinary team’s assessment and conclusion on whether the model outcomes are considered MIDD evidence. This should integrate all of the assessment elements and be summarized.

모델 결과가 MIDD 근거로 판단되면 이를 관심 질문에 답하는 데 사용하여야 한다. MIDD 근거와 그 사용에 대한 간결한 요약을 제시하여야 한다. MIDD 근거는 관심 질문에 답하기 위하여 그 밖의 관련 정보 및/또는 근거와 함께 사용할 수 있다.

Once model outcomes are determined to be MIDD evidence, it should be used to answer the question of interest. A concise summary of the MIDD evidence and its use should be provided. MIDD evidence can be used in combination with other relevant information and/or evidence to answer the question of interest.

이 섹션은 모델 평가 요소(즉, 검증(verification), 밸리데이션(validation) 및 적용성 평가(applicability assessment)⁸)와 관련 일반 권고사항을 개괄한다. 이들 요소는 관심 질문에 답하기 위한 모델의 수용 가능성을 판단하는 데 사용하여야 하며, 관련 의사결정에 정보를 제공하기 위한 MIDD 근거 평가의 기초가 된다(섹션 2 참조). 모델 평가는 최소한, 해당 M&S 방법과 관련하여 현재 인정되는 표준(있는 경우) 및/또는 확립된 과학적 관행을 충족하여야 하며(섹션 1.3 참조), 모델 위험에 상응하여야 한다(섹션 2 및 섹션 2.2.1 참조).

This section provides an overview of model evaluation elements (i.e., verification, validation, and applicability assessment⁸) and related general recommendations. These elements should be used to determine the acceptability of the model(s) to answer the question of interest, forming the basis of MIDD evidence assessment to inform related decision-making (see Section 2). Model evaluation should at minimum meet the current accepted standards, if available, and/or established scientific practices associated with the specific M&S method(s) (see Section 1.3) and be commensurate with model risk (see Section 2 and Section 2.2.1).

이 섹션의 모델 평가 및 관련 일반 권고사항에 대한 설명은 여러 M&S 방법에 걸쳐 사용할 수 있도록 의도적으로 상위 수준에서 제시하였다. 이러한 권고사항을 채택하면 의사결정에 정보를 제공하기 위한 적절한 조치가 취해졌음을 보장할 수 있다.

Descriptions of model evaluation and related general recommendations in this section are intentionally presented at a high level to facilitate use across M&S methods. Adopting these recommendations ensures that appropriate actions have been taken to inform decision-making.

모델 평가 요소는 다음과 같이 정의된다.

The elements of model evaluation are defined as follows:

모델 평가 요소에 대한 일반 권고사항은 다음과 같다.

The following are general recommendations for the model evaluation elements:

이 섹션은 MAP(섹션 4.1), MAR(섹션 4.2), 규제 상호작용 및 제출을 위한 문서화(섹션 4.3)에 관한 권고사항을 제시한다.

This section provides recommendations on MAPs (Section 4.1), MARs (Section 4.2), and documentation for regulatory interactions and submissions (Section 4.3).

의도된 각 모델 분석은 MAP에 사전에 정하고¹⁰ 문서화하는 것이 권장된다. MAP에는 일반적으로 서론, 목적, 데이터 및 방법이 포함되며, 이는 MAR의 해당 섹션(부록 2)과 맞추어진다. 계획된 모델 평가 활동과 기술적 기준은 MAP에 기술하여야 한다. 규제 상호작용에서는 M&S를 정의하는 MAP을 제공하면 논의가 용이해질 수 있다.

It is recommended to pre-define¹⁰ and document each intended model analysis in a MAP. A MAP typically includes an introduction, objectives, data, and methods, which align with the corresponding MAR sections (Appendix 2). Planned model evaluation activities and technical criteria should be described in the MAP. For regulatory interactions, providing a MAP that defines the M&S can facilitate discussions.

규제당국에 제출하는 각 모델 분석의 결과는 MAR에 문서화하여야 한다. 일반적인 MAR 섹션에 대한 설명은 부록 2에 제시하였다. MAR 구조는 특정 M&S 방법의 보고 요구에 맞게 조정할 수 있다. MAP을 작성한 경우, 이를 관련 MAR의 부록으로 제공하여야 한다. 계획된 분석의 변경은 타당성을 입증하고 문서화하여야 한다. M&S 결과를 기술하고, 결과 및 모델 평가에 대한 해석을 논의하여야 한다.

The results of each model analysis submitted to regulators should be documented in a MAR. Descriptions of the typical MAR sections are provided in Appendix 2. The MAR structure can be adjusted to meet the needs for reporting specific M&S methods. If a MAP was developed, it should be provided as an appendix within the associated MAR. Changes to the planned analyses should be justified and documented. M&S results should be described, and interpretation of results and model evaluation should be discussed.

MIDD 계획과 근거 보고 및 제출의 문서화에 관한 일반 권고사항은 다음과 같다.

The following are general recommendations for documentation of MIDD planning as well as evidence reporting and submissions:

이 부록은 MAR에 일반적으로 포함되는 내용을 제시하나, 내용과 구조는 사용된 특정 M&S 방법론에 맞게 조정하여야 한다. 섹션 4.3에 언급된 바와 같이, 하나의 MAR 또는 여러 MAR이 관심 질문에 답하기 위한 모델 결과를 제공할 수 있다. MAR의 섹션, 특히 목적은 특정 관심 질문과 직접 맞추어질 수도 있고 더 넓은 관점을 가질 수도 있다.

This appendix provides the content typically found within a MAR, although the content and structure should be adapted to the specific M&S methodology employed. As noted in Section 4.3, a single MAR or multiple MARs can provide model outcomes to answer question(s) of interest. The sections of the MAR, especially the objectives, may align directly with particular question(s) of interest or may have a broader perspective.

MAR이 특정 관심 질문에 대한 답을 뒷받침하는 MIDD 근거로 의도된 모델 결과를 기술하는 경우, 평가표 요소와 관련된 세부사항(예: 기술적 기준, 모델 결과)을 MAR에 포함할 수 있으며 관련 평가표 요소에 대한 상호 참조를 포함할 수 있다.

When a MAR describes model outcomes intended to be MIDD evidence to support the answer to a specific question of interest, the details associated with elements of the assessment table (e.g., technical criteria, model outcomes) can be included in the MAR and cross-references to the relevant assessment table elements may be included.

다음의 핵심 용어 및 정의 목록은 이 가이드라인에 대한 일관된 이해와 적용을 촉진하기 위한 것이다.

The following list of key terms and definitions is intended to promote consistent understanding and application of this Guideline: