이 가이드라인의 목적은 의약품(화학의약품, 백신 및 그 밖의 생물의약품)의 안전성 평가를 위해 사용 적합성(fit-for-use, 흔히 목적 적합성(fit-for-purpose)이라고도 한다)을 갖춘 데이터를 이용하는 비중재 연구의 계획, 설계, 분석 및 보고에 관한 일반 원칙에 대하여 국제 기준을 권고하고 그 조화를 촉진하는 것이다. 용어 해설(Glossary)에는 이 가이드라인의 목적상 여러 용어가 정의되어 있다.

The purpose of this guideline is to recommend international standards for, and promote harmonization of, the general principles on planning, designing, analysing, and reporting of non-interventional studies that utilize fit-for-use (frequently referred to as fit-for-purpose) data for safety assessment of medicines (drugs, vaccines, and other biological products). The Glossary defines several terms for the purpose of this guideline.

넓게 보면 약물역학은 인구집단에서 의약품, 의료기술 및 그 밖의 중재의 사용, 유익성 및 위험성을 평가하기 위해 역학적 방법을 사용하는 과학 분야이다.(1) 이 문서는 연구 계획서와 보고서의 작성 및 규제 평가를 효율화하기 위하여, 비중재 약물역학적 안전성 연구(이하 비중재 연구라 하며, 1.3 적용 범위에서 추가로 정의한다)의 수행에 관한 권고사항과 상위 수준의 모범 관행을 제시한다. 이러한 권고사항과 관행은 또한 여러 규제당국에 제출하기 위해 같은 안전성 우려에 대해 여러 연구를 수행하는 일을 최소화하고, 연구 계획서가 규제당국 간에 수용될 수 있는 가능성을 높이며, 연구 결과에 대응한 의사결정을 뒷받침하고자 한다. 처음 나올 때 굵은 기울임꼴로 표시된 용어는 용어 해설에 정의되어 있다.

Broadly, pharmacoepidemiology is a scientific discipline that uses epidemiological methods to evaluate the use, benefits and risks of medicines, medical technologies, and other interventions in human populations.(1) This document outlines recommendations and high-level best practices for the conduct of non-interventional pharmacoepidemiologic safety studies, hereafter referred to as non-interventional studies (as further defined in Section 1.3, Scope), to streamline the development and regulatory assessment of study protocols and reports. These recommendations and practices also seek to minimize the conduct of multiple studies on the same safety concern for submission to multiple regulators, and to improve the ability of the study protocol to be accepted across regulatory authorities, and support decision-making in response to study results. Terms that appear in bold italic type upon first use are defined in the Glossary.

이 지침에서 "should"(~하여야 한다)라는 단어는 어떤 사항이 제안되거나 권장되지만 요구되지는 않는다는 의미로 쓴다.

The use of the word “should” in this guidance means that something is suggested or recommended but not required.

비중재 연구는 오랫동안 승인된 의약품의 시판 후 안전성 평가를 뒷받침하는 근거의 원천이 되어 왔다.

Non-interventional studies have long been a source of evidence to support the evaluation of the post-marketing safety of approved medicines.

안전성 우려는 다양한 데이터 출처에서 제기될 수 있으며, 이러한 출처에는 제품 품질 데이터, 비임상 시험, 임상시험, 약물감시 데이터 및 비중재 연구 등 의약품의 사용과 그 사용 결과에 관한 모든 임상적·과학적 정보가 포함될 수 있다. 비중재 연구는 안전성 우려의 검출, 특성 규명 및 평가에서 핵심 요소이며, 기술적(descriptive)이거나 추론적(inferential)일 수 있다.

Safety concerns can arise from a variety of data sources; these sources may include all clinical and scientific information concerning the use of medicines and the outcome of this use, such as product quality data, non-clinical studies, clinical trials, pharmacovigilance data, and non-interventional studies. Non-interventional studies are a key component in the detection, characterization and evaluation of safety concerns, and may be descriptive or inferential.

규제 목적으로 사용할 확고한 근거를 생성하는 것은 데이터의 신뢰성과 관련성, 그리고 그 데이터를 분석하는 데 타당한 방법을 적용하는지에 달려 있다. 규제 의사결정에 비중재 연구를 활용하는 일이 전 세계적으로 늘어났으며, 규제당국과 전문 학회가 여러 가이드라인과 모범 관행 문서를 마련하였다. 많은 국가와 지역이 주로 의약품의 안전성 평가를 목적으로 이러한 연구의 계획과 설계에 관한 일반 원칙과 관련된 가이드라인을 발간하였다. 또한 비정부 단체들이 연구의 설계, 수행 및 보고를 위한 프레임워크를 개발하고 있으며, 이는 연구 개발을 안내하는 데 도움이 되도록 사용될 수 있다.

Generation of robust evidence to be used for regulatory purposes depends on the reliability and relevance of the data and the application of sound methods to analyse such data. The use of non-interventional studies for regulatory decision-making has increased globally, and multiple guidelines and best practice documents have been developed by regulators and professional societies. Many countries and regions have published guidelines related to general principles of planning and designing such studies, mainly for the purpose of safety assessment of a medicine. In addition, frameworks for study design, conduct, and reporting are being developed by non-governmental groups, and may be used to help guide development of a study.

여기에는 유럽 약물역학·약물감시 센터 네트워크(ENCePP)의 약물역학 방법론 기준 지침(Guide on Methodological Standards in Pharmacoepidemiology), PRINCIPLED 프레임워크를 갖춘 Sentinel 혁신 센터(Sentinel Innovation Center),(2) 그리고 ISPE/ISPOR의 재현성 향상을 위한 조화 연구 계획서 양식(HARPER) 이니셔티브가 포함되며, 이들은 이 가이드라인의 범위를 넘어서는 추가적인 세부 사항을 제공한다.(3-6)

These include the European Network of Centers for Pharmacoepidemiology and Pharmacovigilance (ENCePP) Guide on Methodological Standards in Pharmacoepidemiology, The Sentinel Innovation Center with the PRINCIPLED framework,(2) and ISPE/ISPOR’s HARmonized Protocol Template to Enhance Reproducibility (HARPER) Initiative, which provide additional detail that is beyond the scope of this guideline.(3-6)

무엇이 실사용 데이터(real-world data, RWD)에 해당하는지에 관해서는 지역 간에 약간의 차이가 있지만, 이 가이드라인은 의약품의 시판 후 안전성 평가를 목적으로 규제당국에 제출하는 실사용 증거(real-world evidence, RWE)의 생성에 관한 권고사항을 제공한다. 때로는 RWD 출처만으로는 관심 연구 질문에 답하기에 불충분할 수 있으며, 그 경우 연구 목적상 추가 데이터가 필요하다. 1차 데이터 수집은 RWD를 이용하는 비중재 연구와 관련될 수 있으므로, 이 가이드라인에는 1차 데이터 수집에 관한 고려사항도 포함된다(이 주제에 관한 추가 정보는 ICH E8 참조(7)).

Although there are slight differences between regions with regard to what constitutes real-world data (RWD), this guideline provides recommendations for the generation of real-world evidence (RWE) that is submitted to regulators for the purpose of evaluating post-marketing safety of medicines. At times, RWD sources alone may be insufficient to answer the research question of interest and a study will require additional data for the purposes of the study. Because primary data collection may be relevant to non-interventional studies using RWD, this guideline also includes considerations for primary data collection (see ICH E8 for additional information on this topic(7)).

환자 경험 데이터 수집은 주목할 만한 사건, 관점, 요구 및 우선순위 등의 측면에 대한 정보를 제공하는 시판 후 안전성 연구의 유용한 구성 요소가 될 수 있다. 이에 관한 세부 지침은 이 가이드라인의 범위를 벗어나지만, 여러 규제 지침이 마련되어 있다. 연구에 환자 경험 데이터가 포함되는 경우, 연구자는 추가 정보를 위해 관련하여 발간된 권고사항을 참고할 수 있다.

Collecting patient experience data may be a valuable component for post-marketing safety studies to inform on aspects such as notable events, perspectives, needs, and priorities. While a detailed guidance on this is beyond the scope of this guideline, several regulatory guidances have been developed. When studies include patient experience data, the researcher(s) may consult relevant published recommendations for additional information.

임상시험과 비중재 연구 중 어느 것이 가장 적절한 접근방식인지에 관한 지침을 제공하는 것은 이 문서의 범위를 벗어나며, 이 문서는 비중재 안전성 연구에 관한 포괄적인 지식 원천을 의도한 것도 아니다. 오히려 그 의도는 비중재 연구의 설계, 계획, 분석 및 보고에 관한 규제 지침 문서를 조화시키고 규제 심사를 원활하게 하는 데 있다. 연구자는 규제 지침에서 다루지 않는 범위에서 관련이 있는 경우 다른 출처의 모범 관행 지침도 고려할 수 있다. 마찬가지로, 제시된 인용 문헌은 규범적이거나 망라적인 것이 아니라 핵심 개념을 예시하기 위한 것이다.

It is beyond the scope of this document to provide guidance on whether a clinical trial or a non-interventional study is the most appropriate approach, nor is it intended as a comprehensive source of knowledge for non-interventional safety studies. Rather, the intent is to harmonize regulatory guidance documents for the design, planning, analysis, and reporting of non-interventional studies, and to facilitate regulatory review. The researcher(s) can also consider, as relevant, best practice guidances from other sources to the extent not covered in regulatory guidance. Similarly, citations presented are not intended to be prescriptive nor exhaustive, but illustrative for key concepts.

다음은 적용 범위에서 제외된다.

The following are out of scope:

약물유전체학, 인공지능(AI) 및 그 밖의 기술은 RWD의 사용과 RWE의 생성에 관련될 수 있다. 그러나 이들 분야가 계속 변화하고 있음을 고려하여, 이 가이드라인은 해당 주제를 다루지 않는다.

The use of pharmacogenomics, artificial intelligence (AI), and other technologies may be relevant to the use of RWD and generation of RWE. However, considering the evolving landscape in these areas, this guideline does not address those topics.

이 문서에 제시된 원칙은 사용 실태 연구 및 유효성 연구, 또는 의료기기의 안전성 평가 등 의약품 안전성 평가 이외의 목적으로 수행하는 비중재 연구에도 적용될 수 있는 권고사항을 제공한다. RWD가 포함되는 경우, 이 가이드라인에 제시된 기본 원칙은 이러한 연구에 관련될 수 있다.

The principles presented in this document provide recommendations that may be applicable to non-interventional studies conducted for purposes other than evaluation of the safety of medicines, such as utilization and effectiveness studies or for the evaluation of the safety of medical devices. The basic principles presented in this guideline may be relevant to these studies when RWD are included.

의약품의 안전성 프로파일은 전임상 연구에서부터 시판 후 수명주기에 이르기까지 계속 발전하는 지식의 집합을 반영한다. 비중재 안전성 연구는 자발적 이상사례 보고 및 임상시험 등 다른 정보 출처를 보완하여, 임상 현장에서 사용되는 의약품의 유익성-위험성 프로파일을 더 잘 파악할 수 있게 한다.

The safety profile of a medicine reflects an evolving body of knowledge extending from preclinical investigations through the post-marketing lifecycle. Non-interventional safety studies complement other sources of information such as spontaneous adverse event reporting and clinical trials to provide a better picture of the benefit-risk profile of a medicine as used in clinical practice.

연구 설계와 데이터 출처 선정의 여러 단계는 반복적이지만, 이 가이드라인은 단계적 절차를 기술한다. 이 절차는 안전성 우려에 대응하여 연구 근거와 연구 질문을 명확히 하는 것에서 시작하여, 원칙에 입각한 접근방식에 따라 연구 대상 집단, 노출, 비교군, 결과변수 및 공변량을 규명하고, 데이터 출처 선정에 정보를 제공하고 실행 가능성 평가를 안내하기 위해 최소 데이터 요건을 규명하며, 데이터 출처가 표적 집단을 대표하는지 평가하고, 잠재적인 비뚤림과 교란의 원인을 고려하는 순서로 진행된다. 적절한 데이터 출처 및/또는 데이터 수집 방식이 정해진 후에는 내적 타당도와 외적 타당도를 확보하기 위한 접근방식을 포함하여 설계를 더 다듬는 과정이 이어진다. 이 가이드라인의 3항은 이러한 활동의 통합을 기술한다.

The guideline describes a stepwise process, although the various steps of study design and data source selection are iterative. The process starts with articulating the study rationale and research question in response to a safety concern; then following a principled approach to identify the study population, exposure, comparator(s), outcome, and covariates; identifying the minimum data requirements to inform data source selection and guide feasibility assessment; assessing the representativeness of the data source to the target population; and considering sources of potential bias and confounding. After an appropriate data source and or data collection approach has been identified, the process involves further refining the design, which includes approaches to address internal and external validity. Section 3 of this guideline describes the integration of these activities.

연구자는 계획 과정 초기부터 특정 연구의 속성에 관하여 규제당국과 협의할 것이 권장된다. 이는 연구 계획서 개요, 핵심 설계 요소 또는 초기 실행 가능성 평가를 규제당국에 제출하는 형태로 이루어질 수 있다. 전 과정에 걸쳐 노출, 결과변수 및 공변량의 정의, 분석, 데이터 관리, 연구 실행, 보고 및 규제 제출, 그 밖의 주요 결정에 대한 근본 근거와 타당성은 문서화하여야 하며, 적절한 경우 규제당국과 협의하여야 한다.

Researcher(s) are encouraged to discuss the attributes of a particular study with regulators beginning early in the planning process. This could take the form of submission of a protocol synopsis, key design elements, or initial feasibility assessments provided to the regulators. Throughout, the underlying rationale and justification for exposure, outcome, and covariate definitions, analysis, data management, study implementation, reporting and regulatory submission, and other key decisions should be documented and discussed with regulators as appropriate.

이 가이드라인에서 "연구자"란 연구의 설계와 수행을 책임지는 자를 말하며, 규제기관, 의뢰자 또는 허가 보유자, 임상시험수탁기관, 학술 단체 등이 될 수 있다. 품목허가 신청의 의뢰자와 품목허가권자(MAH)는 규제 일정, 절차 및 그 밖의 적용 지침의 준수를 포함하여 규제당국에 제출하는 시판 후 안전성 연구의 모든 측면에 대하여 최종 책임을 진다.

In this guideline we refer to “researcher(s)” as those responsible for designing and executing the study; this may be a regulatory agency, a sponsor or application holder, contract research organization, academic group, or others. Sponsors of marketing applications and marketing authorisation holders (MAH) are ultimately responsible for all aspects of post-marketing safety studies submitted to regulators, including compliance with regulatory timelines, pathways, and other applicable guidances.

규제 결정을 뒷받침하기 위해 제출되는 연구 생성 근거의 강도는 기초 데이터의 관련성과 신뢰성뿐 아니라 연구 설계와 방법론에 달려 있다. 그림 1은 안전성 우려의 발생에 대응한 연구 질문을 다루기에 적절한 근거를 설계하고 생성하기 위한 개념적 프레임워크를 이 과정에서의 규제당국과의 상호작용을 포함하여 나타낸 것이다.(8) 그림 1은 단순화를 위해 대체로 선형적인 과정(1~10단계)으로 나타냈지만, 실제로는 반복적이며 일부 단계는 병행하여 수행될 수 있다. 이 프레임워크에서는 안전성 우려가 확인되고 연구 질문이 정해지면, 그 질문을 다루는 데 가장 적절한 연구 설계와 데이터 출처가 결정된다.(8) 연구자는 특정 데이터 출처에 맞추어 연구를 설계할 것이 아니라 연구 질문을 다루도록 연구를 설계하여야 한다.

The strength of the study-generated evidence submitted in support of a regulatory decision depends on the research design and methodology in addition to the relevance and reliability of the underlying data. Figure 1 depicts a conceptual framework for designing and generating evidence that is adequate to address a research question in response to the emergence of a safety concern, including interactions with regulators during this process.(8) Although Figure 1 depicts a generally linear process (steps 1-10) for simplicity, it is in fact iterative, with some steps that may be done in parallel. Within this framework, once a safety concern has been identified and the research question established, then the study design and data source(s) most appropriate for addressing those questions are determined.(8) The researcher(s) should design a study to address the research question, rather than designing a study to conform to a specific data source.

근거가 연구 질문에 적절히 답할 수 있는지 판단하기 위해, 그림 1에 나타낸 프레임워크는 (a) 데이터 관련성과 데이터 신뢰성, (b) 연구 설계와 분석 방법의 적절성, (c) 연구의 한계와 그 한계가 생성된 근거의 최종 타당성·신뢰성 및 결과 해석에 미치는 영향에 대한 확고한 정성적/정량적 평가라는 세 가지 구성 요소를 통합적으로 평가하도록 한다. 연구를 통해 생성되는 근거가 적절할지에 대한 통합 평가는 연구 계획서 작성 단계에서 실행 가능성 평가(예: 방법론적 우려의 영향 논의, 가능한 비뚤림의 원인과 그것이 연구 타당성에 미칠 잠재적 영향 고려)와 함께, 그리고 연구 실행 후에는 계획서에 사전에 규정한 민감도 분석과 함께 고려하여야 한다.

In order to determine if the evidence will adequately answer the research question, the framework depicted in Figure 1 provides for an integrated assessment of three components: (a) data relevance and data reliability, (b) appropriateness of the study design and analytic methods, and (c) a robust qualitative/quantitative assessment of study limitations and their impact on the ultimate validity and reliability of the resulting evidence and the interpretation of findings. The integrated assessment of whether the evidence generated through the study will be adequate should be considered both during protocol development with a feasibility assessment (e.g., discussion of the impact of methodological concerns, consideration of possible sources of bias and their potential impact on study validity) and after study implementation with sensitivity analyses pre-specified in the protocol.

정량적 비뚤림 분석은 체계적 오차의 원인(예: 오분류, 통제되지 않은 교란, 선택 비뚤림)에 대한 연구 결과의 민감도를 평가하는 데 사용할 수 있는 일련의 방법이며, 이를 통해 이러한 비뚤림이 효과 추정치의 방향과 크기에 미치는 영향을 추가로 평가할 수 있다.(9-12) 이러한 방법은 연구 설계와 결과 해석 모두에 사용할 수 있다.(11-16) 세 가지 구성 요소를 함께 고려하면, 연구가 계획서에 따라 수행될 경우 특정 규제 질문을 다루기에 적절한 근거를 생성할 수 있는지를 결정할 수 있으며, 적절한 상황에서는 그 연구를 다른 규제당국에도 제출할 수 있다.

Quantitative bias analysis is a set of methods that can be used to assess the sensitivity of study results to sources of systematic errors (e.g., misclassification, uncontrolled confounding, and selection bias), and one can further assess the impact of these biases on the direction and magnitude of effect estimates.(9-12) Such methods can be used in both study design and interpretation of results.(11-16) All three components considered jointly can enable a decision on whether the study, if executed according to the protocol, can generate adequate evidence to address the specific regulatory question, and in appropriate situations may be submitted to other regulators.

*정량적 비뚤림 분석 방법은 연구 설계와 사용 적합성 데이터 평가를 도와, 오분류나 통제되지 않은 교란으로 인한 비뚤림이 연구의 잠재적 충분성에 미치는 영향을 파악하게 할 수 있다.(11) **정량적 비뚤림 분석은 연구 분석 단계에서 잔여 교란 또는 측정되지 않은 교란이나 오분류가 연구 해석에 미치는 영향을 평가하는 데 사용할 수 있다.(12)

*Quantitative bias analysis methods can assist with study design and fit-for-use data evaluation to understand impact of bias due to misclassification or uncontrolled confounding on potential study sufficiency.(11) **Quantitative bias analysis can be used in the study analysis phase to evaluate the impact of residual or unmeasured confounding or misclassification on study interpretation.(12)

연구 질문은 연구 목적을 간결하게 기술한 것이다. 연구가 인과적(추론적) 목적을 가지는 경우, 이 기술에는 사전에 규정한 귀무가설과 대립가설이 포함될 수 있다. 연구 질문은 대상 집단(population), 중재(intervention, 비중재 연구의 경우 노출), 비교군(comparator), 결과변수(outcome), 시점(timing) 및 환경(setting)(PICOTS) 양식 또는 이와 유사한 구조화된 양식을 사용하여 수립할 수 있으며, 의약품이 사용되는 환경을 고려하여야 한다.(17, 18) 연구 질문을 수립할 때에는 연구가 기술적 목적을 가지는지 인과적(추론적) 목적을 가지는지를 명시하여야 한다. 비교군을 확인할 수 없어(예: 계열 최초 의약품 또는 희귀질환) 노출군만으로 연구를 수행하는 상황에서는 그 근거를 기술하여야 한다.

The research question is a concise statement of the study purpose. If the study has causal (inferential) objectives, this statement may include prespecified null and alternative hypotheses. The research question may be formulated by use of the population, intervention (the exposure in the case of non-interventional studies), comparator, outcome, timing, and setting (PICOTS) template or similar structured templates, and should consider the setting in which the medicine is used.(17, 18) When the research question is formulated, it should be explicit whether the study has descriptive or causal (inferential) objectives. In situations where an exposure-only study is conducted because a comparator cannot be identified (e.g., first-in-class or rare disease), the supporting rationale should be described.

해당되고 가능한 경우, 그리고 선행 연구에서 나타난 잠재적 비뚤림이나 교란이 되풀이되지 않도록, 구체적인 질문은 지식의 공백, 선행 연구의 강점과 약점, 예상되는 위험의 크기, 중요한 교란 요인을 확인하고 이해하기 위해 발간된 문헌을 포함한 이용 가능한 정보를 비판적으로 평가한 후에 수립하여야 한다. 연구 질문을 정의할 때 연구자는 그 질문이 연구 목적을 통해 어떻게 다루어질 것인지에 대한 명확한 근거를 제시하여야 한다. 연구 질문을 신중하게 수립하면 실행 가능성 평가에 정보를 제공하게 되며, 그 평가 결과는 연구 질문과 이후의 계획서 작성을 더 다듬는 데 필요한 실행 가능한 연구 설계와 이용 가능한 데이터 유형에 관한 정보를 제공한다. 연구자는 연구 질문을 수립할 때 원칙에 입각한 접근방식도 고려할 수 있다.

When applicable and possible, and to prevent the duplication of potential bias or confounding encountered in prior research, the specific question should be formulated after a critical appraisal of available information, including published literature to identify and understand any knowledge gaps, strengths and weaknesses of prior studies, the expected magnitude of the risk, and important confounding factors. When defining the research question, the researcher(s) should provide a clear rationale on how it will be addressed by the study objectives. Careful formulation of the research question will inform the feasibility assessment, and results of the assessment will provide information about feasible study designs and the type of data available to further refine the research question and subsequent protocol development. The researcher(s) may also consider a principled approach when formulating their research question.

연구가 인과적(추론적) 목적을 가지는 경우, 표적 임상시험 모방(target trial emulation)과 같은 접근방식을 사용할 수 있다.(3)

When the study has a causal (inferential) objective, an approach such as the target trial emulation may be used.(3)

실행 가능성 평가는 특정 연구 질문을 다루기 위한 사용 적합성 데이터를 확인하고, 노출군과 비교군 간의 결과변수를 평가하지 않은 채 잠재적 연구의 통계적 정밀도에 관한 정보를 얻기 위한 체계적인 과정이다. 실행 가능성 평가를 수행할 때 핵심 목표는 평가한 데이터 출처가 연구 질문에 대해 가지는 관련성을 기술하고 비교하는 것이다. 데이터 출처의 잠재적 강점과 한계에 관한 추가 세부 사항은 5항 연구 계획서 작성에 제시되어 있다.

A feasibility assessment is a systematic process to identify fit-for-use data to address a specific research question and to obtain information on the statistical precision of a potential study without evaluating outcomes between the exposed or comparator group(s). When conducting a feasibility assessment, a key goal is to describe and compare the relevance of the data source(s) assessed for the research question. Additional detail on potential strengths and limitations of data sources is provided in Section 5, Protocol Development.

실행 가능성 평가는 적어도 두 단계로 구성하여야 한다.

Feasibility assessments should be structured in at least two phases:

연구 질문과 설계 요소가 정해진 후, 연구자는 연구 질문에 특유한 핵심 설계 요소를 다루는 데 필요한 최소 기준을 규정하여야 한다. 이 작업에는 RWD의 관련성과 신뢰성(5.3 데이터 출처 참조)을 포함한 RWD 출처의 특성과 임상적 맥락에 대한 이해가 필요하다. 연구 목적을 정의한 후 고려할 요소는 다음과 같다.

After the research question and design elements are established, the researcher(s) should specify the minimum criteria required to address the key design elements specific to the research question. This task will require an understanding of RWD source characteristics, including RWD relevance and reliability (see Section 5.3, Data Sources), and the clinical context. Elements to consider after defining the study objectives are the following:

이러한 요소는 맥락에 따라 달라지며, 예를 들어 희귀질환이나 드문 결과변수의 경우 이용 가능한 데이터 출처를 좁힐 수 있다.

These elements are context-dependent and may narrow the available data sources, e.g., for rare diseases or rare outcomes.

여러 문헌에 고려할 특징에 관한 추가 세부 사항이 제시되어 있다.(8, 19, 20)

Several publications outline further details regarding features to consider.(8, 19, 20)

비중재 연구 설계의 초기 단계에서는 데이터 신뢰성 및 출처(provenance)와 관련된 데이터 취급과 문서화를 포함하여, 환자 수준 데이터셋 또는 분석용 데이터셋에 대한 접근과 관련된 기대 사항도 명확히 하여야 한다. 이러한 활동은 흔히 데이터 보유자 및/또는 데이터 집적자가 수행하므로, 문서화에는 데이터 판정(adjudication)과 검증 절차, 그리고 데이터 출처 내 데이터 요소의 변환 절차가 포함된다.(8, 19, 20)

In the early stages of designing a non-interventional study, expectations regarding access to patient level or analytic data sets should also be clarified, including data handling and documentation that pertains to data reliability and provenance. Documentation includes procedures for data adjudication and verification as well as the transformation of data elements in the data source since these activities are often undertaken by data holder(s) and or aggregators.(8, 19, 20)

연구 질문에 따라서는 데이터 출처의 기록을 보완하기 위해 추가 정보를 수집할 수 있는지, 또는 데이터 출처를 다른 유형의 데이터(예: 출생·사망 등 인구동태 기록, 암 등록, 백신 등록)와 연계할 수 있는지 등 그 밖의 중요한 기준을 규정하는 것이 적절할 수 있다. 실행 가능성 평가의 초기 검토 단계인 이 시점에서는 연구자가 연구 질문에 답하는 데 중요하다고 규정한 기준을 충족할 가능성이 가장 높은 데이터 출처를 확인할 수 있어야 한다. 경우에 따라 연구자는 발간된 문헌, 데이터 출처 설명서, 메타데이터 목록, 그리고 때로는 데이터 출처에서 얻을 수 있는 단순 기술 집계 등 이용 가능한 정보에만 의존하여 초기 검토 단계를 마칠 수 있다.

Depending on the research question, it may be appropriate to specify other important criteria, such as the ability to collect additional information to complement records in the data sources, or link data sources to other types of data (e.g., vital records, cancer registries, vaccine registries). At this point in the initial scan portion of the feasibility assessment, it should be possible to identify data sources that are most likely to satisfy the criteria the researcher(s) has/have specified as important to answer the research question. In some cases, it is possible for the researcher(s) to complete the initial scan step by solely relying on available information, including published literature, data source descriptions, catalogues of metadata, and occasionally, simple descriptive counts available from the data source.

연구에 활용할 잠재적 후보로서 충분한 수의 이용 가능한 데이터 출처가 확인되면, 심층 실행 가능성 평가를 수행하여야 한다. 경우에 따라 초기 실행 가능성 검토 중에 사용 적합성 데이터가 확인되기도 하며, 이 경우 상세 단계는 검토 대상 데이터 출처에 적용된다. 상세 실행 가능성 단계에서 연구자는 핵심 설계 기준에 필요한 특정 데이터가 이용 가능한지, 그리고 해당 데이터 출처에서 최소 설계 요소의 타당성과 완전성에 대한 충분한 근거가 있는지를 확인할 수 있다.

Once a sufficient number of available data sources have been identified as potential candidates for utilization in the study, an in-depth feasibility assessment should be conducted. In some instances, fit-for-use data will be identified during the initial feasibility scan, in which case the detailed step will apply to the data sources under consideration. In the detailed feasibility step, the researcher(s) can verify that the specific data needed for the key design criteria are available and that there is sufficient evidence of validity and completeness of the minimum design elements in the specific data source.

데이터 출처를 선정할 때에는 데이터의 최신성, 데이터 갱신 빈도 및 관찰 기간의 완전성을 고려하여야 한다. 데이터 출처 선정의 그 밖의 요인으로는 해당 데이터에 대한 연구자의 기존 경험, 데이터 생성 방식, 데이터 연계 및/또는 환자 접촉 가능 여부, 데이터 접근의 용이성 등이 있을 수 있다. 이러한 요인을 다루는 데 필요한 시간과 연구 결과를 얻어야 하는 긴급성 사이에는 상충 관계가 있을 수 있다.

When selecting a data source, data recency, frequency of data refresh, and completeness of observation time should be considered. Other factors in data source selection may include the researcher’s prior experience with the data, how data are generated, whether data can be linked and or patients contacted, and ease of data access. There may be a trade-off between the time needed to address these factors versus the urgency of obtaining study results.

특정 데이터 출처에서 연구를 수행하는 것의 실행 가능성을 추가로 평가하기 위해 데이터 결측의 잠재적 영향을 평가하는 분석을 수행할 수 있다. 이 단계를 마치기 위해 다양한 정보 출처가 사용되며, 데이터 보유자나 전문 데이터 사용자에게 특정 정보(예: 선정 및 제외 기준을 충족하는 환자 수(전체 및 노출군별), 표본 크기 계산을 위한 결과변수 발생률(전체), 공변량의 이용 가능성, 데이터 출처가 사용 적합성을 갖추었는지 확인하기 위한 그 밖의 데이터 조회)를 요청하는 것이 흔히 유용할 수 있다. 관심 대상 특정 데이터 출처의 데이터 수집, 데이터 관리 또는 데이터 분석을 이해하고 그에 대한 경험이 있는 데이터 보유자나 전문 데이터 사용자와의 이러한 협력은 사용 적합성 데이터를 확인하는 과정에 정보를 제공할 수 있다.

Analyses that evaluate the potential impact of data missingness may be conducted to further evaluate the feasibility of conducting a study in a given data source. A variety of information sources are used to complete this step, and it may often be valuable to request specific information from the data holder or an expert data user (e.g., number of patients fulfilling the inclusion and exclusion criteria (in total and by exposure group), incidence rate of outcome (in total) to conduct sample size calculations, availability of covariates, and other queries of the data to verify the data source is fit-for-use). This collaboration with a data holder or expert data user, who understands and has experience with data collection, data management or data analysis of the specific data source(s) of interest, may inform the process of identifying fit-for-use data.

상세 평가가 완료되면 데이터 출처를 비교하고, 연구에 사용할 데이터 출처를 선정할 수 있다(데이터 출처에 관한 추가 세부 사항은 5.3 데이터 출처 참조). 때로는 어느 단계에서든 특정 데이터 출처가 연구 질문을 다루기에 적합하지 않다는 것이 분명해진다. 이러한 경우 연구자는 보강 목적으로, 평가 중인 코호트의 일부 또는 서로 다르지만 유사한 집단을 대상으로 다른 데이터 수집 방안(예: 1차 데이터 수집 또는 혼합 접근방식)에 대한 실행 가능성 평가를 수행할 수 있다. 일부 연구 질문과 집단(예: 희귀질환)에서는 1차 데이터 수집이 유일하게 가능한 방안일 수 있다.

After the detailed evaluation is completed, the data sources are compared, and data source(s) can be selected for the study (see Section 5.3, Data Sources for further detail on data sources). Occasionally, at any of the steps, it will be apparent that a specific data source is not suitable to address the research question. In these circumstances, the researcher(s) may conduct a feasibility assessment for other data collection options (e.g., primary data collection, or a hybrid approach), either on a subset of the cohort under assessment or a different, but similar, population for augmentation purposes. Primary data collection may be the only option available for some research questions and populations (e.g., rare diseases).

이 평가에는 일반적으로 의사 및 기관 대상 조회가 포함되며, 연구 질문에 의미 있는 답을 얻을 수 있도록 충분한 참여자를 (시장 점유 등의 요인에 근거하여) 등록하고 적절한 기간 동안 추적 관찰할 수 있는지를 판단하기 위해 환자 집단에 관한 정보(자원자를 통해 유입되는 잠재적 비뚤림 포함)를 확인한다.

This assessment typically includes physician and site queries, including information about the patient population (including potential biases introduced via volunteers), to determine if enough participants can be enrolled (based on factors like market uptake) and followed for the appropriate timeframe to yield meaningful answers to the research question.

1차 데이터 수집을 이용하는 연구를 제안할 때에는 언제나 연구자는 연구 기관, 데이터 보유자 및 규제당국과 협력하여 기관 선정, 기관 직원 교육, 윤리 승인, 참여자 등록 및 추적 관찰, 결과 산출에 걸리는 시간을 포함한 연구 준비 기간과 그 기간이 수용 가능한지를, 대안이 없을 수도 있다는 점을 이해하면서 고려하여야 한다. 1차 데이터 수집에 관한 심층 지침은 이 가이드라인의 범위를 벗어나지만, Pharmacoepidemiology의 관련 장과 ENCePP 지침에서 추가 정보를 얻을 수 있다.(6, 21) 마찬가지로 RWD 출처를 사용하는 경우, 연구자는 데이터를 적시에 이용할 수 있도록 연구 계약 체결, 데이터 보유자의 거버넌스 승인 및 데이터 이용 허가 신청에 걸리는 시간을 고려하여야 한다.

Whenever studies utilizing primary data collection are proposed, the researcher(s) should collaborate with study sites, data holders, and regulators to consider the time to set up the study, which includes time to select sites, train site staff, undergo ethics approval, enroll and follow participants, produce results, and whether this timing is acceptable, understanding that there may be no alternative. In-depth guidance on primary data collection is beyond the scope of this guideline, but additional information is available in the relevant chapters in Pharmacoepidemiology and the ENCePP Guide.(6, 21) Likewise, when using RWD sources, the researcher(s) should consider the time to set up the study agreement, data holder governance approvals, and data permit applications, to ensure that data are available in a timely manner.

또한 적절한 비교군(또는 연구 설계에 따라 적절하게 조작적으로 정의한 비교 기간)을 규정하는 것은 연구 설계의 핵심 부분이며, 실행 가능성 평가와 비교/추론 연구에서 중요한 고려사항이다. 노출군과 비교군의 질병 중증도가 의료 또는 의약품 급여 정책에 미치는 영향을 고려하여야 하며, 동시대 비교군 데이터의 이용 가능성도 고려하여야 한다. 그러나 일부 상황(희귀질환 집단 연구 등)에서는 과거 비교군 또는 이전 표준 치료 비교군을 고려할 수 있다. 적절한 비교 치료를 정할 때 연구자는 해당 지역의 규제 지침과 함께 현재 치료 적응증에서의 최신 임상 가이드라인 및 임상 연구를 고려하여야 한다.

In addition, the specification of an appropriate comparator group (or time period, operationalized as appropriate based on study design) is a critical part of the study design and an important consideration in the feasibility assessments as well as for comparative/inferential studies. The impact that disease severity of the exposed group and the comparator group have on policies for medical or medication coverage should be considered, as should the availability of concurrent comparator data. However, in some situations (such as rare disease population studies) a historical or former standard of care comparator may be considered. In determining an appropriate comparator therapy, the researcher(s) should consider applicable regional regulatory guidance, as well as current clinical guidelines and clinical studies in the present therapeutic indication.

실행 가능성 평가는 연구 계획서의 설계 결정을 위한 맥락으로 사용된다. 연구자는 실행 가능성 평가를 수행하였음을 기록하고, 데이터 출처 선정의 타당성을 연구 파일의 일부로 포함할 것이 권장된다. 필요한 경우, 실행 가능성 평가 결과 제출 시 포함할 세부 사항과 적절한 형식을 규제당국과 협의할 수 있다. 그 기술에는 실행 가능성 평가의 목적과 연구 설계 시 평가한 데이터 출처가 포함되어야 하며, 해당 데이터 출처에 대한 실행 가능성 평가 결과나 탐색적 분석 결과도 포함되어야 한다. 연구자는 사전 정보(즉, 제한된 표본 크기 및 데이터 품질 우려) 또는 규제당국의 요구사항에 근거하여 실행 가능성 평가 대상 잠재적 데이터 출처를 선정하고 제외한 타당성을 제시하여야 한다.

Feasibility assessments are used as context for design decisions in the protocol. It is recommended that the researcher(s) note that a feasibility assessment has been conducted and includes the justification for a data source as part of the study files. As warranted, the details to be included and the appropriate format for submission of feasibility assessment results can be discussed with regulators. The description should include the objective of the feasibility assessment, and the data sources evaluated when designing the study, including results from feasibility evaluations or exploratory analyses of those data sources. The researcher(s) should provide a justification for selecting and excluding potential data sources for a feasibility assessment based on a priori information (i.e., limited sample size and data quality concerns) or requirements by a regulatory authority.

아울러 실행 가능성 평가를 수행할 때 치료군 또는 비교군 내 결과변수를 비교하지 않았음을 문서화하는 것이 바람직한 관행이다.

Further, it is good practice to document that when the feasibility assessment was conducted, outcomes within treatment or comparison groups were not compared.

최종 접근방식은 적용되는 규제 요건을 준수하여야 한다. 실행 가능성 평가 수행을 위한 상세 프레임워크, 양식 및 점검표는 과학 문헌에서 얻을 수 있다.

The final approach should comply with applicable regulatory requirements. Detailed frameworks, templates, and checklists for conducting feasibility assessments are available in scientific publications.

비중재 안전성 연구의 설계, 수행 및 해석에는 해당되는 경우 다음 분야에 적절한 전문성을 갖춘, 경험 있는 다학제 연구팀이 참여하여야 한다.

The design, conduct and interpretation of non-interventional safety studies should involve an experienced, multidisciplinary study team with the appropriate expertise in the following as applicable:

연구 계획서에서 고려할 중요한 요소로는 연구에 사용할 데이터 출처의 선택, 데이터 수집의 완전성, 데이터 출처 간 변동성, 데이터 출처 내 시간에 따른 변화의 영향, 데이터 출처의 거버넌스 및 접근 조건, 데이터 출처가 포괄하는 국가 또는 지역의 보건의료체계, 표적 집단·노출·비교군·결과변수 및 공변량의 평가, 그리고 비뚤림과 교란을 다루기 위한 접근방식이 있다.

Important elements to be considered in the study protocol include the choice of the data source(s) for the study, the completeness of data capture, variability among data sources, the impact of changes over time in the data source, governance and conditions of access to the data source, and the healthcare system of the country or region covered by the data source(s), assessment of the target population, exposure, comparator(s), outcome and covariates, as well as approaches to address bias and confounding.

연구 계획서의 버전 관리는 필수적이며, 10항 연구 문서화 및 기록 보존에서 추가로 다룬다. 연구 계획서 작성을 위한 상세 양식과 점검표는 규제 지침과 과학 문헌에서 얻을 수 있다.

Version control for the protocol is essential and is covered further in Section 10, Study Documentation and Record Retention. Detailed templates and checklists for protocol development are available in regulatory guidance and scientific publications.

비중재 안전성 연구는 보통 관심 모집단에서 이상 결과의 발생률 또는 유병률을 추정하고, 그 결과와 의약품 노출 사이의 인과적 연관성을 평가하는 것을 목표로 한다.

Non-interventional safety studies usually aim to estimate the incidence or prevalence of an adverse outcome in a population of interest and to evaluate its causal association with exposure to a medicine.

비중재 안전성 연구에서는 코호트 연구, 환자-대조군 연구, 자기대조 연구를 포함한 여러 연구 설계가 흔히 사용된다. 가장 적절한 연구 설계의 선택은 관심 연구 질문, 그리고 의약품 노출과 관심 특정 안전성 결과 사이에 상정된 관계에 대해 알려진 내용(예: 급성 결과 대 잠복 결과, 생물학적 경로) 등 여러 요인에 따라 달라진다.

Several study designs are commonly used in non-interventional safety studies, including cohort, case-control, and self-controlled studies. The selection of the most appropriate study design depends on multiple factors including the research question of interest and what is known about the postulated relationship between exposure to a medicine and the specific safety outcomes of interest (e.g., acute vs. latent outcome, biologic pathway).

적절한 비교 모집단을 정하는 것은 연구 설계의 핵심 요소이며, 비교 모집단은 조사 대상 노출에 대한 반사실적(counterfactual) 경험을 나타내야 한다. 이는 코호트 설계로 가장 직접적으로 달성되지만, 다른 연구 설계가 더 적절할 수도 있다. 비교군의 예로는 다른 의약품 사용자, 비사용자, 과거 대조군, 또는 자기대조 설계에서의 환자 자신이 있을 수 있다. 비교군 선정 시 고려사항으로는 질병 내 특정 적응증, 금기, 질병 중증도 또는 동반질환, 치료 순서가 있을 수 있다. 교란과 관련된 문제를 줄이기 위해 노출 모집단과 비교 모집단의 비교 가능성을 최대화하고 평가하는 것이 중요하다. 연구 외부에서 일어나는 시대적 변화(신약 허가 및 시장 진입)는 상당한 어려움을 초래할 수 있으므로 비교군 선택 시 고려하여야 한다.

Identifying the appropriate comparator population is a critical element of study design and should represent the counterfactual experience for the exposure under investigation. This is most directly accomplished by the cohort design, but other study designs may be more appropriate. Examples of comparator groups may include users of other medicines, non-users, historical controls, or the patient themselves in self-controlled designs. Considerations for comparator selection may include the specific indication within a disease, contraindications, disease severity or comorbidity, and the treatment sequence. It is important to maximize and evaluate the comparability of the exposed and comparator populations to reduce issues related to confounding. Secular changes (new drug approvals and market uptake) occurring outside the study can pose substantial challenges and should be considered in the choice of comparator.

연구자는 특정 연구 설계를 선택한 근거를 연구계획서와 최종 보고서에서 논의하여야 한다. 또한 연구자는 연구 설계와 평가 기간(포함 기간, 사전 관찰 기간, 추적 기간, 전체 연구 기간 등) 및 역년(calendar time) 관련 요소(코호트 식별 기간 등)를 명확히 하기 위해 그림 표현(연구 설계 도식 등)을 작성하는 것을 고려하여야 한다. 설계 세부사항을 시각화하면 폭넓은 의사결정자에게 연구 설계를 명확히 하고 전달하는 데 도움이 된다.(22) 제안된 연구가 규제 의사결정에 적절한 증거를 제공할 수 있도록, 제안된 연구 설계는 과정 초기에 규제기관과 논의하여야 한다.

The researcher(s) should discuss their rationale for selecting a particular study design in the study protocol and final report. They should also consider developing graphical representations (such as a study design diagram) to clarify the study design and assessment periods such as inclusion period, look back period, follow-up period, overall study period, and calendar time related elements such as cohort identification period. Visualization of design details helps to clarify and communicate the study design to a broad audience of decision makers.(22) The proposed study design should be discussed with the regulatory agencies early in the process to ensure that the proposed study may provide adequate evidence for regulatory decision-making.

실행 가능성 평가를 마친 후, 제안된 연구(설계, 데이터, 방법, 분석)는 연구계획서에 사전에 규정하여야 한다.

Following completion of the feasibility assessments, the proposed study (design, data, methods, analysis) should be prespecified in the protocol.

목표 모집단은 연구가 대상으로 삼는 특정 개인 집단을 말한다(예: 주의력결핍 과잉행동장애가 있는 12~16세 소아). 연구 모집단은 결론을 도출하고자 하는 목표 모집단을 대표하도록 의도된다. 연구 모집단은 무엇보다도 다음 요소에 근거한 포함 기준 및 제외 기준(예: 인구학적 요인, 의학적 상태, 질병 상태, 중증도, 바이오마커)으로 정의된다.

The target population refers to the specific group of individuals that the research aims to study (e.g., children aged 12-16 years with attention deficit hyperactivity disorder). The study population is intended to be representative of the target population for which conclusions are intended to be drawn. The study population is defined via inclusion and exclusion criteria (e.g., demographic factors, medical conditions, disease status, severity, biomarkers) based on the following elements, among others:

규제 의사결정을 뒷받침하기 위해 어떤 데이터 출처를 사용하기 전에, 연구자는 그 관련성과 신뢰성을 평가하여 데이터가 사용 목적에 적합한지(fit-for-use) 고려하여야 한다(3항 실사용 데이터를 이용한 적절한 증거 생성을 위한 개념적 틀, 4.2항 실행 가능성 평가 참조). 의료 데이터 출처에 접근할 때 제기되는 데이터 프라이버시 및 보안 문제를 고려하여야 한다. 이 가이드라인에서 관련성이라는 용어는 주요 데이터 요소(환자 특성, 공변량, 노출, 결과)의 가용성과 연구에 충분한 수의 대표성 있는 환자(목표 모집단)를 포함하며, 데이터 신뢰성이라는 용어는 데이터 정확성, 데이터 완전성, 데이터 추적성, 데이터 출처 이력(provenance)과 같은 개념을 포함한다.

Before using any data source in support of regulatory decision-making, the researcher(s) should consider whether the data are fit-for-use by assessing its relevance and reliability (see Section 3, Conceptual Framework for Generating Adequate Evidence using Real-World Data, and Section 4.2, Feasibility Assessment[s]). Data privacy and security concerns raised when accessing healthcare data sources should be considered. For the purposes of this guidance, the term relevance includes the availability of key data elements (patient characteristics, covariates, exposures, outcomes) and a sufficient number of representative patients for the study (target population); the term data reliability includes concepts such as data accuracy, data completeness, data traceability, and data provenance.

연구계획서에는 사용한 데이터 출처와 그것이 관심 연구 질문을 다루는 데 어떻게 사용 목적에 적합한지를 기술하고 논의하여야 하며, 주요 데이터 특성에 관한 문서를 인용하여야 한다. 또한 연구계획서에는 노출과 결과의 분류에 사용한 코딩 체계(예: 해부학적 치료학적 화학 분류체계[ATC], 국제질병분류[ICD], 국제일차의료분류[ICPC])와 데이터 연계에 사용한 방법, 그리고 모집단, 노출, 결과 및 관련 공변량을 식별하기 위해 구현한 알고리즘을 명시하여야 한다). 데이터 수집 방법과 절차를 기술하여야 한다.

The protocol should describe and discuss the data source(s) used and how it/they are fit-for-use to address the research question of interest and should refer to documentation of key data characteristics. In addition, the protocol should state any coding systems used for classification of the exposure and outcomes (e.g., Anatomical Therapeutic Chemical [ATC] Classification System, International Classification of Disease [ICD], International Classification of Primary Care [ICPC]), and any methods used for data linkage and algorithms implemented to identify population, exposures and outcomes, and relevant covariates). Data collection methods and procedures should be described.

여러 데이터 출처 특성은 연구 설계와 결과 해석에 영향을 줄 수 있으므로 비중재 연구에서 고려하여야 한다. 이러한 특성에는 데이터 출처 간 사용하는 코딩 체계의 차이, 데이터 요소의 표준화, 수집되는 진료 환경(예: 일차 의료, 병원, 전문 진료, 재활)이 포함된다. 환자, 의료 제공자 또는 의료 체계는 데이터 수집이나 참여에 대해 서로 다른 동인(예: 의학적, 금전적, 사회적, 문화적, 의료 접근성)을 가질 수 있고 상환을 위한 청구 관행도 다를 수 있으며, 이는 기반 데이터의 특성에 영향을 주고 연구 설계와 해석에 추가로 참고가 될 수 있다.

Several data source characteristics should be considered in non-interventional studies, as they may affect the study design and the interpretation of the results. These include differences in coding systems used across data sources, standardisation of data elements, and settings of care captured (e.g., primary, hospital, specialty, rehabilitation). Patients, providers, or healthcare systems may have different drivers (e.g., medical, monetary, social, cultural, healthcare access) for data collection or participation, and billing practices for reimbursement, which may impact the characteristics of the underlying data and further inform study design and interpretation.

여러 데이터 출처나 연구 기관의 데이터를 사용하는 연구(예: 연합 데이터 네트워크[FDN](23), 메타분석, 데이터 풀링 또는 데이터 연계)의 경우, 연구자는 데이터 출처 간 모집단 특성, 임상 관행, 코딩의 이질성 가능성을 감안하여 서로 다른 출처의 데이터를 허용 가능한 품질로 확보하고 통합하는 방법에 대한 근거와 절차를 기술하여야 한다. 여러 데이터 출처를 활용할 때, 연구자는 추적성과 기관 또는 데이터 출처 간 데이터를 조화시키기 위해 취한 조치를 고려하여야 한다. 중복된 환자 기록과 관련 데이터를 처리해야 할 수도 있다. 일부 FDN은 과학적 평가와 규제 의사결정을 지원하도록 특별히 설계되어, 점점 더 많은 연구가 흔히 여러 국가에 걸친 이들 FDN의 데이터를 포함할 수 있게 되었다.

For studies that use data from multiple data sources or study sites (e.g., Federated Data Networks [FDNs](23), meta-analysis, data pooling, or data linkage), the researcher(s) should describe the rationale and procedures for how data from different sources can be obtained and integrated with acceptable quality, given the potential for heterogeneity in population characteristics, clinical practices, and coding across data sources. When utilizing multiple data sources, the researcher(s) should consider traceability and steps taken to harmonize data across institutions or data sources. It may be necessary to address duplicated patient records and associated data. Some FDNs have been specifically designed to support scientific evaluations and regulatory decision-making, allowing a growing number of studies to include data from these FDNs, often from different countries.

선택한 데이터 출처의 강점과 한계를 이해하는 것이 필수적이다.

It is essential to understand the strengths and limitations of the chosen data source(s).

데이터 출처 유형의 예로는 전자건강기록(EHR)에서 얻은 데이터, 행정 청구자료, 환자 레지스트리, 환자 생성 데이터, 그리고 면담, 우편 설문, 컴퓨터 또는 모바일 앱 설문지, 디지털 헬스 기술(DHT; 디지털 헬스 기술로 수집한 데이터 참조)을 통한 측정 등 건강 상태에 관한 정보를 제공할 수 있는 기타 출처에서 수집한 데이터가 있다. 어떤 데이터 출처를 사용하든, 증거 생성의 맥락에 관한 정보(예: 지리적 위치, 데이터가 생성된 환경, 데이터 수집 기간, 데이터 출처에 포함된 모집단의 인구학적 정보 분포)를 확보하여야 한다. 흔히 사용되는 데이터 출처 유형의 개략적 요약을 아래 항에 제시한다.

Examples of data source types include data derived from Electronic Health Records (EHRs), administrative claims data, patient registries, patient-generated data, and data gathered from other sources that can inform on health status, such as interviews, mail surveys, computerized or mobile-application questionnaires, and measurements through digital health technologies (DHTs; see Data Collected by Digital Health Technologies). Regardless of the data source(s) used, information on the context of the evidence generation should be obtained (e.g., geographic location, setting in which the data were generated, period during which the data were collected, and demographic information distribution of populations included in the data source). A high-level summary of commonly used data source types is provided in the sections below.

전자건강기록 데이터는 의료기관이 수집하며, 일반적으로 진단, 처방, 임상검사 등 진료 관련 데이터를 포함한다. 처방 데이터는 잘 수집되지만, 환자가 실제로 약을 받았거나 사용했음을 보장하지는 않는다. 약이 의료기관 내에서 조제되는 경우 조제 정보가 포함될 수 있다. 임상 환경에서 환자에게 투여한 약물 정보(예: 원내 주입)를 이용할 수 있을 수도 있다. 또한 EHR 시스템의 구현과 의료기관의 운영에 따라 다르지만, 원내 투약 처방이 EHR에 정형 데이터로 항상 수집되지 않고 별도의 부서 시스템이나 진료 기록에 비정형 데이터로 수집되는 경우가 있다. 따라서 EHR에서 사용할 수 있는 데이터의 세부사항을 이해하는 것이 중요하다.

Electronic Health Record data are captured by healthcare institutions and generally include data related to medical care, including diagnoses, prescriptions, and laboratory tests. Prescribing data is well-captured, but it does not guarantee that the patient actually received or used the medication. Dispensing information may be included if the medication is dispensed within the medical institution. The administration of medications to patients in clinical settings (e.g., in-hospital infusion) may be available. Furthermore, it depends on the implementation of EHR systems and the operation of the medical institution, but there are cases where prescriptions for in-hospital medication are not always captured in the EHR as structured data, instead being captured as unstructured data in a separate department system or clinical notes. Therefore, it is important to understand the details of the data that can be used in the EHR.

데이터의 구성요소와 형식이 의료기관마다 다를 수 있으므로, 여러 기관의 데이터를 통합할 때 표준화된 데이터 형식이 없다는 점이 연구에서 흔히 주요 문제가 된다.

Given that components and formats of data may differ among medical institutions, the lack of standardized data formats is often a major issue in a study when integrating data from multiple institutions.

주요 임상 정보는 흔히 EHR 내 비정형 데이터에 자유 텍스트 필드(의료인 기록 등)나 디지털화된 문서의 기타 비표준화 정보(PDF 기반 영상의학 판독 보고서 등) 형태로 담겨 있다. EHR 기반 데이터 출처에서는 자유 텍스트를 사용하여 노출과 결과를 추가로 특성화(예: 환자 프로파일 검토)할 수 있다. 데이터 추출의 효율을 높이기 위해, 비정형 데이터를 계산 가능한 정형 데이터 형식으로 변환하는 데 기존 기술과 신기술(예: 자연어 처리, 영상 또는 임상검사 결과 평가를 위한 컴퓨터 비전)을 모두 포함한 다양한 접근법이 점점 더 많이 사용되고 있다. 비정형 데이터를 사용할 때는 데이터의 신뢰성과 데이터 변환 방법의 적절성을 확인하는 것이 중요하다.

Key clinical information is often embedded in unstructured data within EHRs, either as free text fields (such as healthcare practitioner notes) or as other non-standardized information in digitized documents (such as PDF-based radiology reports). Free text may be used to further characterize exposure and outcome (e.g., review of patient profiles) in EHR-based data sources. To enhance the efficiency of data abstraction, a range of approaches, including both existing and emerging technologies (e.g., natural language processing, computer vision for images or laboratory results evaluation) are increasingly being used to convert unstructured data into a computable, structured data format. When using unstructured data, it is important to check the reliability of the data and the appropriateness of the data conversion method.

여러 의료기관의 EHR 데이터를 2차 활용할 때, 사용된 코드(질병명, 약품명, 시술, 임상검사 항목 등)를 포함하여 이들 데이터의 구성요소와 형식의 차이는 조화시켜야 하며 그 접근법을 연구계획서에 문서화하여야 한다. EHR 데이터는 일반적으로 의료 제공자와의 진료 접촉을 기록하지만 실제 의료 제공(예: 처방되었으나 조제되거나 투여되지 않은 의약품)을 반영하지 못할 수 있으며, 추가 연계(예: 약국 기록과의 연계)가 필요할 수 있다. 또한 특정 유형의 프라이버시 우려가 있는 환자(예: 성매개감염, 물질사용장애, 정신건강 상태)에 대해서는 포괄적인 의약품 사용 이력이나 진료 데이터를 확보하기 어려울 수 있다. 그럼에도 이러한 데이터를 이용할 수 없으면 데이터가 부정확하거나 불완전해질 수 있다.

When making secondary use of EHR data from multiple medical institutions, any differences in components and format of these data, including codes used (such as disease names, drug names, procedures, and laboratory test items) should be harmonised and the approach documented in the protocol. EHR data typically capture the medical encounter with the healthcare provider but may not reflect the actual delivery of healthcare (e.g., medicines that are ordered but not dispensed or administered) and may require additional linkage (e.g., to pharmacy records). In addition, obtaining comprehensive history of medicine use, or medical care data on patients with certain types of privacy concerns (e.g., sexually transmitted infection, substance use disorders, mental health conditions) can be challenging. Nevertheless, the unavailability of these data can result in inaccurate or incomplete data.

의료 청구자료 출처는 흔히 규모가 크며, 건강보험 프로그램에 가입된 모든 개인의 의료 서비스를 수집한다. 일반적으로 건강보험 프로그램 내 개인에게 제공된 모든 의료에 대한 청구가 완전히 심사 확정되면(즉, 보험사 또는 청구 처리기관이 최종 지급 결정을 내리면), 이들 청구는 서비스를 보다 완전하게 보여주는 데이터 출처로 집계된다. 일부 데이터 출처에는 미결(처리 중) 청구와 종결(지급/거절) 청구가 섞여 있으므로, 이러한 경우 연구자는 데이터의 동적 특성을 이해하여야 한다. 다른 데이터 출처와 연계하지 않으면 진료 방문, 임상검사 결과, 임신 연구에서 자녀의 결과, 예방접종, 질병 중증도, 사고로 인한 손상, 건강보험이 적용되지 않는 진료에 관한 정보를 얻을 수 없는 경우가 많다.

Healthcare claims data sources are often large and capture healthcare services for all individuals covered by a health insurance program(s). Typically, once claims for all healthcare provided to individuals within a health insurance program are fully adjudicated (i.e., final payment decisions made by insurance companies or claims processors), they are aggregated into a data source that reflects a more complete view of services. Some data sources will contain a mix of open (in-process) and closed (paid/denied) claims; the researcher(s) should understand the dynamic nature of the data in these cases. Without linkage to other data sources, it is often not possible to obtain information about healthcare visits, results from laboratory testing, outcomes of offspring in pregnancy studies, vaccinations, severity of the disease, injuries from accidents, and care not covered by health insurance.

이러한 문제는 건강보험 급여 정책, 건강보험 제공자 간 이동, 보험 체계 밖에서의 진료 이용(예: 자비 부담/자가 치료, 산업재해보험 적용 시술, 자동차책임보험) 등 여러 요인에서 비롯될 수 있다. 공적 재원 의료 체계에서는 공적 행정 청구자료가 공적 재원으로 제공되는 광범위한 진료 접촉과 서비스에 걸쳐 이용 가능하다는 특징이 있다. 이러한 서비스를 이용하는 개인을 비교적 장기간에 걸쳐 접촉과 서비스 제공 전반에서 연속적으로 추적하는 것이 가능하다. 청구자료에는 일반적으로 청구 및 상환과 같은 주로 행정적 목적에 사용되는 진단 코드와 시술 코드가 포함된다. EHR 데이터는 청구자료 기반 조작적 정의의 검증에 유용할 수 있다(5.6항 주요 변수의 검증 참조).

These issues may be due to numerous factors, including health insurance coverage policies, switching between health insurance providers, and seeking medical care outside of the insurance system (e.g., self-paid/self-care treatments, procedures insured by worker's accident insurance, and motor vehicle liability insurance). In publicly funded healthcare systems, public administrative claims data are characteristically available across a wide range of publicly funded health encounters and services. It is feasible to track individuals who utilize these services across contacts and service delivery continuously over relatively long periods of time. Claims data generally include diagnostic codes and procedure codes used for primarily administrative purpose such as billing and reimbursement. EHR data may be valuable for validation of claims-based operational definitions (refer to Section 5.6, Validation of Key Variables).

레지스트리는 특정 질병, 상태 또는 노출로 정의되는 모집단으로부터 사전에 규정된 균일한 데이터를 수집하는 조직화된 체계이며, 이 질병, 상태 또는 노출이 레지스트리 등록 특성을 정의한다.(24, 25) 예를 들어, 특정 질병 또는 임신, 수유, 선천성 기형, 분자적 또는 유전체적 특징과 같은 특성이 있는 환자로부터 데이터를 수집한다. 노출 기반 레지스트리는 일반적으로 연구자가 특정 의약품 또는 의약품 계열에 노출된 환자의 데이터를 수집하는 체계이다.

Registries are organized systems that collect prespecified uniform data from a population defined by a specific disease, condition, or exposure, which define the characteristics for registry entry.(24, 25) For example, data are collected from patients with a certain disease or characteristic, such as pregnancy, lactation, a birth defect, or a molecular or genomic feature. Exposure-based registries are generally systems by which the researcher(s) collect data on patients exposed to a specific medicine or class of medicines.

이미 구축된 레지스트리에서 수집한 데이터는 원래 의도와 다른 목적으로 사용될 수 있다. 레지스트리 데이터의 2차 활용에는 EHR 및 청구자료와 같은 데이터 출처에 해당하는 것과 동일한 고려사항과 사용 적합성 평가가 필요하다. 레지스트리가 연구 질문에 답하기에 적합한지 평가하여야 하며, 예를 들어 레지스트리 모집단, 수집되는 데이터 요소, 추적 기간, 평가 빈도, 역년, 데이터 품질 수준, 거버넌스(데이터 공유 및 데이터 접근 측면 포함)를 고려한다. 추가 고려사항으로는 레지스트리의 유형과, 환자 선정에 관련된 방법이 목표 모집단 대비 모집단의 대표성에 미치는 영향(지리적 요인, 레지스트리의 총 환자 수, 적격 환자 수, 연간 신규 등록 환자 수, 연간 탈락 환자 수와 탈락 사유 등)이 있을 수 있다.

Data collected in an already established registry may be used for reasons other than originally intended. Secondary use of registry data warrants the same considerations and fit-for-use assessment relevant to data sources such as EHR and claims data. The suitability of the registry to answer the research question should be evaluated, e.g., taking into account the registry population, data elements collected, length of follow-up, frequency of assessments, calendar time, level of data quality, and governance (including aspects on data sharing and data access). Additional considerations may include the type of registry and the impact of methods involved in patient selection on the representativeness of the population relative to the target population (such as geographic factors, total number of patients in the registry, number eligible, number of new patients entering the registry per year and number lost per year with reasons for exit).

연구 질문에 답하는 데 필요한 데이터가 기존 레지스트리에서 일상적으로 수집되지 않는 경우, 외부 데이터 출처와의 연계 또는 다른 수단(예: 1차 데이터 수집)을 통한 보충 데이터 수집을 검토하여야 하며, 예를 들어 관심 노출에 대한 데이터만 축적하는 노출 레지스트리를 사용하는 연구에서 적절한 비교 모집단이 필요한 경우, 또는 치료 기간, 용량, 투여 경로와 같은 노출이나 공변량의 주요 측정값이 누락된 경우가 이에 해당한다. 경우에 따라 기존 레지스트리로는 충분하지 않아 새 레지스트리를 구축해야 할 수도 있다.

If data necessary to answer the research question(s) are not routinely collected within established registries, linkage to external data sources or supplemental data collection through other means (e.g., primary data collection) should be explored, such as when there is a need for an adequate comparator population in a study using an exposure registry that only accumulates data on the exposure of interest; or when key measures of exposure or covariates such as duration, dose and route of therapy administration, are missing. In some cases, existing registries may not be sufficient and establishing a new registry may be necessary.

디지털 헬스 기술은 의료 및 관련 용도를 위해 컴퓨팅 플랫폼, 연결성, 소프트웨어 및/또는 센서를 사용하는 시스템이다. 이러한 기술은 일반 웰니스 용도에서 의료기기 용도에 이르기까지 광범위한 용도에 걸쳐 있다. 여기에는 의료제품으로, 의료제품 안에서, 또는 의료제품(기기 및 의약품)의 보조로 사용하도록 의도된 기술이 포함된다. DHT는 의료제품을 개발하거나 연구하는 데에도 사용될 수 있다. 이러한 기술로 수집한 데이터는 다른 데이터 출처와 동일한 사용 적합성 평가를 거쳐야 한다. DHT를 특정하거나(예: 버전, 소프트웨어, 하드웨어, 제조업자) 서로 다른 유형의 DHT 간 데이터를 조화시켜야 할 수 있다.

Digital health technologies are systems that use computing platforms, connectivity, software, and or sensors for healthcare and related uses. These technologies span a wide range of uses, from applications in general wellness to applications as a medical device. They include technologies intended for use as a medical product, in a medical product, or as an adjunct to medical products (devices and medicines). DHTs may also be used to develop or study medical products. Data collected by these technologies should be subject to the same fit-for-use assessments as other data sources. There may be a need to specify DHTs (e.g., version, software, hardware, manufacturer), or to harmonize data across different types of DHTs.

데이터 표준화는 연구 네트워크(예: 연합 데이터 네트워크, 공통데이터모델[CDM])를 포함한 다중 데이터 출처 연구와 관련이 있다. 실사용 데이터(RWD) 출처에서 얻은 연구 데이터를 표준화할 때 고려해야 할 여러 어려움이 있다. 표준화의 어려움에는 다음이 포함되며, 이에 국한되지 않는다.

Data standardisation is relevant to multi-data source studies, including research networks (e.g., federated data networks, common data models [CDMs]). There are several challenges to consider in standardising study data derived from RWD sources. These challenges to standardisation include but are not limited to:

또한 진단, 의약품, 임상검사 데이터 등의 코딩 체계는 정기적으로 갱신된다. 따라서 코딩 체계가 발전·변경됨에 따라 이를 매핑하는 계획은 코드 매핑에 사용하는 접근법(자동, 수동)과 그 한계를 포함하여 연구계획서 단계에서 다루어야 한다. 데이터 표준화에 대한 확인을 수행해야 할 수도 있다. 아울러 코드 목록은 개별 연구의 목적, 방법, 작성 시점을 반영하므로, 다른 연구의 코드 목록을 재사용할 때는 주의하여야 한다.

In addition, coding systems for diagnoses, medicines, and laboratory data, among others, are updated regularly. Therefore, plans for mapping coding systems as they evolve/change should be addressed at the protocol stage, including the approach used to map codes (automated, manual) and its limitations. It may be necessary to perform verification of the data standardisation. Moreover, care should be given when re-using a code list from another study, as code lists reflect the individual study objectives, methods, and the time in which they were created.

일부 데이터 출처에는 자유 텍스트/비정형 구성요소가 있으며, 이는 포함 기준, 제외 기준, 노출, 결과, 추적, 공변량을 정의하는 데 사용될 수 있다. 각 자유 텍스트 구성요소는 정형 표로 옮길 수 있으며, 이 표는 사용자가 무엇을 측정하는지, 측정 시점, 진료 환경, 측정값 정의에 사용하는 코드 유형, 그리고 연구 측정값 도출(예: 노출, 결과 또는 공변량 정의)에 사용하는 알고리즘의 출처를 명시하도록 유도한다. 비정형 데이터로부터 정형 변수를 생성하는 과정은 연구 문서에 제시하여야 한다.

A free-text/unstructured component exists in some data sources, and can be used to define inclusion criteria, exclusion criteria, exposures, outcomes, follow-up, and covariates. Each free-text component may be transferred into a structured table which prompts users to specify what is measured, the timing of measurement, the care setting, type of codes that are used to define the measure as well as the sources for any algorithms used to derive study measures, e.g., defining exposures, outcomes, or covariates. The process for creating a structured variable from unstructured data should be provided in the study documentation.

FDN은 여러 데이터 출처 또는 여러 유형의 데이터(청구자료, EHR)에 걸쳐 데이터나 결과를 결합하여 분산 분석을 가능하게 한다. 연구에 FDN을 사용하기로 할 때는 FDN의 데이터 CDM 변환, 데이터가 생성된 시스템 간 차이 등 이러한 시스템에 고유한 특정 문제를 고려하여야 한다. FDN의 거버넌스(중앙집중형 또는 분산형)도 연구의 운영 측면(예: 연구 설계, 기획, 데이터 확보, 데이터 품질, 데이터 표준화)에 영향을 미치므로 고려하여야 한다. CDM으로 변환된 데이터를 사용하는 대신, 공통 연구계획서와 통계분석계획서(SAP)에 근거하여 조화된 데이터를 사용하여 데이터 공유 및 분석을 위한 표준 구조를 제공할 수 있다.

FDNs enable distributed analyses by combining data or results across multiple data sources or multiple types of data (claims, EHR). When choosing to use a FDN for a study, there are specific issues unique to these systems that should be considered, such as the FDN’s transformation of data into CDMs, and the differences between systems from which the data arise. Governance of a FDN (centralised or decentralised) also needs to be taken into account, as it has an impact on the operational aspects of a study (e.g., study design, planning, data acquisition, data quality and data standardisation). Instead of using data transformed into CDMs, data that are harmonized based on a common protocol and statistical analysis plan (SAP) can be used to provide a standard structure for sharing and analysing data.

FDN 체계에서는 여러 데이터 출처의 데이터나 결과를 결합하는 데 서로 다른 접근법을 적용할 수 있다. 모든 접근법의 공통된 특징은 데이터 파트너가 기존 환경에서 전자 데이터에 대한 물리적·운영적 통제를 유지하며, 따라서 데이터 추출이 항상 현지에서 이루어진다는 점이다. 그러나 공통 연구계획서의 사용, CDM의 사용, 데이터 분석을 어디서 어떻게 수행하는지의 영역에서는 차이가 있다. 여러 데이터 출처의 데이터를 결합할 때는 동일 환자의 동일 치료 에피소드에 대한 데이터가 중복되지 않도록 조치를 취하여야 한다.

Under the FDN framework, different approaches can be applied for combining data or results from multiple data sources. A common characteristic of all approaches is the fact that data partners maintain physical and operational control over electronic data in their existing environment and therefore the data extraction is always done locally. Differences, however, exist in the following areas: use of a common protocol; use of a CDM; and where and how the data analysis is conducted. When data from multiple data sources are combined, measures should be taken to ensure that data on the same treatment episode for the same patient is not duplicated.

CDM에 수집되는 데이터의 선택은 의도된 용도에 필요한 데이터 측정값의 유형과 세부 수준에 맞추어 최적화된다. 따라서 CDM 기반 네트워크의 데이터가 개별 데이터 출처에 있는 원천 정보를 모두 담고 있는 경우는 드물며, 특정 CDM 네트워크에 선택된 데이터 요소가 모든 연구 목적이나 질문에 충분하지 않을 수 있다. 또한 CDM의 변수와, 그 변수가 기관마다 수집 및 해석 면에서 어떻게 다를 수 있는지를 고려하여야 한다.

The choice of data captured in a CDM is optimized for the types of data measures and detail needed for the intended use. Therefore, data in CDM-driven networks rarely contain all of the source information present at the individual data sources, and the data elements chosen for a given CDM network may not be sufficient for all research purposes or questions. Furthermore, consideration should be given to variables in a CDM and how they may differ in collection and interpretation among different institutions.

FDN은 안전성 질문을 다루는 데 도움이 될 수 있는 다음과 같은 고유한 이점을 제공할 수 있다.

FDNs can provide unique advantages that can assist with addressing safety questions, such as:

데이터 연계는 개별 환자에 대한 시간 경과에 따른 데이터의 폭과 깊이를 넓히는 데 사용할 수 있으며, 검증 작업을 지원하기 위해 다른 데이터 출처에 접근하는 데 활용할 수 있다. 암 레지스트리나 사망 레지스트리와 같은 데이터 출처를 청구자료나 EHR 데이터와 연계하면 원래 데이터 출처에 없는 데이터를 포함하게 되어 연구의 품질이 높아질 수 있다. 데이터 연계는 고유한 어려움을 수반할 수 있으므로, 데이터를 포괄적으로 이해하고 연계 및 그 결과 연계된 데이터의 정확성과 완전성을 평가하는 것이 중요하다. 경우에 따라 의무기록 검토나, 코드화된 항목에 연계된 전자 형식의 텍스트 항목이 노출, 결과, 공변량 식별에 유용할 수 있다. 또한 여러 데이터 출처를 연계할 때는 적용 가능한 법적·윤리적 기준에 따라 환자 프라이버시와 기밀을 신중히 보호하여야 한다.

Data linkage can be used to increase the breadth and depth of data on individual patients over time and may be utilized to allow access to other data sources to support validation efforts. Linkage of data sources such as cancer or mortality registries to claims or EHR data may result in a higher quality study by including data not in the original data source. It is important to have a comprehensive understanding of the data and to assess the accuracy and completeness of the linkage and the resulting linked data as data linkage may present unique challenges. In some circumstances, chart review or text entries in electronic format linked to coded entries can be useful for exposure, outcome, and covariate identification. In addition, patient privacy and confidentiality should be carefully protected according to the applicable legal and ethical standards when linking multiple data sources.

개념적으로 데이터 연계는 하나의 데이터 출처 내에서(예: 모자 연계) 또는 데이터 출처 간에(예: 인구동태 기록, 바이오뱅크) 수행될 수 있다. 연구에 데이터 연계가 포함되는 경우, 연구계획서에는 각 데이터 출처, 얻게 될 정보, 연계 방법(예: 결정론적 연계, 확률적 연계), 환자 프라이버시 보호 방법(연계 토큰 사용 및/또는 재식별 위험을 줄이기 위한 기타 전략 등), 그리고 시간 경과에 따른 데이터 연계의 정확성과 완전성을 기술하여야 한다. 연구에 추가 데이터 생성(예: 면담, 설문, 컴퓨터 또는 모바일 앱 설문지, DHT를 통한 측정)이 포함되는 경우, 연구계획서에는 데이터 수집 및 연계 방법, 연계에 사용하는 데이터 요소, 그리고 연계가 불완전하거나 연계된 데이터 출처 간에 상충되는 데이터가 발견될 경우의 조치를 기술하여야 한다.

Conceptually, a data linkage may be undertaken within a data source (e.g., mother–infant linkage) or across data sources (e.g., vital records, biobank). If the study involves a data linkage, the protocol should describe each data source, the information that will be obtained, linkage methods (e.g., deterministic linkage, probabilistic linkage), how patient privacy will be safeguarded (such as using linkage tokens, and or other strategies for reducing re-identification risks) and the accuracy and completeness of data linkages over time. If the study involves generating additional data (e.g., interviews, surveys, computerized or mobile-application questionnaires, measurements through DHTs), the protocol should describe the methods of data collection and linkage, the data elements used for linkage, and what will be done if imperfect linkage exists, or contradictory data are found across linked data sources.

관심 데이터 출처의 결측 데이터를 평가하려면 무엇이 데이터 기록을 유발했는지 이해하는 것이 중요하다. 데이터가 결측될 수 있는 시나리오는 두 가지이다. 첫 번째 시나리오는 데이터를 수집하도록 의도되었으나 수집되지 않은 경우이다. 두 번째 시나리오는 해당 데이터 출처에서 그 데이터를 수집하도록 의도되지 않아 이용할 수 없는 경우이다. EHR 시스템이나 행정 청구자료 출처의 기록은 환자가 의료 체계와 상호작용한 경우에만 생성된다.

Understanding what prompted the recording of data is important to assess missing data in the data source of interest. There are two scenarios where data can be missing. The first scenario is the data are intended to be collected but were not collected. The second scenario is the data are not intended to be collected in the data source and therefore not available. A record in EHR systems or administrative claims data sources is generated only if there is an interaction of the patient with the healthcare system.

임상검사 결과나 처방과 같은 정보가 없는 것은 여러 상황에서 비롯될 수 있다. 예를 들어 (a) 의료 제공자가 지시하지 않았을 수 있다. (b) 지시되었으나 시행되거나 조제되지 않았을 수 있다. (c) 시행되었으나 결과(검사, 조제)가 기록되지 않았을 수 있다. (d) 의료 상호작용의 증거가 있고 결과가 데이터 출처에 저장되었으나, 데이터가 접근 가능한 형식이 아니었거나 최종 연구별 데이터세트를 생성할 때 변환 및 정제(curation) 과정에서 소실되었을 수 있다. 결측 데이터를 처리하는 접근법은 7항 분석에 더 자세히 기술되어 있다.

Lack of information such as a laboratory result or prescription could be caused by different circumstances, such as (a) it might not have been ordered by the healthcare provider; (b) it may have been ordered but not conducted or dispensed; (c) it may have been conducted, but the result (test, dispensing) is not recorded; or (d) there is evidence of the healthcare interaction and the result was stored in the data source, but data were not in an accessible format, or lost in the transformation and curation process when the final study-specific dataset was generated. Approaches to handle missing data are described in further detail in Section 7, Analysis.

모든 데이터 출처에 대한 평가를 마치면, 연구자는 선택한 데이터 출처가 특정 연구 질문을 다루는 데 왜 적절한지에 대한 이해를 입증하여야 한다. 연구계획서를 작성하는 동안, 실행 가능성 평가에서 얻은 정보를 바탕으로 연구자는 제안된 데이터 출처의 관련성 입증, 데이터 출처 선택의 근거, 그리고 데이터 출처가 연구 결과의 목표 모집단에 대한 일반화 가능성에 어떻게 영향을 미칠 수 있는지를 뒷받침하기 위해 제안된 데이터 출처의 다음 주요 측면을 기술하여야 한다.

Once an evaluation of all data sources has been conducted, the researcher(s) should demonstrate an understanding of why the selected data source(s) are appropriate to address the specific research question(s). During development of the protocol, as informed by the feasibility assessment(s), the researcher(s) should describe the following key aspects of the proposed data source(s) to support the demonstration of their relevance, the rationale for data source(s) selection and how they might affect the generalizability of the study results to the target population:

초기 실행 가능성 평가에서 관심 노출, 결과, 공변량이 잠재적 데이터 출처에 적절히 수집될 가능성이 높다고 나타났다면, 이들 요소를 정의하고 조작화하는 작업을 진행할 수 있다. 이 과정은 일반적으로 연구 구성개념(예: 노출, 결과, 공변량)을 일반적 또는 정성적 용어로 정의하여 개념적 정의를 만드는 것에서 시작하며, 개념적 정의는 관심 변수에 관한 현재의 의학적·과학적 견해를 반영하여야 한다. 예를 들어 (a) 모집단 선정을 위한 상태 또는 관심 결과나 공변량을 정의하는 임상 기준, 또는 (b) 관심 노출을 정의하기 위한 약물 복용 측정이 이에 해당한다. 개념적 정의에는 노출, 결과 또는 공변량을 특성화할 데이터 요소에 대한 상세한 설명이 포함되어야 한다.

If the initial feasibility assessment has indicated that the exposures, outcomes, and covariates of interest are likely to be adequately captured in the potential data sources, then defining and operationalizing these elements can proceed. This process generally starts with defining study constructs (e.g., exposures, outcomes, covariates) in general or qualitative terms, to create a conceptual definition, which should reflect current medical and scientific thinking regarding the variable of interest, such as: (a) clinical criteria to define a condition for population selection or as an outcome of interest or a covariate; or (b) measurement of drug intake to define an exposure of interest. The conceptual definition should include a detailed description of the data elements that would characterize the exposure, outcome, or covariates.

실행 가능성 단계에서 식별된 주요 데이터 요소를 활용하여, 이 개념적 정의를 조작적 정의로 발전시킨다. 조작적 정의는 데이터 출처에서 가장 완전하고 정확한 데이터를 추출할 수 있도록 개념적 정의에 근거하여 개발하여야 한다. EHR이나 청구자료를 사용하는 많은 연구에서 조작적 정의는 정형 데이터 요소를 사용하는 코드 기반 전자 알고리즘이 된다. 다른 연구에서는 비정형 데이터에서 관련 정보를 추출하거나 정형 및 비정형 데이터 요소를 결합한 알고리즘을 구성하여 조작적 정의를 도출할 수 있다. 적절한 경우 조작적 정의에 환자 설문과 같은 추가 데이터 수집을 명시할 수도 있다. 연구자는 노출, 결과, 공변량 정의를 개발할 때 다음 영역을 고려하여야 한다.

Utilising the key data elements identified during the feasibility phase, this conceptual definition is then developed into the operational definition. An operational definition should be developed based on the conceptual definition to extract the most complete and accurate data from the data source. In many studies using EHRs or claims data, the operational definition will be a code-based electronic algorithm using structured data elements. In other studies, the operational definition may be derived from extracting relevant information from unstructured data or constructing an algorithm that combines structured and unstructured data elements. Operational definitions can also specify additional data collection, such as a patient survey, when appropriate. The researcher(s) should consider the following areas when developing exposure, outcome, and covariate definition(s):

임상 상태의 개념적 정의를 표현형(phenotype)이라고 부르기도 한다. 연구계획서 및/또는 SAP에는 표현형 알고리즘이라고도 부르는 조작적 정의(코딩 체계와 근거 포함)와 관련 한계(예: 측정 오차, 대리 지표), 오분류의 잠재적 영향, 그리고 연구 설계와 분석을 통해 이러한 한계를 어떻게 완화할 수 있는지를 상세히 기술하여야 한다. 비정형 데이터의 경우 상세한 설명, 사용 근거, 결과/노출/공변량을 식별하기 위한 검색 기준, 코드 또는 개념 목록을 제시하여야 한다. 한 데이터 출처나 연구 모집단을 위해 개발된 조작적 정의는 데이터 출처 고유의 특성과 모집단 및 데이터 출처 간 질병 역학의 차이로 인해 다른 출처나 모집단에서 민감도와 특이도 측면에서 다르게 작동할 수 있다.

The conceptual definition of a clinical condition may be referred to as the phenotype. The protocol and or the SAP should include a detailed description of the operational definition, sometimes referred to as the phenotype algorithm (including the coding system and rationale) and the associated limitations (e.g., measurement error, proxies), the potential impact of misclassification, and how these limitations can be mitigated through the study design and analysis. For unstructured data, a detailed description, rationale for use, search criteria to identify outcomes/exposures/covariates, and the list of codes or concepts should be provided. Operational definitions developed for one data source or study population might perform differently in other sources or populations in terms of sensitivity and specificity due to data source-specific characteristics as well as variations in the disease epidemiology across populations and data sources.

다른 연구나 데이터 출처에서 사용되거나 검증된 정의를 활용하거나 수정하여 사용하는 경우, 그 적용 가능성을 정당화하여야 한다.

If utilising or adapting a definition used or validated in other studies or data sources, applicability should be justified.

특정 연구를 위해 데이터 출처에서 노출과 결과를 식별할 때, 이러한 데이터는 보통 코드화되어 있다. 데이터 출처를 선택할 때는 노출과 결과를 정의하기 위한 코딩 체계의 적절성을 확인하여야 한다.

When identifying exposures and outcomes in a data source for a specific study, these data are usually coded. When selecting a data source, appropriateness of the coding system for defining the exposures and outcomes should be confirmed.

연구계획서 작성 시 다음 요소를 고려할 필요가 있다.

The following elements warrant consideration during protocol development:

노출이란 제안된 연구에서 평가하는 관심 의약품 또는 의약품 계열(및 용량 또는 투여 요법)을 말한다. 관심 제품 또는 의약품 계열을 치료라 하며, 이는 무치료, 표준 치료, 다른 치료(이에 대해서도 아래 권고사항이 적용된다) 또는 이들의 조합과 비교할 수 있다.

An exposure is the medicine or class of medicines of interest (and dosing or regimen) being evaluated in the proposed study. The product or class of medicines of interest is referred to as the treatment and may be compared to no treatment, standard of care, another treatment (for which the recommendations below would also apply), or a combination of the above.

노출 정의는 세분화 수준이 다를 수 있으며, 그 예로는 노출 경험 유무(ever exposed vs. never exposed), 노출 기간, 사용자 유형(예: 신규 사용자 vs. 기존 사용자), 위험 기간 또는 위험 구간이라고도 하는 노출 구간(예: 현재 노출 vs. 과거 노출), 복수 노출(예: 둘 이상의 의약품 사용 또는 백신 동시 접종), 치료 전환, 치료 순서(예: 1차 또는 2차) 또는 용량(예: 현재 용량, 시간에 따른 누적 용량)이 있다. 연구 설계의 요구사항과 데이터의 가용성을 모두 고려하여야 한다. 노출 정의에는 의약품의 용량, 상표, 제형, 함량, 기간과 함께 투여 경로, 시점 및 빈도(해당하는 경우)에 관한 정보가 포함되어야 한다.

Exposure definitions can have differing levels of granularity, such as ever exposed vs. never exposed, duration of exposure, user type (e.g., incident vs. prevalent), exposure windows (e.g., current vs. past exposure) also referred to as risk periods or risk windows, multiple exposures (e.g., use of more than one medicine or concomitant vaccinations), treatment switching, sequencing (e.g., first line or second line) or dosage (e.g., current dosage, cumulative dosage over time). Consideration should be given to both the requirements of the study design and the availability of data. The exposure definition should include information about the medicine dose, brand, dosage form, strength, duration, as well as the route, timing, and frequency of administration (as applicable).

제품 식별의 일부로서 제조업자, 사용된 첨가제 및 약물 전달 기구를 기술할 필요가 있을 수도 있다(예: 동일한 유효성분명을 가지고 다른 제조업자가 제조한 의약품, 백신 또는 그 밖의 생물의약품). 이를 위해서는 해당 의약품 또는 해당 제품 계열에 속하는 의약품의 약리학적 또는 생물학적 특성과 해당 의약품이 처방되고 사용되는 방식을 이해하여야 할 수 있다.

It may also be necessary to describe the manufacturer, the excipients used, and the drug delivery device as part of the product identification (e.g., for a drug, vaccine, or other biological product with the same active substance name made by a different manufacturer). This may require an understanding of the pharmacological or biological properties of the medicine, or members of the product class, as well as how the medicine is prescribed and used.

계획서에는 개념적 정의를 조작적 정의로 옮기는 데 따른 강점과 한계에 관한 논의가 포함되어야 한다. 고려사항은 다음을 포함할 수 있다.

The protocol should include a discussion of strengths and limitations of translating the conceptual definition to the operational definition. Considerations may include:

의약품은 여러 환경에 걸쳐 투여될 수 있다. 예를 들어 주입제는 병원 내뿐 아니라 개인 의원 또는 외래(예: 재택 치료)에서도 투여될 수 있다. 따라서 노출 오분류를 피하기 위하여 데이터 연계가 필요할 가능성의 측면에서 투여 환경과 치료 양상을 신중하게 고려하여야 한다.

Medicines may be administered across multiple settings. For instance, infusions could be administered in private clinics or on an outpatient basis (e.g., home care) in addition to in-hospital. Thus, setting and treatment patterns should be considered carefully in terms of potential requirements for data linkages to avoid exposure misclassification.

백신의 경우 상표, 접종 일정, 다른 백신과의 동시 접종, 그리고 배치 번호 또는 투여 경로 및 부위에 관한 세분화된 정보를 확보하는 것이 중요하다. 이러한 데이터는 일반적으로 확보되지 않으며 예방접종 등록체계와의 연계가 필요할 수 있다.

For vaccines, it is important to have granular information on brand, dose schedule, coadministration with other vaccines, and batch number or administration route and site. These data are not typically available and may require linkage to vaccination registries.

관심 의약품에 대한 노출(즉, 용량, 용법)은 명확하게 정의되고 측정되어야 한다. 이러한 유형의 정보를 자료원에서 확보할 수 없으면, 계획서 또는 연구 보고서에 관심 노출의 용량과 용법을 추정할 때 세운 구체적인 가정을 논의하여야 한다. 노출 시점(예: 결과변수 발생 시점에 대한 관련 노출 구간)을 고려하여야 하며, "필요시" 사용 의약품이나 비처방 의약품이 관심 노출인 경우에는 이것이 특히 어려울 수 있다. 노출 기간을 정의할 때에는 노출 시작일을 처방일, 조제일, 투여일 중 무엇으로 할지 결정하여야 한다. 환자는 처방을 제때 정확히 재조제받지 않거나 반대로 일찍 재조제받을 수 있으므로, 치료에 공백이나 비축이 생길 수 있고 이것이 데이터에 반영될 수 있다.

The exposure (i.e., dose, dosage regimen) to the medicine of interest should be well-defined and measured. If this type of information is not available in the data source, the protocol or study report should discuss the specific assumptions made when estimating the dose and regimen of the exposures of interest. Consideration should be given to the timing of exposure (e.g., the relevant exposure window, relative to the onset of the outcome), and this may be especially difficult when “as needed” or non-prescription medicines are an exposure of interest. When defining the exposure period, it is necessary to decide whether the start date of exposure is the date of prescription, the date of dispensing, or the date of administration. Because patients may not refill their prescriptions exactly on time or, alternatively, may refill their prescriptions early, gaps or stockpiling in therapy may exist and may be reflected in the data.

노출 기간이 연속적인지 판단할 때에는 노출 에피소드를 구성하기 위하여 허용하는 조제 간 공백과 노출 에피소드 사이의 공백을 고려하여야 한다. 노출 기간 종료 조건도 고려하여 명시적으로 정의하여야 하며(예: 이후 6개월 동안 새 처방 기록이 없음), 이때 연구에 사용한 데이터세트에 수집되지 않을 수 있는 다른 환경에서 환자에게 약물이 처방되었을 가능성과 같은 한계를 함께 언급하여야 한다.

Allowable gaps between dispensing to construct exposure episodes and the gaps between exposure episodes should be considered when determining whether an exposure period is continuous. Conditions for the completion of an exposure period should also be considered and explicitly defined (e.g., no record of a new prescription in the following six months), noting limitations such as the potential of a drug being prescribed to a patient in another setting that may not be captured in the dataset used for the study.

관심 결과변수는 해당되는 대로 질환의 임상적, 생물학적, 심리적 및 기능적 개념(예: 삶의 질)에 근거하여 정의하여야 한다. 이 개념적 정의는 질환에 대한 의학적·과학적 이해를 반영하여야 하며 임상 전문가와 협의하여 수립하여야 한다. 결과변수를 어떻게 식별할지에 관한 고려사항에는 증례를 진정한 신규 발생(vs. 기존 유병)으로 식별할 수 있는지, 잠복기, 그리고 결과변수가 악화 형태로 나타나는지 또는 반복 에피소드로 나타나는지가 포함된다. 정의에는 결과변수를 확인해 줄 데이터 요소(예: 징후, 증상, 투약, 검사 및 영상의학 결과)에 대한 상세한 기술이 포함되어야 한다.

Defining an outcome of interest should be based on the clinical, biological, psychological, and functional concepts (e.g., quality of life) of the condition, as appropriate. This conceptual definition should reflect the medical and scientific understanding of the condition and should be done in consultation with clinical experts. Considerations for how outcomes should be identified will include whether cases can be identified as true incident (vs. prevalent), the latency, and whether the outcome presents with exacerbations or as recurrent episodes. The definition should include a detailed description of the data elements that would confirm the outcome (e.g., signs, symptoms, medications, laboratory and radiology results).

임상 결과변수 정의에는 의학적 개념의 출처(예: 국제의약용어(MedDRA)의 우선용어(PT) 또는 표준 MedDRA 검색어(SMQ), ICD 코드 등을 사용하여 명확하게 정의한 검색 전략), 진단 기준, 측정 방법과 그 품질관리(있는 경우), 측정 도구(예: 설문 척도의 사용), 계산 방법, 측정 시점, 변수 유형, 변수 유형의 변환(예: 해당하는 경우 양적 변수에서 질적 변수로), 그리고 판정 방법이 포함되어야 한다. 연구에서 새로운 도구를 사용하는 경우에는 해당하는 대로 밸리데이션 정보를 포함하여야 한다.

Clinical outcome definitions should contain the source of the medical concept (e.g., search strategy defined clearly using, for example, Preferred term [PT] of the Medical Dictionary for Regulatory Activities [MedDRA] or the standardized MedDRA Query [SMQ], ICD code), diagnostic criteria, measuring methods and their quality control (if any), measurement tools (e.g., the use of questionnaire scales), calculation methods, measurement time points, variable types, transformation of variable types (e.g., from quantitative to qualitative variable, if applicable), and the adjudication approach. If a new tool is being used in the study, then the validation information should be included, as applicable.

조작적 정의는 연구 목적을 충족할 만큼 수용 가능한 성능을 갖추고 가용한 데이터를 사용하여 구현할 수 있다. 개념적 정의는 진단 및 처치 코드(예: ICD, Read, MedDRA), 검사 항목(예: Logical Observation Identifiers Names and Codes [LOINC])과 검사값, 비정형 데이터 또는 코드화가 필요 없는 가용 변수(예: 의사 진료 기록, 영상의학 또는 병리 보고서), 또는 설문 척도와 같은 측정 도구(예: 숫자 통증 척도)를 사용하여 조작적으로 정의한다. 시간 경과에 따른 코드 체계 또는 기반 EHR 시스템의 변경을 반드시 고려하여야 한다. 비정형 데이터를 사용하는 경우에는 사용한 방법과 도구에 대한 상세한 기술과 근거, 그리고 해당 방법의 밸리데이션을 제공하여야 한다.

An operational definition can be implemented using the data available, with acceptable performance to meet the objectives of the study. The conceptual definition is operationalised using diagnosis and procedure codes (e.g., ICD, Read, MedDRA), laboratory tests (e.g., Logical Observation Identifiers Names and Codes [LOINC]) and values, unstructured data or available variables without any coding needs (e.g., physician’s encounter notes, radiology, or pathology reports), or measurement tools such as questionnaire scales (e.g., numerical pain scale). Consideration for changes in coding or the underlying EHR systems over time is essential. If unstructured data are used, detailed description and rationale for the methods and tools utilized and validation of those methods should be provided.

진단 코드가 한 번만 나타난 경우는 배제 진단(rule out diagnosis)을 의미하거나 충분한 특이도를 갖추지 못할 수 있다. 따라서 진단 코드가 한 번 나타난 것만으로 결과변수를 조작적으로 정의하기보다는, 진단 또는 치료에 사용된 의약품, 검사 데이터 및 의료 처치를 조합하여(예: 정해진 기간 내 진단 2회 이상, 혈전색전증 진단 코드와 항응고제 치료, 아나필락시스 코드와 에피네프린 사용) 타당한 결과변수 정의를 얻을 수 있는지 검토한다. 결과변수를 정의하기가 복잡한 경우, 진단한 의사의 전문 분야에 관한 정보는 결과변수를 판정하는 데 사용한 정보의 질을 뒷받침할 수 있다.

Single appearances of a diagnosis code may indicate a rule out diagnosis or lack adequate specificity. Instead, consider whether a valid definition of outcome can be achieved by combining medicines, laboratory data, and medical procedures used for diagnosis or treatment (e.g., at least two diagnosis appearances within a specified timeframe, a thromboembolism diagnosis code plus treatment with anticoagulant, anaphylaxis code plus use of epinephrine), rather than operationalising the outcome only based on a single appearance of a diagnosis code. If the outcome is complex to define, information on the specialty of the physician making the diagnosis might provide reassurance regarding the quality of the information used to determine the outcome.

결과변수로서의 사망은 환자가 사망 시점에 의료 관리를 받고 있지 않았다면 전자 의료 데이터에 포함되지 않을 수 있다. 외부 인구동태 통계 자원과의 연계가 필요할 수 있으나, 이러한 데이터 역시 사망 원인의 가용성과 신뢰성 같은 다른 한계가 있다. 사망 데이터의 질과 그 영향을 신중하게 문서화하여 계획서에 포함하여야 한다.

Mortality as an outcome may not be included in electronic healthcare data unless the patient was under medical care at time of death. Linkage to external vital statistics resources may be necessary, though these data are also subject to other limitations such as availability and reliability of cause of death. Careful documentation of mortality data quality and its implications should be included in the protocol.

이전에 개발된 조작적 정의의 사용을 검토할 때, 연구자는 보다 최근 데이터를 이용한 평가가 필요할 수 있는 질병 또는 그 진단의 장기적 추세나 코드 부여 관행의 변화를 고려하여야 한다. 공표된 결과변수 증례 정의를 사용할 수 있으나, 이는 특정 RWD 세트에서 확보할 수 있는 정보와 반드시 호환되는 것은 아니다. 다른 연구에서 평가된 조작적 정의를 사용하고자 할 때에는 가급적 동일한 자료원과 유사한 연구 모집단에서 평가된 것을 선택한다. 또한 민감도, 특이도 및 예측도를 확립한 선행 연구의 질을 항상 평가하여야 한다. 선행 연구에서 사용되었거나 다른 자료원에서 밸리데이션된 정의의 적용 가능성은 그 외적 타당도에 대한 평가에 따라 달라지며, 그 근거를 계획서에 제시하여야 한다.

When considering use of previously developed operational definitions, the researcher(s) should consider secular trends in disease or its diagnosis, or changes in coding practices that may necessitate assessment using more recent data. Published case definitions of outcomes may be used but are not necessarily compatible with the information available in a given RWD set. When proposing to use an operational definition that has been assessed in another study, ideally select those assessed in the same data source and in a similar study population. In addition, the quality of prior studies to establish sensitivity, specificity, and predictive values should always be evaluated. Applicability of a definition used in a prior study or validated in another data source will depend on an assessment of its external validity with a justification provided in the protocol.

여러 자료원(데이터베이스, 기관, 실시기관)의 데이터를 사용하여 연구를 수행할 때, 연구자는 진단 코드 부여, 검사 참고 범위, 투약 기록 등 자료원 간 데이터 차이를 고려하여 결과변수를 정의하여야 한다. 이러한 요소들 사이의 시점과 관계를 완전히 이해하는 것이 필수적이다. 또한 결과변수, 특히 잠복기가 긴 사건이 실제로 노출과 관련된 경우 발생할 것으로 예상되는 생물학적으로 타당한 기간을 반영하려면 정확한 진단일과 명확하게 정의된 노출-결과변수 위험 구간을 확보하는 것이 특히 중요하다. 제안된 결과변수 정의는 질병 발병(예: 초기 증상)과 확진을 구별하여야 하며, 질병 발병을 정확히 포착하기 위한 적절한 근거를 함께 제시하여야 한다.

When conducting a study using data from multiple data sources (databases, institutions, sites), the researcher(s) should define the outcome considering the data differences between sources, such as diagnosis coding, laboratory reference ranges and medication records. A complete understanding of the timing and relationship between these elements is essential. In addition, having an accurate date of diagnosis and a clearly defined exposure-outcome risk window is particularly important in order to account for biologically plausible timeframes for when the outcome, especially a long latency event, might be expected to occur if indeed associated with the exposure. The proposed outcome definition should distinguish disease onset (e.g., early symptoms) from a confirmed diagnosis with appropriate justification for accurate capture of disease onset.

환자 경험을 측정하는 결과변수(예: 삶의 질, 주관적 질병 중증도)를 포함하는 경우, 계획서에는 결과변수 측정치를 어떻게 정의·구성·밸리데이션하는지와 데이터 수집 절차를 명시하여야 한다.

When outcomes that measure patient experience are included (e.g., quality of life, subjective severity of disease), the protocol should specify how the outcome measure is defined, constructed, and validated, and the procedures for data collection.

데이터 수집 목적과 데이터를 생성한 의료체계의 특성은 가용 정보의 질과 잠재적 비뚤림의 존재에 영향을 줄 수 있으므로 이 또한 기술하여야 한다.

The reason for the data collection and the nature of the healthcare system that generated the data should also be described as they can impact the quality of the available information and the presence of potential biases.

공변량은 관심 노출도 결과변수도 아닌 변수로서, 모집단의 특성을 나타내거나 연구 설계 또는 분석에서 고려하여야 할 잠재적 교란변수 또는 효과 수정인자이다(5.5항 비뚤림과 교란 참조). 관련 공변량은 알려져 있거나(측정되었거나 측정되지 않았거나) 알려져 있지 않을 수 있으며, 그 잠재적 영향은 민감도 분석으로 평가할 수 있다(7항 분석 참조).

Covariates are variables that are neither an exposure nor an outcome of interest, and they either characterize a population or are a potential confounder or effect modifier to account for in the study design or analysis (see Section 5.5, Bias and Confounding). Relevant covariates may be known (measured or unmeasured) or unknown and their potential impact can be assessed using sensitivity analysis (see Section 7, Analysis).

교란 및 효과 수정의 가능성은 계획서 개발 단계에서 고려하고 대비하여야 한다. 예를 들어 인구학적 변수(예: 연령, 성별, 인종, 민족), 다른 노출(예: 생물학적 활성이 있는 생약) 또는 관련 동반질환에 의한 효과 수정 가능성을 연구에 문서화하여야 하며, 관련 효과 수정인자를 선택한 자료원에서 확보할 수 있어야 한다.

The potential for confounding and effect modification should be considered and planned for during protocol development. For example, the potential for effect modification by demographic variables (e.g., age, sex, race, ethnicity), other exposures (e.g., biologically active herbals) or pertinent comorbidities should be documented in the study, and relevant effect modifiers should be available in the chosen data source(s).

공변량은 코호트의 특성 기술, 효과 수정 평가, 교란변수 보정(예: 성향점수, 층화 또는 매칭)에 사용할 수 있다. 연구에 필요한 공변량의 정의는 해당되는 대로 임상적, 생물학적, 심리적 및 기능적 개념에 근거하여 사전에 정하여야 한다. 정의에는 공변량을 구성하는 데 사용하는 데이터 요소에 대한 상세한 기술이 포함되어야 한다.

Covariates may be used to characterize cohorts, evaluate effect modification, and adjust for confounders (e.g., propensity scores, stratification, or matching). Definitions of covariates needed in a study should be prespecified based upon clinical, biological, psychological, and functional concepts, as appropriate. The definition should include a detailed description of the data elements used to construct the covariate.

개념적 정의에서 조작적 정의로 옮기는 과정은 노출 및 결과변수와 같은 방식으로 진행한다. 공변량은 일반적으로 관심 노출 시작 전 기간(기저시점)에 식별하고 평가한다. 기저 공변량 평가는 서로 다른 기간을 사용하여 수행할 수 있다. 이 과거 조회 기간(look-back period)의 길이는 코드 체계 또는 진료 관행의 변화, 예상되는 의료 이용 빈도, 연구 질문과의 관련성, 데이터 가용성, 연구 검정력에 미치는 영향 등의 요인을 고려하여 선택한다. 진료 관행과 코드 체계가 시간에 따라 변하는 경우, 결과를 과거 데이터와 비교할 때에는 주의가 필요하다. 공변량은 관찰 기간 중에 고정 공변량 또는 시간 가변 공변량으로 평가할 수도 있다. 따라서 각 공변량의 평가 시점을 포함하여 공변량을 신뢰성 있게 평가하는 것이 결과의 타당성에 필수적이다.

Moving from a conceptual to operational definition proceeds as with exposure and outcome. Covariates are typically identified and assessed during the period before the start of the exposure of interest (baseline). Assessment of baseline covariates can be performed using different periods of time. The length of this look-back period is selected by considering factors such as changes in coding or medical practice, expected frequency of medical encounters, relevance to the research question, data availability, and the impact on study power. When medical practice and coding systems change over time, attention is warranted if comparing results to historical data. Covariates may also be assessed during the observation period, either as static or time-varying covariates. Reliable assessment of covariates is therefore essential for the validity of results, including the timing of assessments for each of the covariates.

특정 자료원은 이러한 공변량에 관한 정보의 가용성에 따라 연구 질문을 다루는 데 적합할 수도 있고 그렇지 않을 수도 있다. 선택한 자료원에서 공변량을 확보할 수 없는 경우, 연구자는 해당 공변량의 대리변수가 적절한지 검토할 수 있다. 누락된 공변량 대신 대리변수를 사용하는 것이 적절함을 보여주는 명확한 근거를 제시하여야 한다. 연구자는 모든 공변량에 대하여 코드와 진료 환경을 포함하여 개발한 조작적 정의를 계획서에 제시하여야 한다.

A given data source may or may not be suitable for studying a research question depending on the availability of information on these covariates. When the covariate is not available in the chosen data source, the researcher(s) may consider whether proxies for the covariate are appropriate. A clear reasoning should be provided to show that it is appropriate to use the proxy instead of the missing covariate. The researcher(s) should provide the developed operational definition, including codes and settings of care, for all covariates in the protocol.

관심 결과변수에 대한 노출 효과의 타당하고 정밀한 추정값을 얻으려면 무작위 오차와 계통 오차라는 두 가지 오차 원인을 다루는 것이 필수적이다. 무작위 오차(우연)와 달리 계통 오차(비뚤림)와 교란은 표본 크기를 늘려서 해결할 수 없다. 오히려 이들은 일반적으로 설계, 수행 및 분석 단계에서 다룬다. 역학적 관점에서는 비뚤림(예: 설계 또는 측정 오류로 인한 선택 비뚤림, 정보 비뚤림)과 교란의 개념을 구별하는 것이 유용한데, 이는 이들이 서로 다른 기전으로 발생하며 연구 설계와 분석에서 서로 다른 방법과 접근법으로 다룰 수 있기 때문이다.

To obtain a valid and precise estimate of the effect of exposure on the outcome of interest, it is essential to address two sources of error: random error and systematic error. Unlike random error (chance), systematic error (bias) and confounding cannot be addressed by increasing sample size. Rather, they are typically addressed in the design, conduct, and analysis stages. From the epidemiological standpoint, it is useful to differentiate the concepts of bias (e.g., selection bias, information bias, resulting from design or measurement errors) and confounding because they arise from distinct mechanisms and may be addressed by distinct methods and approaches in study design and analysis.

설계 및 분석 단계에는 정보 비뚤림과 선정/제외 기준 또는 추적 소실로 인해 생길 수 있는 선택 비뚤림 등 모든 잠재적 비뚤림에 대한 평가와 함께, 특히 일부 데이터 요소를 수집하거나 측정할 수 없는 경우 발생할 수 있는 모든 교란에 대한 평가가 포함되어야 한다. 따라서 결측 데이터의 처리도 계획서의 데이터 관리 부분(6항 데이터 관리 참조) 또는 분석 부분(7.1항 통계 분석 참조)에 사전에 정하여야 한다.

The design and analysis stages should include evaluation of any potential biases such as information bias and selection bias which can be due to the inclusion/exclusion criteria or loss to follow-up, as well as evaluation of any confounding that may arise, especially if some data elements cannot be collected or measured. Therefore, the handling of missing data should also be prespecified in the Data Management section (see Section 6, Data Management) or Analysis section (see Section 7.1, Statistical Analysis) of the protocol.

제안된 자료원이 중요한 요인에 관한 정보를 포착하기에 적절하여 비뚤림과 교란을 충분히 통제하거나 평가할 수 있는지 판단하기 위하여 해당 자료원을 평가하여야 한다. 3항 실사용 데이터를 이용한 적절한 증거 생성을 위한 개념적 틀에서 논의한 바와 같이, 비뚤림 완화 전략을 수립하기 위하여 비뚤림의 방향과 크기를 평가할 때, 그리고 연구의 비뚤림이 연구 해석에 어떤 영향을 줄 수 있는지 평가할 때 정량적 비뚤림 분석을 사용하는 계획이 유용할 수 있다(7항 분석 참조). 원래 자료원에서 측정되지 않았거나 불완전하게 측정된 중요 변수의 포착 범위를 넓히기 위하여 다른 자료원과의 연계 또는 추가 데이터 수집을 고려하여야 한다. 1차 데이터 수집에 특유한 비뚤림(예: 회상 비뚤림, 자원자 비뚤림, 면접자 비뚤림)을 고려하여야 한다.

The proposed data source should be evaluated to determine whether it is adequate to capture information on important factors so that bias and confounding may be adequately controlled or assessed. As discussed in Section 3, Conceptual Framework for Generating Adequate Evidence using Real-World Data, a plan to use quantitative bias analysis may be useful when evaluating the direction and magnitude of biases to inform strategies for bias mitigation, and how the study biases may influence the interpretation of the study (see Section 7, Analysis). Linkage with other data sources or additional data collection to expand the capture of important variables that are unmeasured or imperfectly measured in the original data source should be considered. Biases specific to primary data collection should be considered (e.g., recall, volunteer, or interviewer bias).

비뚤림과 교란의 원인을 고려하여야 하며, 이를 다루기 위한 결정은 비뚤림과 교란의 영향을 평가하는 계획과 함께 설계 단계에서 정당화하여야 하고, 이러한 내용은 계획서, 분석계획서 또는 최종 보고서에 포함되어야 한다. 다양한 유형의 비뚤림과 교란을 이어지는 하위 항에서 간략히 기술한다. 이 가이드라인의 범위를 벗어나지만, 비뚤림과 교란에 관한 정보를 제공하는 지역별 자료가 있다(예: ENCePP Guide on Methodological Standards in Pharmacoepidemiology(6)).

Sources of bias and confounding should be considered, and decisions to address should be justified during the design stage with a plan to evaluate the influence of bias and confounding; these should be included in the protocol, analysis plan or final report. Different types of bias and confounding are briefly described in the following subsections. Though outside the scope of this guideline, regional resources are available to provide information on bias and confounding (e.g., the ENCePP Guide on Methodological Standards in Pharmacoepidemiology(6)).

선택 비뚤림에는 의뢰 비뚤림, 자기선택 비뚤림, 기존 사용자 비뚤림, 차등적 추적 소실 등 여러 유형이 있다. 여러 형태의 선택 비뚤림은 설계 단계 또는 분석 단계에서 다룰 수 있으나, 연구자는 설계 단계에서 이를 다루는 것을 목표로 하여야 하며, 설계 단계에서는 적절한 자료원을 선택할 때에도 이를 고려하여야 한다.

There are different types of selection bias such as referral bias, self-selection bias, prevalent user bias, and differential loss to follow-up. Different forms of selection bias may be addressed in either the design or analysis stages; however, the researcher(s) should aim to address it during the design stage where it should also be considered when selecting the appropriate data source.

흔한 선택 비뚤림 유형은 기존 사용자 비뚤림으로, 의약품의 기존 사용자, 즉 연구 추적이 시작되기 전부터 일정 기간 이미 치료를 받고 있던 환자가 비중재 연구에 포함될 때 발생할 수 있다. 기존 사용자는 연구에 포착되지 않은 약물치료 초기 기간의 "생존자"이다. 위험이 시간에 따라 달라지는 경우 이는 선택 비뚤림을 일으킬 수 있다. 예를 들어 새 의약품을 시작한 후 안전성 사건을 경험하고 그 의약품을 중단한 환자는 연구에 포함되지 않을 수 있으며, 그 결과 치료군의 위험이 과소추정될 수 있다.

A common type of selection bias is prevalent user bias, which can arise when prevalent users of a medicine are included in a non-interventional study, i.e., patients already taking a therapy for some time before study follow-up began. Prevalent users are “survivors” of the early period of pharmacotherapy that is not captured in the study. This can introduce selection bias if the risk varies with time. For example, patients who initiated a new medicine, experienced a safety event, and then discontinued the medicine may not be included in the study, thereby leading to a potential underestimation of the risk among the treated.

정보 비뚤림은 이분형 또는 범주형 변수의 오분류나 연속형 변수의 측정 오류가 있을 때 발생한다. 그 예로 회상 비뚤림, 전구증상 비뚤림(protopathic bias), 감시(검출) 비뚤림이 있다. 결과변수에 대한 노출 효과를 정확하게 추정하기 위하여 핵심 변수의 오분류를 최소화하여야 한다. 전반적으로 변수 밸리데이션의 범위(5.6항 밸리데이션 참조)는 필요한 확실성 수준과 잠재적 오분류가 연구 추론에 미치는 영향에 따라 정하여야 한다. 3항 실사용 데이터를 이용한 적절한 증거 생성을 위한 개념적 틀에서 논의한 바와 같이, 정량적 비뚤림 분석은 비뚤림 완화 전략을 수립하기 위하여 비뚤림의 방향과 크기를 평가할 때, 그리고 연구의 비뚤림이 연구 해석에 어떤 영향을 줄 수 있는지 평가할 때 유용할 수 있다(7항 분석 참조).

Information bias arises when misclassification of binary or categorical variables or mismeasurement of continuous variables exists. Examples include recall bias, protopathic bias, and surveillance (detection) bias. The misclassification of key variables should be minimized to accurately estimate the effect of exposure on the outcome. Overall, the extent of variable validation (see Section 5.6, Validation) should be determined by the necessary level of certainty and the implication of potential misclassification on study inference. As discussed in Section 3, Conceptual Framework for Generating Adequate Evidence using Real-World Data, quantitative bias analysis may be useful when evaluating the direction and magnitude of biases to inform strategies for bias mitigation, and how the study biases may influence the interpretation of the study (see Section 7, Analysis).

시간 관련 비뚤림의 한 가지 잠재적 유형은 불멸시간(immortal time)에서 비롯될 수 있는데, 불멸시간이란 노출 정의 때문에 관심 결과변수가 발생할 수 없는 코호트 추적 기간을 말한다. 불멸시간 비뚤림은 위험에 노출된 인년(person-time)이 오분류 또는 제외를 통해 두 노출군 간에 다르게 처리될 때 발생한다.

One potential type of time related bias may result from immortal time, which refers to a period of cohort follow-up time during which, because of the exposure definition, an outcome of interest cannot occur. Immortal time bias occurs when the person-time at risk is treated differentially between the two exposure groups through either misclassification or exclusion.

불멸시간 비뚤림이나 측정 불가 시간 비뚤림(immeasurable time bias) 같은 그 밖의 시간 관련 비뚤림의 위험을 피하고자 할 때에는 적절한 기준일(index date)을 선택하는 것이 필수적이다. 이러한 위험은 설계 틀(4.1항 연구 질문 참조)로 완화할 수 있는데, 이 접근법은 적격성 및 기저 정보의 평가를 추적 시작 시점과 일치시키기 때문이다.

When aiming to avoid the risk of immortal time bias or other time-related biases, such as immeasurable time bias, selection of an appropriate index date is essential. These risks may be mitigated by design frameworks (see Section 4.1, Research Question), as this approach aligns assessment of eligibility and baseline information with start of follow-up.

연구자는 일반적으로 연구 질문과 관련된 모든 잠재적 교란변수를 포착할 수 없으므로, 측정되지 않은 교란 또는 잔여 교란의 가능성이 생긴다. 약물역학에서 흔히 고려하는 교란 요인으로는 연구 질문에 따라 인구학적 특성, 치료 적응증, 질병 중증도, 이전 약물 사용, 병용 약물, 동반질환, 예후 특성, 노쇠, 생활습관 요인 등이 있다. 측정되지 않은 교란을 다루거나 평가하는 데에는 고차원 성향점수, 음성 대조, 연구 자료원에서 측정되지 않은 교란변수에 관한 데이터를 포함하는 설문조사 등 외부 자료원과의 연계를 비롯한 여러 접근법을 사용할 수 있다. 잠재적 교란 요인의 존재와 영향을 연구 설계 단계에서 고려하여야 한다.

The researcher(s) is/are typically unable to capture all potential confounders that are relevant to a research question, introducing the potential for unmeasured or residual confounding. In pharmacoepidemiology, commonly considered confounding factors include demographics, indication for treatment, disease severity, previous medication use, comedications, comorbidities, prognostic characteristics, frailty, lifestyle factors, and others, depending on the study question. A number of approaches are available to address or evaluate unmeasured confounding, including high dimensional propensity scores, negative controls, and linkages to external data sources such as surveys that include data on confounders unmeasured in the study data source. The presence and impact of potential confounding factors should be considered in the study design phase.

방향성 비순환 그래프(directed acyclic graph)를 사용하여 종단 연구에서 변수 간 관계를 이해하고 잠재적 교란 및 매개 효과를 식별할 수 있으며, 분석 부분에서 논의한 바와 같이(7항 분석 참조) 그 영향을 정량적 비뚤림 분석으로 평가할 수 있다.(26)

Directed acyclic graphs can be used to understand the relations between the variables and identify potential confounding and intermediate effects in a longitudinal study, and the impacts of these assessed using quantitative bias analysis, as discussed in the Analysis section (see Section 7, Analysis).(26)

타당도란 연구에서 조작적 정의에 의해 개념(변수)이 정확하게 측정되는 정도를 말한다. 노출, 결과변수 및 핵심 공변량의 밸리데이션은 비중재 연구의 내적 타당도에 중요하다.(27) 밸리데이션에는 다양한 접근법이 있으며, 이는 자료원에 따라 다를 수 있다. 여기에는 전수 확인, 부분 확인, 임상 전문가 검토, 환자 청구 기록 검토 또는 이력 프로파일 검토가 포함될 수 있다. 밸리데이션 노력은 요구되는 증거 수준에 상응하여야 하며, 예를 들어 모든 잠재적 증례 또는 비증례에 대해 결과변수를 밸리데이션하거나, 증례와 비증례를 식별하는 조작적 정의의 성능을 확인할 수 있다. 연구에 일상적으로 사용되는 자료원의 경우 핵심 변수의 밸리데이션이 이미 수행되어 문서화되어 있을 수 있다.

Validity is the extent to which a concept (variable) is accurately measured in a study by the operational definition. Validation of exposure, outcome, and key covariates is important for internal validity of non-interventional studies.(27) There are various approaches to validation, which may be data-source specific. These may include complete verification, partial verification, clinical expert review, review of patient claims, or profile history. Validation efforts should be commensurate with the level of evidence required, such as validating the outcome variable for all potential cases or non-cases or verifying the performance of an operational definition to identify cases and non-cases. For data sources routinely used in research, documented validation of key variables may have been done previously.

그러나 이전 밸리데이션 연구를 외삽할 때에는 모집단의 질병 유병률, 선정 및 제외 기준, 위험 요인의 분포와 분석, 그리고 이후 의료, 처치 및 코드 체계의 변경에서의 차이가 미치는 영향을 고려하여야 한다. 의뢰자는 부분 밸리데이션 vs. 전체 밸리데이션, 또는 이전에 밸리데이션된 정의의 채택 등 제안하는 밸리데이션 접근법을 논의하고 합의하기 위하여 초기에 규제당국과 협의하여야 한다. 밸리데이션 접근법에 대한 기술에는 자료원, 모집단, 기간, 성능, 참조 기준(reference standard), 그리고 요구되는 증거 수준을 고려한 제안 조작적 정의의 적용 가능성에 관한 논의가 포함되어야 한다.

Any extrapolation of a previous validation study should however consider the effect of any differences in population disease prevalence, inclusion and exclusion criteria, the distribution and analysis of risk factors, and subsequent changes to healthcare, procedures, and coding. Sponsors should have early interactions with regulators to discuss and agree upon a proposed validation approach, such as partial vs. full, or adoption of definitions validated previously. The description of the validation approach should include the data source, population, time frame, performance, reference standard, and a discussion of the applicability of the proposed operational definitions considering the level of evidence required.

조작적 정의를 밸리데이션할 때에는 보고할 지표(예: 민감도, 특이도, 양성 예측도, 음성 예측도, 카파 통계량, 유병률 보정 및 비뚤림 보정 카파, 급내상관계수)를 사전에 정하고, 그 측정 방법을 기술한다. 조작적 정의를 선택하고 내적 타당도를 뒷받침할 적절한 밸리데이션 접근법을 정할 때에는 위양성 증례와 위음성 증례 사이의 상충관계를 고려하여야 한다. 여러 조작적 정의를 검토하고 있는 경우, 설계 단계에서 각 정의의 성능을 평가하고 정량적 비뚤림 분석을 사용하여 잠재적 비뚤림을 평가하여야 한다. 이는 분석 단계에서 수행하는 일반적인 민감도 분석과는 구별된다. 밸리데이션 연구를 수행하는 경우에는 해당되는 대로 연구 계획서에 기술하거나 별도 문서로 기술하여야 한다.

When validating an operational definition, prespecify the metrics to be reported (e.g., sensitivity, specificity, positive predictive value, negative predictive value, kappa statistic, prevalence-adjusted and bias-adjusted kappa, intraclass correlation coefficient), and describe how they will be measured. The trade-off between false-positive and false-negative cases should be considered when selecting an operational definition and identifying the proper validation approach to support internal validity. If several operational definitions are under consideration, the performance of each should be evaluated and the potential bias should be assessed using quantitative bias analysis at the design stage. This is distinct from common sensitivity analyses conducted at the analysis stage. Validation studies, when conducted, should be described in the study protocol or as a separate document, as appropriate.

비중재 연구에서 적절한 데이터 관리는 데이터의 출처와 연구 결과의 사용 계획 등 다양한 요인에 따라 달라진다. 데이터 관리 및/또는 데이터 큐레이션 계획은 연구 개시 전에 수립하여야 한다. 품질보증(QA) 및 품질관리(QC) 계획은 분석을 시작하기 전에 수립하여야 하며, 연구의 무결성을 보존하기 위하여 품질에 영향을 주는 다양한 요인(예: 데이터 보유자의 데이터 관리, 데이터의 품질 결함, 부적절한 데이터 처리 및 분석, 부적절한 교육)을 파악하고 다루어야 한다. 충족하여야 할 세부 품질 기준은 국가 또는 지역의 규제 요건에 따라야 한다.

Appropriate data management for a non-interventional study depends on various factors, including the source of the data and the planned use of the study results. A data management and or data curation plan should be developed prior to study initiation. The quality assurance (QA) and quality control (QC) plans should be developed before an analysis is undertaken and the various factors influencing quality (e.g., data management by the data holder, quality defects of the data, inadequate data processing and analysis, or inadequate training) should be identified and addressed to preserve the integrity of the study. Detailed quality standards to be fulfilled should be in accordance with local or regional regulatory requirements.

규제 심사를 용이하게 하기 위하여, 데이터세트 제출이 규제 요건인 경우에는 파일의 맥락, 내용, 구조 및 파일 생성에 사용한 단계에 대한 기술을 포함하여야 한다. 데이터세트는 제출 대상 지역의 규제 요건에 따라 보관하여야 한다.

To facilitate regulatory review, where submission of datasets is a regulatory requirement, a description of the context, content, structure of files, and steps used to create the files should be included. Datasets should be retained in accordance with regulatory requirements in the region(s) to which they will be submitted.

데이터 품질보증 프로세스, 방침 및 절차는 해석 또는 코드 부여의 오류, 데이터 입력·전송 또는 변환 정확성의 오류, 프로그래밍 논리의 오류, 부적절한 교육, 데이터 완전성 및 데이터 일관성 등 데이터 품질에 대한 잠재적 위험을 고려하여야 한다.

Data quality assurance processes, policies, and procedures should account for potential risks to data quality, including errors in interpretation or coding; errors in data entry, transfer, or transformation accuracy; errors in programming logic; inadequate training; data completeness; and data consistency.

데이터 저장, 관리 및 통계 소프트웨어에 대한 기술을 연구 문서에 포함하여야 한다. 분석 데이터세트를 확보·검증하고 그 무결성을 높이는 데 사용한 모든 절차는 재현할 수 있을 만큼 충분히 상세하게 기록하여야 한다. 데이터 보안은 권한이 있는 사람으로 접근을 제한하여 항상 유지하여야 한다.

A description of data storage, management, and statistical software should be included in the study documentation. All procedures used to obtain, verify, and promote the integrity of the analytic dataset should be recorded in sufficient detail so that they can be replicated. Data security should always be maintained by limiting access to authorised individuals.

데이터 품질 고려사항은 연구 설계와 자료원에 따라 다를 수 있으나, 원천 데이터의 정확성과 타당성(예: 합리적인 연령 값 또는 검사값), 추출 과정에서의 데이터 완전성, 데이터 품질 관리, 거버넌스 및 문서화 등 증거 생성 과정의 각 단계에서 데이터 품질을 결정하는 기본 요소는 계획서를 확정하기 전에 다루어야 한다. 자료원에 따라서는 비중재 연구의 데이터가 기록, 수집 및 저장 과정에 대한 엄격한 품질관리를 거치지 않았을 수 있다. 이는 불완전한 데이터, 핵심 변수 누락 또는 부정확한 기록으로 이어질 수 있다. 이러한 품질 결함이 있으면 이후의 데이터 큐레이션, 적용 가능성 및 데이터 추적성에 영향을 준다.

Although data quality considerations may vary depending on the study design and data source, fundamental determinants of data quality at each step in the evidence generation process, such as the accuracy and plausibility of source data (e.g., reasonable values of age or lab values), completeness of data during extraction, data quality management, and governance and documentation need to be addressed before finalising the protocol. Depending on the data source, data in a non-interventional study may lack strict quality control over the process of recording, collection, and storage. This can lead to incomplete data, missing key variables, or inaccurate records. The presence of such quality defects will affect subsequent data curation, applicability, and traceability of data.

아래에 기술하는 바와 같이(6.2.2항 데이터 보유자 및 6.2.3항 연구자 참조), QA/QC 고려사항은 규제 의사결정을 위한 데이터의 신뢰성에 중요하다.

QA/QC considerations are important to the reliability of the data for regulatory decision making as described below (see Section 6.2.2, Data Holders, and Section 6.2.3, Researcher[s]).

데이터 보유자가 사용하는 QA 및 QC 절차는 다음 고려사항을 다루어야 한다.

QA and QC procedures used by the data holders, should address the following considerations:

데이터 보유자는 데이터에 대한 통제권을 유지하며 기반 데이터의 품질에 책임이 있는 반면, 연구자는 투명성, 데이터의 강점/한계에 대한 이해, 그리고 비중재 연구에 대해 규제당국이 요구하는 품질 기준 충족을 보장하기 위하여 QC 및 QA 절차를 데이터 보유자와 일치시킬 책임이 있다. 또한 연구자는 모든 데이터 정제, 처리 및 분석 데이터세트의 관리와 QA에 책임이 있다. 특정 목적에 대해 충분한 QA의 필요성과 합리적인 자원 투입 사이의 균형을 맞추기 위하여 위험 기반 QA 접근법이 권장된다. 데이터의 신뢰성과 관련성을 판단하는 데 필수적인 사항은 계획서에서 다루어야 하며, 여기에는 데이터 축적, 큐레이션 및 최종 연구별 데이터세트로의 변환에 대한 QA/QC 절차가 포함된다.

While the data holder maintains control of the data and is responsible for the underlying data quality, the researcher(s) are responsible for aligning QC and QA procedures with data holders to ensure transparency, understanding of data strengths/limitations, and meeting the standards of quality criteria required by the regulators for non-interventional studies. Further, the researcher(s) are responsible for the management and QA of all data cleaning, processing, and analytic datasets. To balance the need for sufficient QA with reasonable resource expenditure for a particular purpose, a risk-based approach to QA is recommended. Issues that are essential to determining the reliability and relevance of the data should be addressed in the protocol, and include QA/QC procedures for data accrual, curation, and transformation into the final study-specific dataset.

연구자는 문서화된 절차를 갖춘 QA/QC 시스템을 시행하고 유지하여야 한다. 이는 연구가 계획서, 지역 법규, 윤리적 고려사항 및 적용되는 규제 요건에 따라 수행되고, 결과가 그에 따라 생성·문서화·보고되도록 보장하기 위한 것이다. 이러한 과정의 문서화에는 자료원에서 최종 연구 분석 데이터세트에 이르기까지의 데이터 추가, 삭제 또는 변경에 대한 전자 문서(즉, 메타데이터 기반 감사 추적, QC 절차)가 포함될 수 있으나 이에 한정되지 않는다. 연구자는 데이터 변경 사항과 그 변경이 해당 연구 수행에 미칠 수 있는 영향도 문서화하여야 한다. 분석 프로그래밍의 QA/QC 방법을 연구 문서에 기술하여야 한다.

The researcher(s) should implement and maintain QA/QC systems with written procedures. This is to ensure that studies are conducted, and results are generated, documented, and reported in compliance with the protocol, regional laws, ethical considerations, and the applicable regulatory requirement(s). Documentation of these processes may include, but are not limited to electronic documentation (i.e., metadata-driven audit trails, QC procedures) of data additions, deletions, or alterations from the data source to the final study analytic dataset(s). The researcher(s) should also document changes to data and the potential impacts of these changes for conducting this specific study. Methods for QA/QC of analytic programming should be described in the study documentation.

분석 전략에는 잠재적 비뚤림 및 교란 원인을 고려하면서 연구 목적을 다루기 위한 기술 분석과 추론 분석이 포함된다. 또한 분석 전략에는 측정되지 않았거나, 잘못 측정되었거나, 알려지지 않은 교란과 그 밖의 비뚤림 원인에 대한 경험적 평가도 포함되어야 한다. 통계 분석은 사전에 정하여야 하고, 타당성 평가에서 얻은 정보를 반영하여야 하며, 연구 목적을 충족하도록 수립하여야 한다. 통계 분석 접근법의 개요를 계획서에 제시하여야 한다. 완전한 통계분석계획서(SAP)는 독립 문서로 제공하거나 계획서의 상세한 부분으로 제공하여야 한다. 선택한 접근법을 규제당국과 논의하는 것이 권장된다. SAP는 결과에 대한 신뢰를 확보하는 데 도움이 되도록 분석을 재현할 수 있을 만큼 충분히 상세하여야 한다.

The analytic strategy includes descriptive and inferential analyses to address the study objectives, while accounting for potential sources of bias and confounding. In addition, the strategy should also include an empirical evaluation of unmeasured, mismeasured, or unknown confounding and other sources of bias. The statistical analysis should be prespecified, reflect the information gained from the feasibility assessments(s), and be developed to meet the study objectives. An overview of the statistical analysis approach should be provided in the protocol. The complete SAP should be provided as a standalone document, or as a detailed section of the protocol. It is recommended to discuss the approach chosen with regulatory agencies. The SAP should provide sufficient detail to allow replication of the analyses to help ensure confidence in the results.

일부 연구에서는 데이터 기반 분석을 수행할 수 있는데, 사전에 정한 분석과 사후 분석을 구별하는 것이 중요하다. 사전에 정한 분석은 계획서와 분석계획서에 문서화하고, 계획으로부터의 일탈은 최종 보고서에 문서화하여야 한다. 사후 분석은 결과 해석에 도움을 주기 위하여 데이터에서 관찰된 사항에 대응하여 수행하는 경우가 많으며, 최종 보고서에 기술하고 정당화하여야 하고 신중하게 해석하여야 한다.

In some studies, data-driven analyses may be performed; it is important to distinguish between those that are pre-specified and those that are post-hoc. Pre-specified analyses should be documented in the protocol and analysis plan and deviations from the plan documented in the final report. Post-hoc analyses are often conducted in response to observations in the data to help in the interpretation of results and should be described and justified in the final report, and interpreted with care.

연구자는 연구 수행 중에 실시할 분석(예: 데이터 축적, 기술 분석, 추론 분석, 민감도 분석, 정량적 비뚤림 분석)의 일정표를 마련하는 것을 고려하여야 한다.

The researcher(s) should consider developing a timeline of the analyses that will be performed during the conduct of the study (e.g., accrual, descriptive analyses, inferential analyses, sensitivity analyses, and quantitative bias analysis).

여러 자료원을 사용하여 연구를 수행할 때에는 데이터 관리와 분석 전략에 특별한 주의가 필요하다.

Specific attention to the data management and analytical strategy is needed when conducting studies using multiple data sources.

분석은 비뚤림 없는 추정치(예: 위험 또는 발생률의 차이 및 위험 또는 발생률의 비)를 산출하는 방향으로 이루어져야 한다. 분석은 연구 질문과 일치하여야 한다(4.1항 연구 질문 참조). 분석 항목은 통계 분석을 위해 선택한 접근법에 대한 설명과 타당성 근거를 가정 및 조건과 함께 기술하는 곳이다.

The analysis should be directed towards calculating an unbiased estimate (e.g., risk or rate differences and risk or rate ratios). Analyses should align with the research question (see Section 4.1, Research Question). The analysis section is where a description and justification for the chosen approaches for the statistical analyses should be described, including the assumptions and conditions.

적절한 경우 다음 측면과 요소를 통계 분석에 포함하는 것을 고려하여야 한다: 기술 분석, 하위군 분석, 추정 방법 및 분석에 필요한 관련 가정, 예상 연구 규모/검정력/통계적 정밀도의 추정, 교란 및 비뚤림(예: 선택 비뚤림, 정보 비뚤림, 시간 관련 비뚤림, 시간에 따라 변하는 노출, 시간 의존적 교란변수 및 결과 타당성에 대한 영향)을 다루기 위한 계획, 효과 수정의 평가, 집단 비교 가능성의 평가, 민감도 분석, 제1종 오류 관리(예: 순차 분석 및 다중 비교), 관심 집단에 대한 일반화 가능성의 평가, 결측 데이터 처리 계획.

The following aspects and elements should be considered for inclusion in the statistical analysis, if appropriate: descriptive analyses, subgroup analyses, methods of estimation and associated assumptions needed for analysis, estimate of the anticipated study size/power/statistical precision, plans to address confounding and bias (e.g., selection bias, information bias, time-related bias, time-varying exposures, time-dependent confounders, and impact on validity of results), evaluation of effect modification, assessment of population comparability, sensitivity analyses, type I error control (e.g., for sequential analysis and multiple comparisons), assessment of generalizability to the population of interest, and plans for handling missing data.

분석에 기계학습 또는 그 밖의 도출 방법을 사용하는 경우, SAP에는 사용한 컴퓨터 알고리즘의 가정과 매개변수, 알고리즘 구축에 사용한 정보의 데이터 출처, 알고리즘이 지도 방식(즉, 전문가의 입력과 검토를 사용)인지 비지도 방식인지, 그리고 방법의 밸리데이션과 관련된 지표를 명시하여야 한다.

If the analysis uses machine learning or other derivation methods, the SAP should specify the assumptions and parameters of the computer algorithms used, the data source from which the information was used to build the algorithm, whether the algorithm was supervised (i.e., using input and review by experts) or unsupervised, and the metrics associated with validation of the methods.

연구자는 기초 데이터에 정보가 있거나 없는 이유를 이해한 상태에서 계획서와 SAP를 작성하고, 결측 데이터를 다루기 위해 데이터 연계 및/또는 대체(imputation)를 고려하며, 결측 데이터의 정도가 연구 결과에 미치는 영향을 다루어야 한다(5.5항 비뚤림 및 교란 참조). 결측 데이터의 특성을 파악하기 위한 기술 분석을 포함하여야 한다. 연구 결과변수와 중요 공변량에 대한 통계 분석의 바탕이 되는 결측 데이터 관련 가정(예: 결측 확률이 다른 변수의 값에 영향을 받는 무작위 결측, 또는 결측 확률이 다른 변수의 값으로 설명되지 않는 비무작위 결측)은 근거로 뒷받침되어야 한다. 결측 데이터의 정도와 그것이 연구 결과에 미치는 영향을 기술하여야 한다.

The researcher(s) should develop the protocol and the SAP with an understanding of the reasons for the presence and absence of information in the underlying data; consider data linkage and or imputation to address missing data, and address the implications of the extent of missing data on study findings (see Section 5.5, Bias and Confounding). Descriptive analyses should be included to characterize missing data. Assumptions regarding the missing data (e.g., missing at random, where the probability of missingness is influenced by the values of other variables, or missing not at random, where the probability of missingness cannot be explained by the values of other variables) underlying the statistical analysis for study outcomes and important covariates should be supported. The extent and implications of missing data on study findings should be described.

민감도 분석을 계획할 때에는 각 분석의 근거를 그 강점 및 한계와 함께 제시하여야 한다. 민감도 분석은 설계, 노출 정의, 결과변수 정의, 결측 데이터, 선택한 데이터 출처의 한계 및 분석 접근법과 관련된 가정 등 연구의 잠재적으로 중요한 가정을 변화시킨 효과를 검토함으로써 비뚤림과 교란을 평가하기 위해 수행하여야 한다. 이 분석은 확인된 불확실성의 정도에 비추어 연구 결과를 더 잘 해석하는 데 도움이 될 수 있다. 민감도 분석은 계획서 및/또는 SAP에 사전에 명시하여야 하며, 이탈 사항은 최종 보고서에 문서화하여야 한다.

When planning for sensitivity analyses, a rationale for each analysis should be provided with its strengths and limitations. Sensitivity analyses should be conducted to assess bias and confounding by examining the effect of varying potentially critical study assumptions, such as those relating to design, exposure definition, outcome definition, missing data, and limitations of the data source(s) selected, and analysis approach. The analyses can facilitate better interpretation of study results in light of the extent of uncertainty noted. Sensitivity analyses should be pre-specified in the protocol and or the SAP with deviations documented in the final report.

정량적 비뚤림 분석은 민감도 분석의 한 형태로서, 잠재적 비뚤림이 연관성 측도에 미치는 영향을 평가한다. 계획서에는 비뚤림을 정량화하는 데 사용할 지표(예: 민감도, 특이도, 양성 예측도[PPV] 및 음성 예측도[NPV])를 사전에 명시하고, 관심 변수를 밸리데이션할 때 선택한 지표를 어떻게 측정할 것인지 기술하여야 한다. 비뚤림 보정 효과 추정치의 정밀도는 신뢰구간을 사용하여 정량화하여야 한다. 이러한 분석은 연구 결과의 해석에 도움이 될 수 있다.

Quantitative bias analysis, as a form of sensitivity analysis, evaluates the impact of potential bias on the measure of association. The protocol should pre-specify the indices (e.g., sensitivity, specificity, positive [PPV] and negative predictive values [NPV]) that will be used for quantifying bias and describe how the selected indices will be measured when validating variables of interest. The precision of the bias-adjusted effect estimates should be quantified using confidence intervals. These analyses may facilitate interpretation of study results.

ICH E2D 허가 후 안전성 데이터 관리 가이드라인에 따라, 연구 수행 중 확인된 이상사례, 약물이상반응, 그 밖의 관찰 사항 및 제품 품질 불만은 규제당국에 보고하여야 할 수 있다. 보고 요건은 규제 보고 요건의 차이로 인해 당사자(예: 품목허가권자(MAH), 그 밖의 의뢰자 또는 신청자, 연구자, 또는 독립 연구 그룹)와 지역에 따라 다를 수 있다. ICH E2D 가이드라인은 이상사례 및 약물이상반응에 대한 개별 안전성 보고의 보고에 관하여 품목허가권자에게 지침을 제공한다. 그 밖의 보고 요건(및 ICH E2D 적용 범위 밖의 당사자)에 대해서는 해당 법령 및 적절한 경우 약물감시 가이드라인을 참조한다. 데이터 수집 유형(1차 데이터 수집 또는 데이터의 2차 활용)에 따라 보고에 관한 규제 요건은 관할 지역마다 다르다.

According to the ICH E2D Guideline on Post Approval Safety Data Management, adverse events, adverse drug reactions, other observations and product quality complaints identified during the conduct of a study may require reporting to the regulatory authority. Reporting requirements may vary by party (e.g., MAH, other sponsor or applicant, investigator, or independent research group) and by region, due to differences in regulatory reporting requirements. The ICH E2D Guideline provides guidance for MAHs on reporting of individual case safety reports for adverse events and adverse drug reactions. For other reporting requirements (and for parties outside the scope of ICH E2D), refer to applicable laws and regulations and, as appropriate, pharmacovigilance guidelines. Depending on the type of data collection (primary data collection or secondary use of data), regulatory requirements for reporting vary by jurisdiction.

이상사례의 확인, 처리 및 보고는 해당 지역의 보고 요건을 따라야 하며 계획서에 기술하여야 한다.

The identification, processing and reporting of adverse events should follow local reporting requirements and be described in the protocol.

의뢰자는 연구 문서의 구조와 내용에 관한 기존 지침을 참조하여야 하며, 해당되는 경우 필요한 문서와 제출 일정에 관하여 규제당국과 조기에 협의하여야 한다. 이러한 문서는 적용되는 규제 요건에 따라 다를 수 있으며, 실행 가능성 평가, 계획서, SAP, 진행/중간 보고서 및 최종 보고서를 포함할 수 있다. 구체적인 규제 지침이 없는 경우, 의뢰자는 ISPE/ISPOR의 HARmonized Protocol Template to Enhance Reproducibility를 비롯하여(이에 한정되지 않음) 과학계가 개발한 틀을 문서 작성 지침으로 활용하거나 맞추어 쓸 수 있다.(4)

Sponsors should refer to available guidance on structure and contents of study documents and have early discussion with the regulatory agencies regarding the required documents and timetables for submission, as applicable. These documents may vary based on applicable regulatory requirements, and can include the feasibility assessment, protocol, SAP, and progress/interim and final reports. In the absence of specific regulatory guidance, sponsors may utilize or adapt frameworks developed by the scientific community as a guide for document development, including but not limited to ISPE/ISPOR’s HARmonized Protocol Template to Enhance Reproducibility.(4)

투명성을 위하여, 과학적 교류를 지원하고 재현 가능한 연구 수행을 가능하게 하기 위하여, 규제 요건으로 의무화되지 않은 경우에도 연구자는 계획서 확정 후 적절한 공개 등록처(예: ClinicalTrials.gov, HMA-EMA 실사용 데이터 연구 카탈로그, 또는 이용 가능한 그 밖의 등록처)에 계획서를 공개하도록 권장된다. 해당 지역의 규제 요건에 따라 연구 보고서의 등록도 필요할 수 있다. 연구 결과의 배포와 소통을 위한 그 밖의 수단으로는 학술 토론의 장에 대한 비규제 목적의 제출, 학술 출판물, 환자 또는 의료인 대상 소통이 포함될 수 있다.

For transparency, to support scientific exchange, and to allow the conduct of reproducible research, even where not mandated by regulatory requirements, the researcher(s) is/are encouraged to make the protocol publicly available in appropriate public registers (e.g., ClinicalTrials.gov, the HMA-EMA Catalogue of real-world data studies, or other registers where available) after protocol finalisation. Registration of study reports may also be needed according to local regulatory requirements. Further vehicles for dissemination and communication of study results may include non-regulatory submission in scientific fora, scientific publications, and patient or practitioner-focused communications.

학술 문헌에 연구를 보고하는 데 관한 권고를 제공하는 가이드라인이 여럿 있다.

Several guidelines exist that provide recommendations for reporting studies in the scientific literature.

여기에는 “The REporting of studies Conducted using Observational Routinely collected health Data (RECORD) Statement”, “The REporting of studies Conducted using Observational Routinely collected health Data Statement for Pharmacoepidemiology (RECORD-PE)”, ENCePP 약물역학 방법론 표준 지침(ENCePP Guide on Methodological Standards in Pharmacoepidemiology),(6) 의약품청장협의체–유럽의약품청(HMA-EMA)의 실사용 데이터 출처 및 연구 카탈로그,(28) 그리고 국제의학학술지편집인위원회(ICMJE)가 제정한 “Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly work in Medical Journals”(29)가 포함된다.

These include “The REporting of studies Conducted using Observational Routinely collected health Data (RECORD) Statement,” “The REporting of studies Conducted using Observational Routinely collected health Data Statement for Pharmacoepidemiology (RECORD-PE),” ENCePP Guide on Methodological Standards in Pharmacoepidemiology,(6) Heads of Medicines Agencies – European Medicines Agency (HMA-EMA) catalogues of real-world data sources and studies,(28) and “Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly work in Medical Journals,” established by the International Committee of Medical Journal Editors (ICMJE).(29)

결과를 공개하고 (해당되는 경우) 연구 참여자에게 적절한 방식으로 전달하는 것이 권장된다. 소통에는 관련 안전성 정보와 연구의 모든 한계를 포함하여 전체 연구 결과에 대한 사실에 입각한 요약을 객관적이고 균형 잡힌, 판촉적이지 않은 방식으로 담아야 한다.

It is recommended that the results be made publicly available and communicated in an appropriate manner to study participants (as applicable). Communications should include a factual summary of the overall study results in an objective, balanced and nonpromotional manner, including relevant safety information and any limitations of the study.

연구의 계획, 수행 및 결과와 관련된 주요 문서와 기록은 적용되는 기준과 관할 지역의 요건에 따라 보관하여야 한다. 연구 문서화의 주요 원칙은 GCP(의약품 임상시험 관리기준) 가이드라인(30)(특히 1차 데이터 수집의 경우) 및 약물역학 연구 관리기준(GPP) 가이드라인(5)(특히 데이터의 2차 활용의 경우)의 원칙과 유사하다:

Key documents and records related to the planning, conduct and results of a study should be kept in compliance with applicable standards and jurisdictional requirements. Key principles of study documentation are similar to those in the Guideline for Good Clinical Practice (GCP)(30) (especially for primary data collection) and Guidelines for Good Pharmacoepidemiological Practices (GPP)(5) (especially for secondary use of data):

특수 집단은 허가 전 임상시험에 등록되지 않거나 과소 대표되는 경우가 많으며, 임신 또는 수유 중인 대상자, 영아, 소아, 청소년/청년, 고령자, 면역저하 환자, 장애 또는 희귀질환이 있는 사람이 포함된다. 따라서 시판 후 비중재 연구는 이러한 집단에서 의약품의 유익성/위험성 평가를 뒷받침하는 귀중한 정보를 제공할 수 있다. 이러한 연구를 설계할 때에는 이 가이드라인에 기술된 모든 비중재 연구에 적용되는 개념에 더하여 고유한 고려사항(예: 연구 집단을 정의할 때)이 필요한 경우가 많다.

Special populations are often not enrolled or under-represented in pre-approval clinical studies and include subjects who are pregnant or lactating, infants, children, adolescents/young adults, older adults, immunocompromised patients, and people with disabilities or rare diseases. Therefore, post-marketing non-interventional studies may provide valuable information supporting the benefit/risk assessment of medicines in these populations. Designing such studies often requires unique considerations (e.g., when defining the study population) in addition to the concepts applying to any non-interventional study described in this guideline.

방법론적 난제의 예로는 노출의 낮은 발생률 및/또는 드문 결과변수, 고령자의 다중 동반질환과 다약제 복용, 면역저하 환자에서 증례 또는 질병 특성(예: 기간 및 중증도)을 식별하기 어려움, 임신의 식별과 재태 연령의 추정, 그리고 모체, 임신, 분만, 배아·태아, 신생아 및 소아기 결과변수의 복잡성과 다양성이 있다. 이러한 난제를 해결하려면 출생 등록체계, 임신 등록체계, 환자 등록체계 등 보완적 데이터 출처와의 연계가 필요할 수 있다. 연구자는 이러한 특정 집단과 관련된 설계 및 비뚤림 문제를 다룬 학술 문헌을 참고하도록 권장된다.(31-33)

Examples of methodological challenges include low incidence of exposures and or rare outcomes; multiple comorbidities and polypharmacy for older adults; difficulty in identifying cases or disease characteristics (e.g., duration and severity) in immunocompromised patients; identification of pregnancies and estimation of gestational age; and complexity and variety of maternal, pregnancy, delivery, embryo-fetal, and neonatal and childhood outcomes. These challenges may require linkage to complementary data sources, such as birth registries, pregnancy registries, and patient registries. The researcher(s) are encouraged to consult scientific literature for publications addressing design and bias issues related to these specific populations.(31-33)