이 가이던스는 이 주제에 관한 FDA의 현재 견해를 나타낸다. 이 가이던스는 누구에게도 어떠한 권리를 설정하지 않으며, FDA나 일반 대중을 구속하지 않는다. 적용 법률과 규정의 요건을 충족한다면 다른 접근 방법을 사용할 수 있다. 다른 접근 방법을 논의하려면 표지에 적힌 이 가이던스 담당 FDA 부서에 연락한다.

This guidance represents the current thinking of the Food and Drug Administration (FDA or Agency) on this topic. It does not establish any rights for any person and is not binding on FDA or the public. You can use an alternative approach if it satisfies the requirements of the applicable statutes and regulations. To discuss an alternative approach, contact the FDA office responsible for this guidance as listed on the title page.

2016년 12월 13일 서명되어 법률로 제정된 21세기 치료법(21st Century Cures Act, Cures Act)²은 의료제품 개발을 가속하고 혁신을 필요로 하는 환자에게 더 빠르고 효율적으로 전달하는 것을 목적으로 한다. Cures Act는 여러 조항 가운데 연방 식품·의약품·화장품법(FD&C법)(21 U.S.C. 355g)에 505F항을 추가하였다. 이 조항에 따라 FDA는 FD&C법 505(c)항에 따라 이미 승인된 의약품³의 새로운 적응증 승인을 뒷받침하거나 시판 후 연구 요건을 뒷받침하거나 충족하는 데 실사용증거(real-world evidence, RWE)를 활용할 가능성을 평가하는 프로그램의 체계를 마련하였다.

The 21st Century Cures Act (Cures Act),² signed into law on December 13, 2016, is intended to accelerate medical product development and bring innovations faster and more efficiently to the patients who need them. Among other provisions, the Cures Act added section 505F to the Federal Food, Drug, and Cosmetic Act (FD&C Act) (21 U.S.C. 355g). Pursuant to this section, FDA created a framework for a program to evaluate the potential use of real-world evidence (RWE) to help support the approval of a new indication for a drug³ already approved under section 505(c) of the FD&C Act or help support or satisfy postapproval study requirements.

FDA는 RWE 프로그램⁴의 일환으로, 그리고 규제 의사결정에서 RWE 활용에 관한 가이던스를 발행하도록 한 FD&C법 505F항의 위임 사항을 부분적으로 이행하기 위해 이 가이던스를 발행한다.⁵ RWE 프로그램은 일상 진료에서 나온 정보 등 실사용데이터(real-world data, RWD) 출처를 사용해 RWE를 도출하는 임상연구를 다룬다.

FDA is issuing this guidance as part of its RWE Program⁴ and to satisfy, in part, the mandate under section 505F of the FD&C Act to issue guidance about the use of RWE in regulatory decision-making.⁵ The RWE Program will cover clinical studies that use real-world data (RWD) sources, such as information from routine clinical practice, to derive RWE.

이 가이던스는 의뢰자와 그 밖의 이해관계자가 의약품의 유효성 또는 안전성에 관한 규제 결정을 뒷받침하기 위해 임상연구⁷에서 전자건강기록(electronic health records, EHR)이나 의료 청구 데이터⁶를 사용하려고 제안할 때 고려할 사항을 제공하기 위한 것이다.

This guidance is intended to provide sponsors and other interested parties with considerations when proposing to use electronic health records (EHRs) or medical claims data⁶ in clinical studies⁷ to support a regulatory decision on effectiveness or safety of a drug.

이 가이던스에서 FDA는 RWD와 RWE를 다음과 같이 정의한다.⁸

For the purposes of this guidance, FDA defines RWD and RWE as follows:⁸

RWD의 예로는 EHR에서 도출된 데이터, 의료 청구 데이터, 제품 및 질환 레지스트리 데이터⁹, 가정 내 사용 환경을 포함한 환자 생성 데이터, 그리고 디지털 헬스 기술처럼 건강 상태에 관한 정보를 줄 수 있는 그 밖의 출처에서 수집한 데이터가 있다.¹⁰ 이 가이던스는 의료 제공자가 기록한 건강 관련 데이터 가운데 EHR과 의료 청구 데이터라는 두 출처에서 추출할 수 있는 데이터에 초점을 둔다. EHR과 의료 청구 데이터는 환자 건강 정보를 담은 전자 의료 데이터의 한 유형으로, 안전성 연구에 널리 사용되고 있으며 유효성 연구에 사용하자는 제안도 늘고 있다. EHR과 의료 청구 데이터는 다양한 임상연구 설계에서 데이터 출처로 고려될 수 있다.

Examples of RWD include data derived from EHRs, medical claims data, data from product and disease registries,⁹ patient-generated data including from in-home use settings, and data gathered from other sources that can inform on health status, such as digital health technologies.¹⁰ This guidance focuses on health-related data recorded by providers that can be extracted from two sources: EHRs and medical claims data. EHRs and medical claims data are types of electronic health care data that contain patient health information, and these data are widely used in safety studies and increasingly being proposed for use in effectiveness studies. EHRs and medical claims data can be considered as data sources in various clinical study designs.

이 가이던스는 규제 결정을 뒷받침하기 위한 임상연구에서 EHR과 의료 청구 데이터를 사용할 가능성과 관련하여 다음 주제를 다룬다.

This guidance discusses the following topics related to the potential use of EHR and medical claims data in clinical studies to support regulatory decisions:

이 가이던스는 연구 설계의 선택이나 통계 분석 유형에 관한 권고를 제공하지 않으며, 어떤 유형의 데이터 출처나 연구 방법론도 지지하지 않는다. 모든 연구 설계에서 규제 결정을 뒷받침하는 데 사용하는 데이터의 신뢰성과 관련성을 보장하는 것이 중요하다. 이 가이던스에서 신뢰성이라는 용어는 정확성, 완전성, 추적성을 포함한다. 관련성이라는 용어는 주요 연구 변수(노출, 결과, 공변량)에 대한 데이터의 가용성과 연구에 필요한 대표성 있는 환자 수의 충분성을 포함한다.

This guidance does not provide recommendations on choice of study design or type of statistical analysis, and it does not endorse any type of data source or study methodology. For all study designs, it is important to ensure the reliability and relevance of the data used to help support a regulatory decision. For the purposes of this guidance, the term reliability includes accuracy, completeness, and traceability. The term relevance includes the availability of data for key study variables (exposures, outcomes, covariates) and sufficient numbers of representative patients for the study.

일반적으로 FDA의 가이던스 문서는 법적 구속력이 있는 책임을 설정하지 않는다. 가이던스는 특정 규정이나 법률 요건을 인용한 경우가 아니면 어떤 주제에 관한 FDA의 현재 견해를 설명하는 것이며, 권고로만 보아야 한다. FDA 가이던스에서 should라는 단어를 쓰는 것은 무언가를 제안하거나 권고한다는 뜻이며, 요구한다는 뜻은 아니다.

In general, FDA’s guidance documents do not establish legally enforceable responsibilities. Instead, guidances describe the Agency’s current thinking on a topic and should be viewed only as recommendations, unless specific regulatory or statutory requirements are cited. The use of the word should in FDA guidances means that something is suggested or recommended, but not required.

업계 및 FDA 직원용 FDA 가이던스 「Best Practices for Conducting and Reporting Pharmacoepidemiologic Safety Studies Using Electronic Healthcare Data」(2013년 5월)는 약물역학적 안전성 연구에서 전자 의료 데이터를 사용하는 것에 초점을 둔다. 2013년 가이던스에는 FDA에 제출되는 계획서와 연구 보고서에 대한 FDA의 검토를 최적화하기 위해 약물역학적 안전성 연구의 설계, 분석, 결과를 문서화하는 방법에 관한 권고가 들어 있다.

The FDA guidance for industry and FDA staff Best Practices for Conducting and Reporting Pharmacoepidemiologic Safety Studies Using Electronic Healthcare Data (May 2013) focuses on the use of electronic health care data in pharmacoepidemiologic safety studies. The 2013 guidance includes recommendations for documenting the design, analysis, and results of pharmacoepidemiologic safety studies to optimize FDA’s review of protocols and study reports that are submitted to FDA.

이 가이던스는 2013년 가이던스 가운데 데이터 출처 선정과 관련된 일부 측면을 확장하여 그 가이던스를 보완하며, 임상연구에 사용할 EHR과 의료 청구 데이터 모두의 관련성과 신뢰성을 평가하기 위한 추가 지침을 제공한다. 이 가이던스는 또한 제품 유효성에 대한 FDA의 평가에 정보를 주려는 연구를 포함하여, 보다 일반적으로 임상연구에서 EHR과 의료 청구 데이터를 사용하는 것과 관련된 고려사항을 폭넓게 개관한다.

This guidance complements the 2013 guidance by expanding on certain aspects of that guidance relating to the selection of data sources, and provides additional guidance for evaluating the relevance and reliability of both EHRs and medical claims data for use in a clinical study. This guidance also provides a broader overview of considerations relating to the use of EHRs and medical claims data in clinical studies more generally, including studies intended to inform FDA’s evaluation of product effectiveness.

규제 결정을 뒷받침하기 위해 FDA에 제출할, EHR이나 의료 청구 데이터를 사용하는 모든 연구에 대해 의뢰자는 연구를 수행하기 전에 계획서와 통계분석계획서를 제출하여야 한다. 연구 수행 전에 FDA의 의견을 받고자 하는 의뢰자는 관련 FDA 심사부서에 의견을 요청하거나 연구를 논의하기 위한 회의를 요청하여야 한다. 연구 설계, 분석, 수행, 보고의 모든 필수 요소는 미리 정해 두어야 하며, 각 연구 요소에 대해 계획서와 최종 연구 보고서에는 해당 밸리데이션 연구를 포함하여 그 요소를 선정된 RWD 출처에서 어떻게 확인하였는지 기술하여야 한다. 연구 요소에 관한 자세한 정보는 V항 「연구 설계 요소」에 있다.

For all studies using EHRs or medical claims data that will be submitted to FDA to support a regulatory decision, sponsors should submit protocols and statistical analysis plans before conducting the study. Sponsors seeking FDA input before conducting the study should request comments or a meeting to discuss the study with the relevant FDA review division. All essential elements of study design, analysis, conduct, and reporting should be predefined, and, for each study element, the protocol and final study report should describe how that element was ascertained from the selected RWD source, including applicable validation studies. More information about study elements is provided in section V, Study Design Elements.

이 가이던스는 임상연구를 위해 EHR과 의료 청구에서 도출되는 데이터의 완전성과 정확성을 최대화하도록 데이터 출처를 선정하는 것에 관한 권고를 제공한다. 잘못 분류되었거나 누락된 정보를 다루기 위한 특정 연구 설계 특성이나 특정 분석의 사용, 그리고 공변량 균형을 이루는 방법은 이 가이던스의 범위에 포함되지 않는다. 대신 이 가이던스는 데이터의 신뢰성과 관련성을 판단하는 데 필수적이고 계획서에서 다루어야 하는 사항을 다루며, 그 사항은 다음과 같다.

This guidance provides recommendations on selecting data sources to maximize the completeness and accuracy of the data derived from EHRs and medical claims for clinical studies. The use of certain study design features or specific analyses to address misclassified or missing information, as well as methods to achieve covariate balance are out of scope of this guidance. Instead, this guidance addresses issues that are essential to determining the reliability and relevance of the data and that should be addressed in the protocol, including:

FDA에 제출하는 계획서에는 연구에 제안된 모든 데이터 출처와 그 밖의 관련 기술 정보(아래에서 논의)를 밝혀야 한다. FDA는 한 데이터 출처를 다른 출처보다 지지하지 않으며, 연구 질문에 답하는 데 관련될 수 있는 데이터 출처를 제한하려 하지 않는다.

Protocols submitted to FDA should identify all data sources proposed for the study, as well as other relevant descriptive information (discussed below). FDA does not endorse one data source over another or seek to limit the possible sources of data that may be relevant to answering study questions.

각 데이터 출처는 이용 가능한 정보가 특정 연구 질문을 다루기에 적절한지 판단하기 위해 평가하여야 한다. 기존 전자 의료 데이터는 연구 목적이나 FDA 규제 제출을 뒷받침하기 위해 만들어진 것이 아니므로, 그러한 목적으로 사용할 때에는 그 잠재적 한계를 이해하는 것이 중요하다. 잠재적 한계의 예는 다음과 같다.

Each data source should be evaluated to determine whether the available information is appropriate for addressing a specific study question. Given that existing electronic health care data were not developed for research purposes or to support regulatory submissions to FDA, it is important to understand their potential limitations when they are used for that purpose. Examples of potential limitations include:

선정된 데이터 출처를 이전에 연구 목적으로 사용한 사례(예: 의뢰자의 이전 FDA 제출 자료나 발표된 문헌의 관련 사례)를 계획서에 기술하여야 한다. 이 기술에는 선정된 데이터 출처가 연구 변수(예: 선정 및 제외 기준, 노출, 결과, 주요 공변량)를 얼마나 잘 포착하는 것으로 나타났는지, 그리고 특정 연구 활동에서 연구 변수를 어떻게 밸리데이션할 수 있는지가 포함되어야 한다.

Prior use of the selected data source for research purposes (e.g., previous submissions to FDA by the sponsor or relevant examples in the published literature) should be described in the protocol. This description should include how well the selected data source has been shown to capture study variables (e.g., inclusion and exclusion criteria, exposures, outcomes, key covariates) and how the study variables can be validated for a particular research activity.

전 세계적으로, 그리고 의료 시스템 사이에 진료 관행의 차이가 있으며, 이는 데이터 출처가 연구 질문에 얼마나 관련되는지에 영향을 줄 수 있다. 서로 다른 유형의 민간 또는 정부 의료비 지급 프로그램에 속한 환자는 연령, 사회경제적 지위, 건강 상태, 위험 요인, 그 밖의 잠재적 교란변수 등 여러 특성에서 차이가 날 수 있다. 환자 본인부담금, 처방집(formulary) 결정, 보장 범위 등 의료 시스템과 보험 프로그램의 여러 요인은 한 의료 시스템에서 어떤 치료를 받는 환자가 다른 의료 시스템에서 같은 치료를 받는 환자와 질환 중증도나 그 밖의 질환 특성에서 얼마나 다를지에 영향을 줄 수 있다. 데이터 출처를 연구 질문을 다루는 데 사용하려면 그 출처가 연구에 관련된 모든 모집단을 포괄하는지 확인하는 것도 중요하다.

There are differences in the practice of medicine around the world and between health care systems that may affect the relevance of the data source to the study question. Patients in different types of commercial or government health care payment programs can differ in a range of characteristics, such as age, socioeconomic status, health conditions, risk factors, and other potential confounders. Various factors in health care systems and insurance programs, such as patient out-of-pocket expenses, formulary decisions, and patient coverage, can influence the degree to which patients on a given therapy in one health care system might differ in disease severity, or other disease characteristics, from patients on the same therapy in another health care system. It is also important to identify whether the data sources cover all populations relevant to the study if those sources are to be used to address the study question.

서로 다른 의료 시스템에서 사용하는 용어와 코딩 체계의 차이도 고려하여야 한다.

Differences in terminology and coding systems used in different health care systems should also be considered.

FDA는 계획서에 다음을 포함할 것을 권고한다.

FDA recommends including the following in the protocol:

EHR 시스템이나 의료 청구 데이터베이스의 기록은 환자가 의료 시스템과 접촉했을 때에만 생성된다. EHR과 의료 청구 데이터는 미리 정한 연구 계획서가 아니라 일상 진료 중에 수집되므로, 제안된 연구의 특정 질문을 다루는 데 필요한 정보가 EHR과 의료 청구 데이터 출처에 없을 수 있다. 의뢰자는 제안된 데이터 출처가 연구 질문과 설계에 관련된 연구 모집단, 노출, 주요 공변량, 관심 결과, 그 밖의 중요한 변수(예: 기간)를 포착하는 데 필요한 세부 수준과 완전성을 갖추고 있음을 입증하여야 한다.

A record in EHR systems or medical claims databases is generated only if there is an interaction of the patient with the health care system. Because EHRs and medical claims data are collected during routine care and not according to a prespecified research protocol, information needed to address certain questions in a proposed study may not be present in EHRs and medical claims data sources. Sponsors should demonstrate that the proposed data source(s) contain the detail and completeness needed to capture the study populations, exposures, key covariates, outcomes of interest, and other important parameters (e.g., time periods) that are relevant to the study question and design.

의료 청구나 EHR 데이터 출처에 환자의 의료 정보가 포착되는지는 보장의 연속성(즉, 건강보험 가입과 탈퇴)과 진료의 연속성(즉, 의료 시스템과의 지속적인 접촉)에 달려 있다. 환자는 고용이나 그 밖의 생활 환경이 바뀔 때 여러 건강보험에 가입하고 탈퇴하는 경우가 많으므로, 의료 청구 데이터 출처를 사용할 때에는 보장의 연속성을 다루어야 한다. EHR 데이터 출처를 사용할 때에는 진료의 연속성, 특히 환자가 같은 EHR 데이터 출처에 데이터를 제공하는 같은 의료 시스템이나 시설 네트워크 안에서 모든 유형의 의료 서비스를 받는지를 논의하여야 한다. 이러한 데이터를 사용한 연구 결과의 타당성은 환자가 건강보험과 의료 시스템에 들어오고 나간 이동을 얼마나 문서화하였는지에 일부 달려 있다.

The capture of patients’ health care information in a medical claim or EHR data source depends on continuity of coverage (i.e., enrollment and disenrollment from the health insurance plan) and continuity of care (i.e., continuous interaction with the health care system). When using medical claims data sources, continuity of coverage should be addressed, given that patients often enroll and disenroll in different health plans when they experience changes in employment, or other life circumstances. When using EHR data sources, continuity of care should be discussed, specifically, whether patients receive all types of health care services within the same health system or network of facilities that contribute to the same EHR data source. The validity of findings from a study using these data depends in part on the documentation of the migration of patients into and out of health plans and health care systems.

이러한 문서화를 통해 관심 환자에 대한 데이터가 있는 기간과 없는 기간을 식별할 수 있다. 보장의 연속성과 진료의 연속성에 대한 정의를 개발하여 계획서에 문서화하여야 한다. 참고로, 진료 연속성에 관한 정보는 정확히 포착하기 어려울 수 있으며(예: 데이터상으로는 진료 중단과, 기존 건강 상태의 악화나 해소로 인한 진료 접촉 부재를 구분하지 못한다), EHR 데이터 출처에서는 근사치로 추정해야 할 수도 있다.

Such documentation allows for the identification of time periods during which data are and are not available on the patients of interest. Definitions of continuity of coverage and continuity of care should be developed and documented in the protocol. Of note, information on continuity of care may be difficult to accurately capture (e.g., data do not differentiate discontinuation of care and lack of encounters due to worsening or resolution of existing health conditions) and might need to be approximated in an EHR data source.

FDA는 연구 질문에 관련된 진료와 결과의 여러 측면을 데이터 출처가 얼마나 포괄적으로 포착하는지 다룰 것을 권고한다. 이 정보는 규제 의사결정을 위해 모든 관심 노출과 결과가 포착될 가능성을 평가하는 데 도움이 된다. 예를 들어 입원 데이터를 포함하지 않는 외래 데이터 출처는 일반적으로 입원으로 이어질 가능성이 큰 결과를 연구하기에 적절하지 않다. 두 번째 예는 결과가 특정 빈도의 검사실 검사에 좌우되는데 임상의가 보통 그런 빈도로 검사를 처방하지 않는 연구이다.

FDA recommends addressing the comprehensiveness of the data sources in capturing aspects of care and outcomes that are relevant to the study question. This information will help evaluate the likelihood that all exposures and outcomes of interest will be captured for regulatory decision-making. For example, outpatient data sources that do not include hospitalization data would generally not be appropriate for studying outcomes likely to result in hospitalization. A second example is a study where an outcome is dependent on a specific frequency of laboratory tests, and clinicians do not typically order those tests at such a frequency.

FDA는 특히 데이터 가용성이 시간에 따라 크게 달라지는 상황에서 모든 관련 모집단, 노출, 결과, 공변량을 연구 기간 동안 어떻게 포착할지 명시할 것을 권고한다. 데이터 출처에는, 결과가 노출과 연관되어 있다면 그 결과가 발생할 것으로 예상되는 생물학적으로 타당한 기간에 근거하여 관심 결과를 확인할 수 있을 만큼 충분한 연속 추적 기간을 가진 환자가 충분한 수만큼 포함되어야 한다. 추적 기간의 길이는 선정된 데이터 출처가 적절한지, 아니면 잠복기가 긴 결과를 확인하기 위해 추가 뒷받침 데이터가 필요한지를 알려 줄 수 있으므로, 데이터 출처 내 환자의 추적 기간 분포에 관한 정보를 제공하여야 한다.

FDA recommends specifying how all relevant populations, exposures, outcomes, and covariates will be captured during the study period, particularly in situations where data availability varies greatly over time. The data sources should contain adequate numbers of patients with adequate length of continuous follow-up to ascertain outcomes of interest based on the biologically plausible time frame when the outcome, if associated with the exposure, might be expected to occur. Information should be provided about the distribution of length of follow-up for patients in the data sources because the length of follow-up may inform whether the selected data sources are adequate or whether additional supportive data are needed to ascertain long latency outcomes.

일반적으로 EHR과 의료 청구 데이터는 비처방 의약품이나 건강보험에서 보상되지 않는 의약품의 사용, 미국 밖 의료관광, 또는 직장·약국·공공 보건소나 정부 예방접종 프로그램을 통해 제공되는 예방접종을 체계적으로 포착하지 못할 수 있다. 이러한 노출이 연구 질문에 특히 관련된다면 그 데이터 출처는 적합하지 않을 수 있으며, 그렇지 않다면 계획서에 이 정보 공백을 어떻게 메울지(예: EHR 시스템에 추가 모듈 구축, 연계, 추가 데이터 수집) 기술하여야 한다.

In general, EHRs and medical claims data may not systematically capture the use of nonprescription drugs or drugs that are not reimbursed under health plans, episodes of medical tourism outside the U.S., or immunizations offered in the workplace, at pharmacies or public health clinics, or through government immunization programs. If these exposures are particularly relevant to the study question, the data source may not be suitable, or the protocol should describe how this information gap will be addressed (e.g., by building additional modules into the EHR system, linking, or collecting additional data).

특정 유형의 사생활 우려(예: 성매개감염, 약물 남용, 정신건강 상태)가 있는 환자에 대해 포괄적인 의약품 보장 데이터와 의료 데이터를 얻기는 어려울 수 있으며, 이를 얻지 못하면 불완전하거나 잘못된 정보가 생길 수 있다. 이러한 상태의 환자는 연방 인증 보건센터(federally qualified health centers)에서 치료를 받거나, 본인 부담으로 진료비를 내면 보험 청구가 생성되지 않을 수 있는 민간 의원에서 치료를 받을 수 있다. 또한 특정 모집단(예: 희귀암 환자)은 실험적 임상시험에 더 자주 참여한다. 이러한 경우 환자의 건강 데이터가 전자 의료 데이터에 온전히 포착되지 않을 수 있다. 이러한 문제가 관심 연구 질문에 관련된다면 계획서에 그 문제를 어떻게 다룰지 기술하여야 한다.

Obtaining comprehensive drug coverage and medical care data on patients with certain types of privacy concerns (e.g., sexually transmitted infection, substance abuse, mental health conditions) can be challenging and failure to do so can result in incomplete or erroneous information. Patients with these conditions may receive treatment in federally qualified health centers, or in private clinics where an insurance claim may not be generated if self-payment is used. In addition, certain populations (e.g., patients with rare cancers) more often enroll in experimental clinical trials. In such cases, patients’ health data may not be fully captured in electronic health care data. If these issues are relevant to the study question of interest, the protocol should describe how the issues will be addressed.

데이터 연계는 환자의 종적 진료 경과를 포착하는 데 이용할 수 있는 데이터의 양을 늘리고, 개별 환자에 대해 이용할 수 있는 데이터의 양을 늘리며, 밸리데이션 목적의 추가 데이터를 제공하는 데 사용할 수 있다. 연구에서 같은 데이터 출처 안(예: 산모-영아 연계) 또는 서로 다른 데이터 출처 사이(예: 인구동태 기록, 질환 및 제품 레지스트리, 바이오뱅크 데이터)에 새로운 데이터 연계를 구축한다면, 계획서에 각 데이터 출처, 얻게 될 정보, 연계 방법, 그리고 시간에 따른 데이터 연계의 정확성과 완전성을 기술하여야 한다. 확률적 데이터 연계 방식과 결정적 데이터 연계 방식은 연계 품질이 서로 다를 수 있지만, 두 방식 모두 상황에 따라 가치가 있을 수 있다.

Data linkages can be used to increase the amount of data available to capture the longitudinal patient journey, increase the amount of data available on individual patients, and provide additional data for validation purposes. If the study involves establishing new data linkages within the same data sources (e.g., mother-infant linkages) or across different data sources (e.g., vital records, disease and product registries, biobank data), the protocol should describe each data source, the information that will be obtained, linkage methods, and the accuracy and completeness of data linkages over time. Probabilistic and deterministic approaches to data linkage may result in different linkage quality, albeit both approaches can have value depending on the scenario.

결정적 데이터 연계 방식은 고유 식별자 또는 공통 식별자 묶음이 정확히 일치하는 기록을 사용한다. 확률적 데이터 연계 방식은 덜 엄격한 단계를 사용하며, 더 적은 수의 식별자가 정확히 일치하거나 식별자 정보의 일부(예: 이름의 앞 몇 글자)가 일치하는 것으로 연계를 맺을 수 있다(Carreras et al., 2018). 확률적 방식을 사용하는 경우 분석계획서에 일치 정도의 영향과 결과의 강건성을 검토하는 시험을 포함하여야 한다. 또한 연구에서 추가 데이터(예: 면접, 우편 설문, 컴퓨터나 모바일 앱 설문, 디지털 헬스 기술을 통한 측정)를 생성한다면, 계획서에 데이터 수집 방법과 수집한 데이터를 제안된 EHR이나 의료 청구 데이터와 통합하는 방법을 기술하여야 한다.

The deterministic approach for data linkage uses records that have an exact match to a unique or set of common identifiers. The probabilistic approach for data linkage uses less restrictive steps in which the linkage can be established by exact matching of fewer identifiers or matching part of the information on the identifiers (e.g., the first several letters of a name) (Carreras et al., 2018). When a probabilistic approach is used, the analysis plan should include testing the impact of the degree of match and robustness of findings. In addition, if the study involves generating additional data (e.g., interviews, mail surveys, computerized or mobile-application questionnaires, measurements through digital health technologies), the protocol should describe the methods of data collection and the methods of integrating the collected data with the proposed EHRs or medical claims data.

여러 데이터 출처나 연구 기관의 데이터를 결합해야 하는 연구에서는, 데이터 출처나 시스템 사이에 진료 및 코딩 관행의 이질성이 있을 수 있으므로, FDA는 서로 다른 출처의 데이터를 허용 가능한 표본 크기와 품질로 확보·통합할 수 있는지와 그 방법을 입증할 것을 권고한다.

For studies that require combining data from multiple data sources or study sites, FDA recommends demonstrating whether and how data from different sources can be obtained and integrated with acceptable sample size and quality, given the potential for heterogeneity in clinical and coding practices across data sources or systems.

환자는 특히 지리적으로 인접한 지역에서 여러 의료기관을 방문하는 것이 일반적이므로, 많은 기관의 비식별화 데이터를 포함하면 한 개인에 대해 서로 다른 의료기관의 기록이 여러 건 생길 가능성이 있다. 같은 사람의 기록이 여러 기관에 여러 건 존재하면 특정 데이터 측정값이 과다 집계되거나, 반대로 일부 기관의 기록을 이용할 수 없으면 환자의 전체 진료 이력 가운데 일부만 반영된 환자 이력이 수집될 수 있다. 개인 수준 및 모집단 수준의 연계를 포함한 데이터 큐레이션¹²에 특별히 주의를 기울이고 다대일 연계와 1:1 연계를 이해하는 것이 새로운 데이터 연계의 적절성을 평가하는 데 기본이다.

Because patients typically visit multiple health care sites, especially in geographically contiguous areas, the inclusion of de-identified data from many sites creates the possibility that there will be multiple records from different health care sites for a single individual. The existence of multiple records of the same person in different sites can result in overcounts of a particular data measure or, alternatively, if some site records are not available, can result in a collection of patient histories that reflect only a fraction of the patient’s total health care history. Specific attention to data curation¹² including individual level and population level linkages and understanding of many-to-one and 1:1 linkage is fundamental to assessing the appropriateness of a new data linkage.

여러 데이터 출처가 고유한 환자 식별자로 연계되어 있거나 환자 정보가 하나의 데이터 출처에서만 오는 경우에도 다중 기록이나 중복 기록 문제가 여전히 있을 수 있다. FDA는 중복이나 단편화 문제를 다루기 위해 수행한 큐레이션 유형을 검토하고 문서화하며, 큐레이션으로 완전히 바로잡을 수 없는 문제를 다루기 위해 취한 접근 방법을 문서화할 것을 권고한다. VI항 「데이터 축적, 큐레이션, 최종 연구별 데이터셋으로의 변환 과정의 데이터 품질」을 참조한다.

Even where multiple data sources are linked by a unique patient identifier or where the patient information is coming from only one data source, there still can be an issue with multiple records or duplicate records. FDA recommends considering and documenting the type of curation performed to address duplication or fragmentation issues and documenting approaches taken to address issues that cannot be fully rectified by curation. See section VI, Data Quality During Data Accrual, Curation, and Transformation into the Final Study-Specific Dataset.

EHR과 의료 청구 데이터 시스템의 분산형 데이터 네트워크(또는 시스템)는 흔히 공통 데이터 모델(common data models, CDM)과 함께 사용되며, 의료제품 안전성 감시와 연구 목적으로 점점 더 많이 활용되고 있다. CDM은 다양한 전자 의료 데이터 출처를 공통 형식으로 표준화하여 데이터를 제공하는 모든 기관 사이의 상호운용성을 보장한다. 여러 기관의 데이터를 하나의 CDM으로 변환하는 분산형 네트워크를 사용할 때의 주된 이점은 여러 데이터셋에 동일한 쿼리를 (수정 없이 또는 큰 수정 없이) 실행할 수 있다는 것이다. 일부 분산형 데이터 네트워크에서는 쿼리를 모든 네트워크 기관에서 동시에 또는 각 기관에서 비동기적으로 실행할 수 있으며, 결과는 조정 센터에서 취합되어 최종 사용자에게 전달된다.

Distributed data networks (or systems) of EHRs and medical claims data systems, often combined with the use of common data models (CDM), have been increasingly used for medical product safety surveillance and research purposes. A CDM standardizes a variety of electronic health care data sources into a common format to ensure interoperability across all sites providing data. The primary benefit of using a distributed network in which data from multiple sites are transformed into a single CDM, is the ability to execute an identical query (without any or substantial modifications) on multiple datasets. In some distributed data networks, queries can be run simultaneously at all network sites or at each site asynchronously, with results combined at a coordinating center for return to the end user.

분산형 데이터 네트워크가 흔히 사용하는 운영 모델은 여러 가지가 있다. 일부 네트워크는 일관된 EHR 시스템이나 의료 청구 데이터베이스 구조를 사용하는 단일 사업체가 관리하며, 데이터는 여러 장소에 보관되지만 일관된 방식으로 구조화되고 관리된다(예: 미국 보훈부 보훈보건청(U.S. Department of Veterans Affairs Veterans Health Administration)). 또 다른 방식은 혼합형 분산 모델로, 여러 원격 기관의 데이터 일부를 중앙 저장소로 보내 결합된 데이터셋으로 연구를 수행할 수 있게 한다(예: 미국 질병통제예방센터(CDC)의 국가 증후군 감시 시스템(National Syndromic Surveillance System)).

There are a number of the commonly used operational models employed by distributed data networks. Some networks are managed by a single business entity using a consistent EHR system or medical claims database structure and while data are maintained at many locations, they are structured and managed in a consistent manner (e.g., the U.S. Department of Veterans Affairs Veterans Health Administration). Another approach is a hybrid distributed model in which a subset of data from many remote sites is sent to a centralized repository that allows for research to be conducted on a combined dataset (e.g., U.S. Centers for Disease Control and Prevention’s National Syndromic Surveillance System).

흔히 사용되는 세 번째 방식은 소유자와 데이터베이스 구조가 여럿인 데이터 시스템 네트워크로, 데이터가 장소마다 다르게 구조화되고 관리된다(예: FDA 센티넬(Sentinel) 시스템의 회원 기관). 이 모델에서는 연구 쿼리를 여러 네트워크 회원 기관에 보내고, 결과를 중앙 장소로 돌려받아 취합하고 보고한다.

A third commonly used approach is seen in networks of data systems with multiple owners and database structures, with data structured and managed differently from location to location (e.g., the member sites of FDA’s Sentinel system). In this model, research queries are sent to the various network member sites and results returned to a central location for collation and reporting.

센티넬 시스템처럼 서로 다른 데이터 시스템으로 이루어진 후자 유형의 네트워크는 CDM 사용으로 원활해진다. CDM을 사용하는 네트워크는 또한 대개 분석 도구와 방법론, 일관된 수준의 데이터 큐레이션, 통일된 QA/QC 절차, 그리고 필요에 따라 새로운 데이터 개념을 반영하기 위한 데이터 모델의 주기적 개정을 제공한다. 이와 더불어 한 CDM의 데이터를 다른 CDM으로 옮길 수 있게 하는 방법론도 개발되었으나, 이는 추가적인 데이터 변환¹³을 수반하므로 품질 고려사항이 더해진다. 데이터 큐레이션과 CDM으로의 변환, 그리고 일반적인 QA/QC 절차는 VI항 「데이터 축적, 큐레이션, 최종 연구별 데이터셋으로의 변환 과정의 데이터 품질」에서 논의한다.

The latter type of networks, comprised of disparate data systems such as the Sentinel system, are facilitated by the use of CDMs. Networks using CDMs also typically provide tools and methodologies for analysis, a consistent level of data curation, unified QA/QC procedures, and periodic revision of the data model to incorporate new data concepts as needed. Additionally, methodologies have been developed that allow the ability to translate data from one CDM to another, however these involve additional data transformations,¹³ which present added quality considerations. Data curation and transformation into a CDM, as well as general QA/QC procedures, are discussed in section VI, Data Quality During Data Accrual, Curation, and Transformation into the Final Study-Specific Dataset.

분산형 데이터 네트워크는 대개 EHR, 의료 청구 또는 레지스트리 데이터로 구성된다. 그럼에도 많은 데이터 출처를 결합하면, 특히 CDM으로의 데이터 변환이 더해지면, 고려해야 할 복잡성이 한 겹 더 생긴다. 분산형 의료 데이터 네트워크의 구성은 매우 다양하므로, 이 가이던스에서 논의한 구성을 전부라고 보아서는 안 된다.

Distributed data networks are typically comprised of EHR, medical claim, or registry data. Nevertheless, combining many data sources, especially with the addition of data transformation into a CDM, adds a layer of complexity that should be considered. Because there are many different configurations of distributed health data networks, the configurations discussed in this guidance should not be considered comprehensive.

서로 다른 데이터베이스 구조를 CDM을 갖춘 공통 의료 네트워크로 변환하면, 그렇지 않았다면 더 복잡하고 비용이 많이 들었을 여러 의료기관에 걸친 연구가 가능해진다. 그러나 CDM은 고려해야 할 추가적인 문제를 가져올 수 있다.

Transforming disparate database structures into a common health network with a CDM allows research across health care sites that would otherwise be more complex and costly. However, CDMs can introduce additional challenges to consider.

FDA 센티넬 시스템, 생물의약품 유효성 및 안전성 이니셔티브(Biologics Effectiveness and Safety Initiative), 국가 환자중심 임상연구 네트워크(National Patient-Centered Clinical Research Network)를 위해 개발된 CDM을 비롯한 많은 CDM은 특정한 연구 목적을 충족하기 위해 만들어졌다. CDM에 포착되는 데이터의 선택은 의도한 용도에 필요한 데이터 측정값의 유형과 세부 수준에 맞게 최적화되어 있다(예: 규제 의사결정에 정보를 주기 위한 시판 후 안전성 감시용 센티넬 시스템, 환자중심 성과 연구용 국가 환자중심 임상연구 네트워크).

Many CDMs, including those developed for FDA’s Sentinel system, Biologics Effectiveness and Safety Initiative, and the National Patient-Centered Clinical Research Network, were created to satisfy a specific set of research purposes; the choice of data captured in a CDM is optimized for the types of data measures and detail needed for the intended use (e.g., Sentinel system for postmarket safety surveillance to inform regulatory decision-making, the National Patient-Centered Clinical Research Network for patient-centered outcomes research).

따라서 CDM 기반 네트워크의 데이터에는 개별 의료기관에 있는 원천 정보가 모두 담기는 경우가 드물며, 특정 CDM 네트워크에 선택된 데이터 요소가 모든 연구 목적이나 질문에 충분하지 않을 수 있다. 더욱이 CDM에는 선택 항목인 데이터 요소가 많은 경우가 흔하다. 즉, 모델에 데이터를 채울 수 있는 해당 데이터 요소가 마련되어 있더라도 개별 기관은 원래 데이터를 선택 항목에 넣을지 여부를 스스로 정할 수 있다.

Therefore, data in CDM-driven networks rarely contain all the source information present at the individual health care sites, and the data elements chosen for a given CDM network may not be sufficient for all research purposes or questions. Furthermore, CDMs often have many data elements within the model that are optional—that is, although the model has such data elements available to be filled with data, the individual sites can choose whether to put their original data into the optional fields.

CDM 기반 네트워크를 사용하기 전에, 연구에 대한 적합성을 판단하고 확인된 결함을 맞춤형 연구별 데이터 요소로 보충하거나, 추가 데이터를 수집하거나, 데이터셋에 있는 다른 데이터 요소 가운데 누락 정보의 합리적 대리 지표가 되는 것을 사용하여 해결할 수 있는지 판단하기 위해, CDM이 수집하는 데이터 요소를 검토하여야 한다. 여기에는 필요한 데이터 요소가 모델에 있는지, 있다면 필수 요소인지 선택 요소인지가 포함된다. 다만 이러한 우회 방법에는 대리 평가변수를 밸리데이션하는 작업이나 추가 데이터와 관련된 인간 대상 연구 고려사항 등 의뢰자가 추가로 고려해야 할 사항이 따른다는 점에 유의하여야 한다. 새로운 용도에 맞게 자주 확장되는 보다 유연한 CDM을 사용하면 적합성이 높아질 수도 있다.

Before using a CDM-driven network, data elements collected by the CDM should be considered—including whether needed data elements exist in the model and, if so, whether they are required or optional elements—to determine suitability for the study and whether identified deficiencies can be addressed by supplementing with customized study-specific data elements, collecting additional data, or using other data elements present in the dataset that are reasonable proxies for the missing information. It should be noted, however, that such workarounds involve additional considerations by the sponsor such as the work involved with validating proxy endpoints or any human subject research considerations that involve additional data. Suitability may also be improved with more flexible CDMs that are frequently expanded for new uses.

대리 변수에 관한 정보는 IV.C항 「누락 데이터: 일반 고려사항」을 참조한다.

For information on proxy variables, see section IV.C, Missing Data: General Considerations.

컴퓨터 처리 가능 표현형(computable phenotype)은 정해진 데이터 요소와 논리식을 사용하여 EHR 시스템이나 임상 데이터 저장소(질환 레지스트리, 청구 데이터 포함)에 대한 컴퓨터 쿼리로 임상 상태나 특성을 식별한다. 표준화된 컴퓨터 처리 가능 표현형을 사용하면 여러 의료 시스템에 걸친 대규모 임상연구에서 연구 모집단을 효율적으로 선정하고 관심 결과나 그 밖의 연구 변수를 효율적으로 확인할 수 있다. 컴퓨터 처리 가능 표현형 정의에는 그 정의에 관한 메타데이터와 뒷받침 정보, 의도한 용도, 정의의 임상적 근거나 연구상 정당성, 그리고 다양한 의료 환경에서의 밸리데이션을 평가한 데이터가 포함되어야 한다(Richesson et al. 2016).

A computable phenotype identifies a clinical condition or characteristic using a computerized query to an EHR system or clinical data repository (including disease registries, claims data) using a defined set of data elements and logical expressions. Standardized computable phenotypes enable efficient selection of study populations and ascertainment of outcomes of interest or other study variables for large-scale clinical studies across multiple health care systems. A computable phenotype definition should include metadata and supporting information about the definition, its intended use, the clinical rationale or research justification for the definition, and data assessing validation in various health care settings (Richesson et al. 2016).

표준화되고 매핑된 데이터 요소와 (해당하는 경우) 표현형 알고리즘으로 구성된 컴퓨터 처리 가능 표현형 정의는 계획서와 연구 보고서에 기술하여야 하며, 컴퓨터가 처리할 수 있는 형식으로도 제공하여야 한다. 컴퓨터 처리 가능 표현형 정의의 임상적 밸리데이션은 계획서와 연구 보고서에 기술하여야 한다. 밸리데이션에 관한 추가 정보는 IV.D항 「밸리데이션: 일반 고려사항」을 참조한다.

The computable phenotype definition, composed of standardized and mapped data elements and phenotype algorithm, if applicable, should be described in the protocol and study report and should also be available in a computer-processable format. Clinical validation of the computable phenotype definition should be described in the protocol and study report. For additional information on validation, see section IV.D, Validation: General Considerations.

의료 청구 데이터는 대개 정형 필드에 담기지만, 주요 임상 데이터의 상당 부분은 EHR 안의 비정형 데이터로, 자유 텍스트 데이터 필드(의사 기록 등)이거나 컴퓨터 문서 속 그 밖의 비표준화 정보(PDF 기반 영상의학 판독 보고서 등)이다. 데이터 추출의 효율을 높이기 위해 기존 기술과 새로 등장하는 기술 및 전략을 모두 포함한 다양한 접근 방법이 비정형 데이터를 컴퓨터 처리 가능한 형식으로 변환하는 데 점점 더 많이 사용되고 있다. 보다 최근의 혁신으로는 기술 지원 추출이 있으며, 이는 소프트웨어가 사람인 데이터 추출 담당자(예: 종양 등록 담당자)가 일관되고 확장 가능한 방식으로 작업할 수 있는 수단을 제공하는 것이다.

Although medical claims data are typically in structured fields, large amounts of key clinical data are unstructured data within EHRs, either as free text data fields (such as physician notes) or as other non-standardized information in computer documents (such as PDF-based radiology reports). To enhance the efficiency of data abstraction, a range of approaches, including both existing and emerging technologies and strategies, are increasingly being used to convert unstructured data into a computable format. More recent innovations include technology-enabled abstraction whereby software provides a mechanism for human data abstractors (e.g., tumor registrars) to do their work in a consistent and scalable fashion.

인공지능(AI) 분야의 기술 발전으로 비정형 전자 의료 데이터를 더 빠르게 처리할 수 있게 될 것이다. AI는 알고리즘이나 모델을 사용하여 작업을 수행하고 학습, 의사결정, 예측 같은 행동을 나타내는 컴퓨터과학, 통계학, 공학의 한 분야이다.¹⁴ 발전된 기술에는 자연어 처리, 기계학습, 특히 딥러닝이 있으며, 이를 이용해 (1) EHR의 비정형 텍스트에서 데이터 요소를 추출하거나, (2) 결과를 식별하는 컴퓨터 알고리즘을 개발하거나, (3) 영상이나 검사실 결과를 평가한다. FDA는 특정 AI 기술을 지지하지 않는다.

Technological advances in the field of artificial intelligence (AI) may permit more rapid processing of unstructured electronic health care data. AI is a branch of computer science, statistics, and engineering that uses algorithms or models to perform tasks and exhibit behaviors such as learning, making decisions, and making predictions.¹⁴ Advances include natural language processing, machine learning, and particularly deep learning to: (1) extract data elements from unstructured text in EHRs; (2) develop computer algorithms that identify outcomes; or (3) evaluate images or laboratory results. FDA does not endorse any specific AI technology.

이 모든 방법은 정도의 차이는 있으나 컴퓨터의 도움을 받지만, 사람이 개입하는 큐레이션과 의사결정이 상당히 필요하므로 최종 연구별 데이터셋에 데이터 변동성과 품질 고려사항이 한 단계 더해진다. 계획서에서 AI나 그 밖의 도출 방법을 사용하려 한다면, 사용한 컴퓨터 알고리즘의 가정과 매개변수, 알고리즘 구축에 사용한 정보의 데이터 출처, 알고리즘이 지도 학습(즉, 전문가의 입력과 검토를 사용)인지 비지도 학습인지, 그리고 방법의 밸리데이션과 관련된 지표를 명시하여야 한다. AI나 그 밖의 컴퓨터 추출 방법 사용이 데이터 품질에 미치는 관련 영향은 계획서와 분석계획서에 문서화하여야 한다.

All these methods are computer-assisted to various levels but require a significant amount of human-aided curation and decision-making, injecting an additional level of data variability and quality considerations into the final study-specific dataset. If the protocol proposes to use AI or other derivation methods, the protocol should specify the assumptions and parameters of the computer algorithms used, the data source from which the information was used to build the algorithm, whether the algorithm was supervised (i.e., using input and review by experts) or unsupervised, and the metrics associated with validation of the methods. Relevant impacts on data quality from use of AI or other computerized extraction methods should be documented in the protocol and analysis plan.

데이터 출처에 정보가 없는 경우는 크게 두 가지 시나리오가 있다. 첫 번째 시나리오는 정보를 수집하려고 했으나(예: EHR에 정형 필드가 있음) 데이터 출처에 정보가 없는 경우이다. 이는 전통적인 누락 데이터의 예이다.¹⁵ 두 번째 경우는 EHR과 의료 청구 데이터에서 그 정보를 수집하려는 의도가 애초에 없어서 정보가 없는 경우이다. 두 번째 시나리오는 데이터 출처의 관련성에 영향을 준다. 두 경우 모두 연구 타당성에 영향을 줄 수 있지만, 두 시나리오를 구분하고 EHR과 의료 청구에 정보가 있거나 없는 이유를 이해하는 것이 도움이 된다.

There are two broad scenarios in which information may be absent from data sources. The first scenario is when the information was intended to be collected (e.g., structured field present in EHRs), but is absent from the data sources. This is an example of traditional missing data.¹⁵ The second case is when the information was not intended to be collected in EHRs and medical claims data and is therefore absent. The second scenario affects the relevance of the data source. Although both can have an impact on study validity, it is helpful to distinguish between these two scenarios and understand the reasons why information is present or absent in EHRs and medical claims.

예를 들어 검사실 검사 결과에 관한 정보가 없는 것은 여러 상황에서 비롯될 수 있다. (1) 의료 제공자가 검사를 처방하지 않았을 수 있다. (2) 검사가 처방되었으나 실시되지 않았을 수 있다. (3) 검사가 실시되었으나 결과가 데이터 출처에 저장되거나 포착되지 않았을 수 있다. (4) 검사가 실시되고 결과가 데이터 출처에 저장되었으나, 데이터가 접근 가능한 형식이 아니었거나 최종 연구별 데이터셋을 생성할 때 변환 및 큐레이션 과정에서 유실되었을 수 있다. 의료 제공자는 환자의 특성에 따라 검사실 검사를 처방할 수 있으므로, 검사를 처방하지 않기로 한 결정이나 환자가 검사를 받지 않기로 한 결정은 제안된 연구에 대한 데이터의 사용 적합성에 영향을 줄 수 있다.

For example, lack of information about the result of a laboratory test could be caused by different circumstances: (1) the test might not have been ordered by the health care provider; (2) the test might have been ordered but not conducted; (3) the test might have been performed, but the result was not stored or captured in the data source; or (4) the test might have been performed and the result was stored in the data source, but data were not in an accessible format, or lost in the transformation and curation process when the final study-specific dataset was generated. Because providers might order a laboratory test based on a patient’s characteristics, the decision not to order the test or a patient’s decision to forgo the test may have implications on the data’s fitness for use in a proposed study.

데이터가 누락된 이유를 이해하면 누락 데이터가 연구 결과에 미치는 영향을 평가하는 데 도움이 될 수 있다.

An understanding of the reasons for missing data may help assess the impact of missing data on study findings.

앞에서 논의한 것처럼 데이터 연계는 특정 유형의 누락 데이터를 다루는 한 가지 방법이다. 누락 데이터의 대리 지표가 되는 변수를 찾는 것도 가능할 수 있다. 잠재적 대리 변수의 예로는, 아동 건강 결과를 평가할 때 중요한 교란변수인 경우가 많은 사회경제적 지위의 대리 지표로서 어머니의 교육 수준이 있다.

As discussed above, data linkage is one way to address certain types of missing data. It may also be possible to identify a variable that is a proxy for the missing data. An example of a potential proxy variable includes maternal education as a proxy for socioeconomic status that often is an important confounder when evaluating child-health outcomes.

계획서와 통계분석계획서는 정보가 있거나 없는 이유에 대한 이해를 바탕으로 개발하여야 한다. 누락 데이터를 특성화하기 위한 기술 분석을 포함하여야 한다. 연구 평가변수와 중요 공변량에 대한 통계 분석의 바탕이 되는 누락 데이터 관련 가정(예: 무작위 누락, 비무작위 누락)은 근거로 뒷받침되어야 하며, 누락 데이터의 영향은 연구의 설계와 분석에서 고려하여야 한다. 결과의 강건성을 평가하기 위해 민감도 분석을 수행하여야 한다.

The protocol and the statistical analysis plan should be developed and based on an understanding of reasons for the presence and absence of information. Descriptive analyses should be included to characterize the missing data. Assumptions regarding the missing data (e.g., missing at random, missing not at random) underlying the statistical analysis for study endpoints and important covariates should be supported and the implications of missing data considered in the design and analysis of the study. Sensitivity analysis should be conducted to evaluate the robustness of findings.

EHR과 의료 청구 데이터 출처를 사용하는 연구에는 연구 모집단의 선정 및 제외 기준, 노출, 결과, 공변량 등 중요한 연구 변수에 대한 개념적 정의가 포함되어야 한다. 개념적 정의는 관심 변수에 관한 현재의 의학적·과학적 견해를 반영하여야 하며, 그 예로는 (1) 모집단 선정을 위해, 또는 관심 결과나 공변량으로서 어떤 상태를 정의하는 임상 기준, (2) 관심 노출을 정의하기 위한 약물 복용량 측정이 있다.

Studies using EHRs and medical claims data sources should include conceptual definitions for important study variables, including study population inclusion and exclusion criteria, exposure, outcome, and covariates. A conceptual definition should reflect current medical and scientific thinking regarding the variable of interest, such as: (1) clinical criteria to define a condition for population selection or as an outcome of interest or a covariate; or (2) measurement of drug intake to define an exposure of interest.

조작적 정의는 데이터 출처에서 가장 완전하고 정확한 데이터를 추출하기 위해 개념적 정의를 바탕으로 개발하여야 한다. EHR이나 의료 청구 데이터를 사용하는 많은 연구에서 조작적 정의는 정형 데이터 요소를 사용하는 코드 기반 전자 알고리즘이 될 것이다. 다른 연구에서는 조작적 정의가 비정형 데이터에서 관련 정보를 추출하거나 정형 및 비정형 데이터 요소를 결합한 알고리즘을 구성하여 도출될 수 있다. 조작적 정의는 적절한 경우 환자 설문 같은 추가 데이터 수집을 명시할 수도 있다.

An operational definition should be developed based on the conceptual definition to extract the most complete and accurate data from the data source. In many studies using EHRs or medical claims data, the operational definition will be a code-based electronic algorithm using structured data elements. In other studies, the operational definition may be derived from extracting relevant information from unstructured data or constructing an algorithm that combines structured and unstructured data elements. Operational definitions can also specify additional data collection, such as a patient survey, when appropriate.

조작적 정의는 대개 불완전하여 모든 대상자에 대해 관심 변수를 정확히 분류할 수 없으므로, 그로 인한 오분류는 위양성과 위음성(표 1)을 낳을 수 있고 노출과 결과 사이의 연관성을 특정 방향과 정도로 편향시킬 수 있다.¹⁶ 오분류는 모든 연구 변수(예: 노출, 결과, 공변량)에서 일어날 수 있다. 잠재적 오분류가 연구의 내적 타당성과 연구 추론에 주는 영향을 이해하는 것이, 필요한 확실성 수준에 근거하여 어떤 관심 변수를 어느 정도까지 밸리데이션해야 하는지 판단하는 핵심 단계이다. 예를 들어 약물 효과를 정량화하는 연구에서는 연관성을 정확히 측정하기 위해 내적 타당성을 최적화하고 주요 연구 변수의 오분류를 최소화하여야 한다.

Given that operational definitions are usually imperfect and cannot accurately classify the variable of interest for every subject, a resulting misclassification can lead to false positives and false negatives (Table 1) and may bias the association between exposure and outcome in a certain direction and degree.¹⁶ Misclassification may occur in any study variable (e.g., exposure, outcome, covariate). Understanding the implications of potential misclassification for study internal validity and study inference is the key step in determining what variables of interest might require validation and to what extent, based on the necessary level of certainty. For example, in a study to quantify a drug effect, internal validity should be optimized, and misclassification of key study variables should be minimized to accurately measure the association.

오분류가 있더라도 결과 해석이 바뀌지 않을 것으로 예상되는 일부 연구(예: 신호 검출, 또는 가설상 효과 크기가 크고 오분류가 연관성 측도에 미치는 영향이 미미하다고 판단되는 경우)에서는 어느 정도의 오분류를 감수할 수 있다.

Some misclassification might be tolerable in some studies when the presence of misclassification is not expected to change the interpretation of results (e.g., for signal detection, or when the hypothesized effect size is large and the impact of misclassification on the measure of association is deemed minimal).

관심 변수(예: 노출, 결과, 공변량)의 잠재적 오분류가 연관성 측도와 결과 해석에 어떤 영향을 줄 수 있는지 이해하기 위해 의뢰자는 다음을 고려하여야 한다. (1) 오분류의 정도, (2) 차별적 오분류와 비차별적 오분류(예: 결과의 오분류 정도가 비교 대상 치료군 사이에 다를 수 있는지), (3) 의존적 오분류와 독립적 오분류(예: 노출과 결과를 같은 설문에서 모두 자가 보고할 때 생기는 노출과 결과의 상관된 오분류), (4) 노출과 결과 사이의 연관성이 편향될 수 있는 방향.

To understand how potential misclassification of a variable of interest (e.g., exposure, outcome, covariate) might impact the measure of association and the interpretation of results, sponsors should consider: (1) the degree of misclassification; (2) differential versus non-differential misclassification (e.g., whether the degree of misclassification of an outcome may differ across treatment groups being compared); (3) dependent versus independent misclassification (e.g., correlated misclassifications of exposure and outcome when both are self-reported in the same survey); and (4) the direction toward which the association between exposure and outcome might be biased.

밸리데이션이란 연구 변수(예: 노출, 결과, 공변량)가 올바르게 측정되었는지를, 대개 기준 표준에 따라 판단하는 과정을 말한다(Porta, 2014). 밸리데이션 접근 방법의 예로는 (1) 모든 대상자에 대한 주요 연구 변수의 완전 검증¹⁷, (2) 조작적 정의에 따라 양성으로 식별된 모든 사람(예: 노출 상태에서 노출로 식별된 모든 사람, 또는 결과 상태에서 환자로 식별된 모든 사람)이나 음성으로 식별된 모든 사람(예: 노출 상태에서 비노출로 식별된 모든 사람, 또는 결과 상태에서 비환자로 식별된 모든 사람, 다만 반드시 모든 대상자일 필요는 없다)에 대한 연구 변수 검증, (3) 조작적 정의의 성능 평가(예: 제안된 연구의 연구 모집단 표본에서 내부적으로, 또는 이전 연구에서 외부적으로)가 있다.

Validation refers to the process of determining if a study variable (e.g., exposure, outcome, covariate) is correctly measured, usually according to a reference standard (Porta, 2014). Examples of validation approaches include: (1) complete verification¹⁷ of a key study variable for all subjects; (2) verification of a study variable for all those identified by an operational definition as positive (e.g., all those identified as exposed for exposure status, or all those identified as a case for outcome status), or as negative (e.g., all those identified as unexposed for exposure status, or all those identified as a non-case for outcome status, but not necessarily all subjects; or (3) assessing the performance of an operational definition (e.g., internally in a sample of the study population for the proposed study, or externally in a prior study).

밸리데이션에 필요한 노력의 정도는 필요한 확실성 수준과 잠재적 오분류가 연구 추론에 주는 영향에 따라 달라진다. 연구 변수의 완전 검증이 가장 엄격한 접근 방법으로 여겨지지만, 모든 대상자에 대해 주요 연구 변수를 검증하는 것이 실행 불가능하여(예: 연구 모집단이 매우 크거나, 모든 연구 대상자에 대한 기준 표준¹⁸ 데이터가 없는 경우) 변수의 조작적 정의 성능을 평가하는 것으로 충분할 수 있는 상황도 있다. 표 1에 기술된 성능 측도를 바탕으로 의뢰자는 변수를 더 넓은 범위로(예: 조작적 정의로 분류된 모든 양성) 밸리데이션할 필요가 있는지 검토하고, 관련 심사부서와 방안을 논의하여야 한다.

The extent of effort required for validation depends on the necessary level of certainty and the implication of potential misclassification on study inference. Although complete verification of a study variable is considered the most rigorous approach, there are scenarios where verifying a key study variable for every subject might not be feasible (e.g., a very large study population, lack of reference standard¹⁸ data for all study subjects) and assessing the performance of the variable’s operational definition might suffice. Based on the performance measures described in Table 1, sponsors should consider whether validating the variable to a greater extent (e.g., all positives classified by the operational definition) is necessary and discuss options with the relevant review division.

조작적 정의의 성능은 데이터 출처, 연구 모집단, 연구 기간, 기준 표준의 선택 등 여러 요인에 따라 달라지므로, FDA는 제안된 연구의 일부로서 타당한 표본 추출 방법(예: 무작위 표본 추출, 층화 표본 추출)을 사용하여 연구 모집단의 충분히 크고 대표성 있는 표본에서 조작적 정의의 성능을 평가할 것을 권고한다. 의뢰자가 이전 연구에서 평가된 조작적 정의를 사용하려 한다면, 이상적으로는 그 정의가 제안된 연구와 같은 데이터 출처, 비슷한 연구 모집단에서 평가된 것이어야 한다. 또한 질환, 진단, 코딩의 장기적 추세 때문에 보다 최근 데이터를 사용하여 조작적 정의를 평가해야 할 수 있다. 민감도, 특이도, 예측도를 확립하는 데 사용한 이전 연구의 질은 항상 평가하여야 한다.

Because the performance of an operational definition is dependent on various factors, such as data source, study population, study time frame, and choice of reference standard, FDA recommends assessing the performance of operational definitions in an adequately large and representative sample of the study population as part of the proposed study, using justified sampling methods (e.g., random sampling, stratified sampling). If sponsors propose to use an operational definition that has been assessed in a prior study, ideally, those definitions should have been assessed using the same data source and in a similar study population as the proposed study. In addition, secular trends in disease, diagnosis, and coding may necessitate assessment of the operational definition using more recent data. The quality of prior studies used to establish sensitivity, specificity, and predictive values should always be evaluated.

기준 표준의 선택은 연구 설계와 질문, 관심 변수, 필요한 확실성 수준에 따라 달라질 수 있다. 예를 들어 진단 코드나 자동화 알고리즘으로 식별된 임상 사건을 밸리데이션할 때에는 해당 분야 전문가의 의무기록(정형 및 비정형 데이터 포함) 검토가 선호되는 기준 표준이 될 수 있으며, 약국 조제 데이터에서 식별된 투약 노출의 타당성을 평가할 때에는 복약 일지를 사용할 수 있다. 그 밖의 예로는, 적절하다면, 국가 또는 주의 인구동태 통계 데이터 출처처럼 널리 인정되는 외부 기준 데이터 출처가 있을 수 있다. 때로는 선택한 기준 표준 자체에 중요한 한계가 있어 완전히 타당하지 않을 수 있으며, 이 경우 밸리데이션 결과를 해석할 때 주의하여야 한다.

Choice of a reference standard may vary by study design and question, variable of interest, and the necessary level of certainty. For example, subject matter experts’ review of medical records (including structured and unstructured data) may be a preferred reference standard for validation of clinical events identified by diagnosis codes or automated algorithms, or drug intake diary may be used to assess the validity of medication exposures identified in pharmacy dispensing data. Other examples may include broadly accepted external reference data sources, such as national or state vital statistics data sources, if appropriate. Sometimes the reference standard of choice itself may have important limitations and not be entirely valid, in which case caution should be used when interpreting validation results.

계획서에는 밸리데이션 접근 방법, 기준 표준, 방법, 과정, 표본 추출 전략(해당하는 경우)의 선택 근거를 포함하여 계획된 밸리데이션을 자세히 기술하여야 한다. 이전에 평가된 조작적 정의를 제안하는 경우에는 어떤 데이터 출처와 연구 모집단에서 어느 기간에 평가가 수행되었는지, 평가된 성능 측도의 값, 그리고 그 성능 측도를 제안된 연구에 적용할 수 있는지에 대한 논의를 포함한 추가 정보를 제공하여야 한다. FDA는 또한 오분류가 있다면 그것이 연구 결과에 영향을 주는지와 어떻게 영향을 주는지를 보여 주기 위해, 실행 가능성 평가를 위한 사전 분석으로, 또는 연구 결과 해석을 돕기 위해, 또는 두 목적 모두를 위해 정량적 편향 분석 같은 정량적 접근 방법을 사용할 것을 권고한다.

The protocol should include a detailed description of the planned validation, including justification for the choice of a validation approach, reference standard, methods, processes, and sampling strategy (if applicable). If a previously assessed operational definition is proposed, additional information should be provided, including in what data source and study population and during what time frame the assessment was conducted, the value of the assessed performance measures, and a discussion of whether the performance measures are applicable to the proposed study. FDA also recommends using quantitative approaches, such as quantitative bias analyses, either a priori for feasibility assessment, or to facilitate interpretation of study results, or for both purposes, to demonstrate whether and how misclassification, if present, might impact study findings.

계획서에는 편향 정량화에 사용할 지표(예: 민감도, 특이도)를 미리 정하고, 선택한 지표를 밸리데이션 중에 어떻게 측정할지 기술하여야 한다.

The protocol should pre-specify the indices (e.g., sensitivity, specificity) that will be used for quantifying bias and describe how the selected indices will be measured during validation.

연구 설계 요소의 밸리데이션에 관한 추가 논의는 V.C.5항 「노출의 밸리데이션」, V.D.3항 「결과의 밸리데이션」, V.E.3항 「교란변수와 효과 수정인자의 밸리데이션」을 참조한다.

For further discussion about the validation of study design elements, see section V.C.5, Validation of Exposure; section V.D.3, Validation of Outcomes; and section V.E.3, Validation of Confounders and Effect Modifiers.

연구 설계 요소의 확인과 밸리데이션은 아래에서 자세히 논의한다. 먼저 관심 연구 질문을 정하고, 그다음 그 질문을 다루기에 가장 적절한 데이터 출처와 연구 설계를 결정하여야 한다. 특정 데이터 출처의 한계가 연구 설계의 선택지를 제한하고 도출할 수 있는 추론을 제한할 수 있으므로, 연구를 특정 데이터 출처에 맞추어 설계해서는 안 된다.

The ascertainment and validation of study design elements are discussed in detail below. The study questions of interest should be established first, and then the data source and study design most appropriate for addressing these questions should be determined. The study should not be designed to fit a specific data source, because the limitations of a specific data source may restrict the options for study design and limit the inferences that can be drawn.

FDA는 연구 설계와 관련된 여러 기간(예: 연구 모집단 식별, 선정 및 제외 기준 정의, 노출 평가, 결과 평가, 공변량 평가, 환자 추적 기간, 해당하는 경우 '휴약(washout)' 기간)을 계획서에 명확히 정의할 것을 권고한다. 시간 척도의 초점(예: 달력 시간, 연령, 노출 후 경과 시간)은 연구 질문에 답하는 데 필요한 시간 단위(예: 연, 월, 일, 시, 분)의 데이터 가용성에 관한 충분한 세부 정보와 함께 명시적으로 기술하여야 한다.

FDA recommends clearly defining the various time periods pertinent to the study design in the protocol (e.g., time periods for identifying study population, defining inclusion and exclusion criteria, assessing exposure, assessing outcome, assessing covariates, following up with patients, “washout” time period if applicable). The focus of the time scale (e.g., calendar time, age, time since exposure) should be explicitly described with adequate detail on data availability of the time unit (e.g., year, month, day, hour, minute) required to answer the study question.

계획서는 제안된 기간에 대한 데이터의 가용성, 정확성, 완전성과 그것이 연구 타당성에 줄 수 있는 영향을 입증하여야 한다. 예를 들어 노출 전 기간의 데이터가 연구 모집단과 중요한 기저 공변량을 식별하기에 어떻게 충분한지, 또는 추적 기간의 데이터가 결과(예: 잠복기가 긴 사건)가 노출과 연관되어 있다면 발생할 것으로 예상되는 생물학적으로 타당한 기간을 고려하기에 어떻게 충분한지에 대한 근거를 제시하여야 한다. 제안된 결과 정의가 질환 발병(예: 초기 증상)과 확진을 구분하는 경우에는 질환 발병 시점을 정확히 포착할 수 있는지(예: 서서히 진행하는 질환)에 대한 근거를 제시하여야 한다.

The protocol should demonstrate the data availability, accuracy, and completeness for the proposed time periods and the potential impact on study validity. For example, justification should be provided regarding how data for the time period before exposure are adequate for identifying the study population and the important baseline covariates, or for the follow-up period to consider the biologically plausible time frame when the outcome (e.g., long latency events), if associated with the exposure, might be expected to occur. When the proposed outcome definition distinguishes disease onset (e.g., early symptoms) from a confirmed diagnosis, justification should be provided regarding whether the timing of disease onset can be accurately captured (e.g., for an insidious disease).

또한 연구 설계에 시간가변 공변량이 포함되는 경우에는 관심 변수의 변화를 포착할 시간 단위의 데이터 가용성을 기술하여야 한다(예: 영아 대상 연구에서 시간가변 공변량으로서의 월 단위 연령). 계획서는 또한 표준 진료, 다른 치료의 가용성, 진단 기준의 잠재적 시간적 변화와 연구 변수 데이터의 정확성 및 완전성에 관련된 그 밖의 모든 요인을 다루어야 한다. 예를 들어 팬데믹 기간 중의 의료 이용 회피나 의료 접근 제한은 팬데믹 기간 중 또는 이후의 RWD를 사용하는 연구에서 환자의 기저 질환 평가에 나쁜 영향을 줄 수 있다. 그 밖의 관련 요인으로는 처방집 변경, 단계적 치료, 검사실 분석법 변경 같은 지불자나 의료 제공자의 정책(알려진 경우)이 있을 수 있다.

In addition, when the study design involves time-varying covariates, description should be provided regarding the data availability of the time unit to capture the changes of the variable of interest (e.g., age in month as a time-varying covariate in a study among infants). The protocol should also address potential temporal changes in the standard of care, the availability of other treatments, diagnosis criteria, and any other relevant factors that are pertinent to the accuracy and completeness of data for study variables. For example, healthcare avoidance or limited access to healthcare during a pandemic may adversely impact the assessment of patients’ underlying conditions for studies using RWD during or after the pandemic. Other relevant factors may include payer or provider policies (if known), such as formulary changes, step therapy, and laboratory assay changes.

연구 접근 방법을 개발하기 전에 의뢰자는 그러한 잠재적 시간적 변화를 포착할 수 있는 데이터의 능력과 잠재적 시간적 변화가 내적 타당성에 미치는 영향을 관련 FDA 심사부서와 논의하여야 한다.

Before developing the study approach, sponsors should discuss with the relevant FDA review division the capability of data to capture such potential temporal changes and the impact of the potential temporal changes on internal validity.

계획서에는 데이터 출처에서 선정 및 제외 기준(예: 인구학적 요인, 의학적 상태, 질환 상태, 중증도, 바이오마커)을 충족하는 적절한 환자를 식별하기 위해 그 기준을 어떻게 적용할지 결정하는 방법을 자세히 기술하여야 한다. 계획서에는 데이터 출처에서 적격 연구 모집단을 식별하기 위한 선정 및 제외 기준의 조작적 정의를 자세히 기술하여야 한다.

The protocol should include a detailed description of methods for determining how inclusion and exclusion criteria (e.g., demographic factors, medical condition, disease status, severity, biomarkers) will be implemented to identify appropriate patients meeting these criteria from the data source. The protocol should include a detailed description of operational definitions for inclusion and exclusion criteria to identify the eligible study population from the data source.

연구 모집단의 식별은 진단 및 시술 코드(예: 국제질병분류(International Classification of Diseases, ICD)-9-CM, ICD-10), 검사실 검사(예: LOINC(Logical Observation Identifier Names and Codes))와 그 값, 또는 비정형 데이터(예: 의사의 진료 기록, 영상의학 및 병리 보고서) 같은 여러 데이터 필드에 기록된 정보에 의존할 수 있다. 계획서는 선정 및 제외 기준을 충족시키기 위해 제안된 데이터 출처에서 수집된 정보의 정확성과 완전성을 다루어야 한다.

The identification of the study population may rely on information recorded in multiple data fields such as diagnosis and procedure codes (e.g., International Classification of Diseases (ICD)-9-CM, ICD-10), laboratory tests (e.g., Logical Observation Identifier Names and Codes (LOINC)) and values, or unstructured data (e.g., physician’s encounter notes, radiology and pathology reports). The protocol should address the accuracy and completeness of the information collected in the proposed data source to fulfill the inclusion and exclusion criteria.

연구 모집단 선정에 사용하는 주요 선정 및 제외 기준의 조작적 정의는 밸리데이션하여야 한다. 한 예로, 면역성 혈소판감소성 자반증 환자에서 약물 효과를 평가하기 위해 조작적 정의인 ICD-9-CM 진단 코드 287.31 또는 ICD-10 코드 D69.3으로 확인한 질환은 징후와 증상, 혈소판 수치, 혈소판감소증의 다른 가능한 원인 배제를 포함하는 그 질환의 개념적 정의에 근거하여 밸리데이션하여야 한다.

Operational definitions of key inclusion and exclusion criteria used to select the study population should be validated. As one example, to assess the drug effect in patients with immune thrombocytopenic purpura, the disorder ascertained by operational definition ICD-9-CM diagnosis code 287.31 or ICD-10 code D69.3 should be validated based on the conceptual definition of the disorder, which includes signs and symptoms, levels of platelets, and exclusion of other possible causes of thrombocytopenia.

특정 상황에서는 주요 선정 및 제외 기준(예: 임신 연구의 재태 연령)이 진료 현장에서 의료 제공자가 기록한 정보로 생성될 수 있다. 예를 들어 의료 제공자는 환자가 스스로 보고한 마지막 월경일, 초음파 날짜 측정, 그 밖의 관련 정보를 바탕으로 계산한 재태 연령을 EHR에 입력할 수 있다. 이러한 데이터를 사용하는 경우 계획서에 정보의 출처와 의료 제공자가 그 데이터를 생성하는 방법(알려진 경우)을 기술하여야 한다.

In certain circumstances, key inclusion and exclusion criteria (e.g., gestational age for pregnancy studies) may be generated by the information recorded at the point of care by the health care providers. For example, health care providers may enter the calculated gestational age in EHRs based on patient self-reported last menstrual period, ultrasound dating, and other relevant information. If such data are used, the protocol should describe the source of information and the methods health care providers use to generate the data (if known).

FDA는 또한 선정 및 제외 기준의 오분류가 있다면 그것이 연구 결과에 영향을 주는지와 어떻게 영향을 주는지를 보여 주기 위해 계획서에 정량적 편향 분석 같은 정량적 접근 방법을 포함할 것을 권고한다. 이 접근 방법은 실행 가능성 평가를 위한 사전 분석으로, 연구 결과 해석을 돕기 위해, 또는 두 목적 모두를 위해 적용할 수 있다. 계획서에는 편향 정량화에 사용할 지표(예: 민감도, 특이도)를 미리 정하고, 선택한 지표를 주요 선정/제외 기준 밸리데이션에서 어떻게 측정할지 기술하여야 한다.

FDA also recommends including quantitative approaches, such as quantitative bias analyses, in the protocol to demonstrate whether and how misclassification of inclusion and exclusion criteria, if present, might impact study findings. The approach can be applied a priori for feasibility assessment, to facilitate interpretation of study results, or for both purposes. The protocol should pre-specify the indices (e.g., sensitivity, specificity) that will be used for quantifying bias and describe how the selected indices will be measured in key inclusion/exclusion criteria validation.

중재 연구에서는 노출 배정이 문서화되므로, EHR이나 의료 청구 데이터에서의 노출 확인에 관해 이 항에서 논의하는 고려사항은 주로 비중재 연구에 적용된다.

Considerations discussed in this section regarding exposure ascertainment in EHRs or medical claims data primarily apply to noninterventional studies, given that the assignment of exposure is documented in interventional studies.

이 가이던스에서 노출이라는 용어는 제안된 연구에서 평가하는 관심 의료제품이나 요법에 적용된다. 관심 제품을 치료라고 하며, 무치료, 위약, 표준 진료, 다른 치료 또는 이들의 조합과 비교할 수 있다. 연구 결과에 영향을 줄 수 있는 그 밖의 변수는 공변량으로 보며, V.E항 「공변량의 확인 및 밸리데이션」에서 논의한다. 노출 정의에는 연구 대상 제품의 투여량, 제형, 함량, 투여 경로, 시점, 빈도, 사용 기간에 관한 정보(관련되는 경우)가 포함되어야 한다. 제품의 특정 제조업자를 기술해야 할 수도 있다(예: 백신의 고유명칭(proper name)을 여러 제조업자가 사용하는 경우).

For the purposes of this guidance, the term exposure applies to the medical product or regimen of interest being evaluated in the proposed study. The product of interest is referred to as the treatment, and may be compared to no treatment, a placebo, standard of care, another treatment, or a combination of the above. Other variables that could affect the study outcome are considered covariates and are discussed in section V.E, Covariate Ascertainment and Validation. The exposure definition should include information about the drug dose, formulation, strength, route, timing, frequency, and duration of use for the product studied (if relevant). It may also be necessary to describe the specific manufacturer of a product (e.g., when a proper name for a vaccine is used by different manufacturers).

노출에 관한 기술에는 제품의 의도된 사용 또는 처방된 사용(예: 횟수, 빈도, 투여 경로, 구체적 용량), 노출 시작부터 효과를 합리적으로 기대할 수 있는 가장 이른 시점까지의 기간, 그리고 예상되는 효과 지속 기간이 포함되어야 한다. 이를 위해서는 대개 약물의 약리학적 특성(예: 반감기)과 작용기전에 대한 이해가 필요하다. 예를 들어 골다공증을 예방하기 위한 1회 주입은 수개월 동안 효과가 있을 수 있다. V.C.3항 「노출의 확인: 기간」과 V.C.4항 「노출의 확인: 용량」을 참조한다.

The description of exposure should include the intended or prescribed use of the product (e.g., the number, frequency, route of administration, and specific doses), the period between initiation of exposure and the earliest time one might reasonably expect to see an effect, and the expected duration of effect. This will usually require an understanding of the pharmacological properties (e.g., half-life) and mechanism of action of the drug —for example, that a onetime infusion to prevent osteoporosis may have an effect for several months. See section V.C.3, Ascertainment of Exposure: Duration, and section V.C.4, Ascertainment of Exposure: Dose.

의뢰자는 제안된 데이터 출처에서 특정 관심 제품을 식별할 수 있음을 입증할 수 있어야 하며, 데이터 출처에 특정 관심 제품을 (예: 특정 코딩을 통해) 식별할 수 있게 하는 데이터 필드와 코드가 있음을 보여 주어야 한다. 예를 들어 하나의 청구 코드가 여러 백신에 쓰이는 시스템처럼, 청구 코드나 진단 코드만으로 특정 백신 제형을 추론하는 것이 항상 가능하지는 않다. 계획서에는 사용한 코딩 체계, 표현되는 세분화 수준(예: 국가의약품코드(National Drug Code, NDC)에 매핑된 RxNorm 개념 고유 식별자(CUI) 사용), 그리고 그 코딩 체계로 달성한 특이성을 기술하여야 한다.

Sponsors should be able to demonstrate an ability to identify the specific products of interest in the proposed data source, demonstrating that the data source contains data fields and codes that allow identification of the specific products of interest (e.g., through specific coding). For example, it is not always possible to infer a specific vaccine formulation from the billing or diagnostic code alone, such as in systems where a single billing code is used for multiple vaccines. The protocol should describe the coding system used, the level of granularity represented (e.g., using RxNorm concept unique identifiers (CUIs) mapped to the National Drug Code [NDC] codes), and the specificity attained by the coding system.

코드화된 데이터에 의존하는 경우, 노출의 조작적 정의는 선정된 데이터 출처의 코딩 체계에 근거하여야 하며, 그 데이터 출처에서 시간에 따른 약물의 처방, 전달, 보상 특성(해당하는 경우)에 대한 이해를 반영하여야 한다. 예를 들어 미국에서는 다양한 환경에서의 약물 사용을 포착하기 위해 조작적 정의에 적절한 약국 코드(NDC나 HCPCS(Healthcare Common Procedure Coding System) 또는 그 밖의 해당 코드)를 포함하여야 한다. 이 접근 방법은 입수 경로에 따라 서로 다른 코드가 부여될 수 있는 경구용이 아닌 약물의 경우 특히 중요하다.

When relying on coded data, the operational exposure definitions should be based on the coding system of the selected data source and reflect an understanding of the prescription, delivery, and reimbursement characteristics of the drug (if applicable) in that data source over time. For example, in the United States, the operational definition should include the appropriate pharmacy codes (NDC or Healthcare Common Procedure Coding System (HCPCS) or other applicable codes) to capture the use of the drug in various settings. This approach is particularly important in the case of non-oral drugs that may be assigned different codes depending on how they are obtained.

예를 들어 주사제를 사용하는 환자는 약국에서 약을 받을 수 있으며 이 경우 NDC 코드가 기록되고, 또는 의료 제공자가 투여할 수 있으며 이 경우 약물과 그 투여가 HCPCS J 코드로 기록된다.¹⁹

For example, patients using an injectable drug can obtain it from the pharmacy, in which case the NDC code would be recorded, or it can be administered by the provider, in which case the drug and its administration would be recorded using the HCPCS J code.¹⁹

비정형 데이터와 정형 데이터의 정보를 결합할 때에도 조작적 정의와 방법을 보고하는 것이 필수적이다. 새로 등장하는 방법에는 의무기록의 비정형 정보를 약국 조제 데이터, 의사 처방 데이터 및 기록과 함께 검토하여, 어떤 사람이 관심 약물을 처방받고 실제로 받았는지, 그리고 환자가 그 약물을 계속 복용하는 데 문제가 있는지를 평가하는 방법이 포함될 수 있다. 이러한 방법의 예는 통상 진료로 대장내시경을 받은 재향군인 대상 후향적 코호트 연구에서 아스피린 노출을 확인한 사례에서 볼 수 있다(Bustamante et al. 2019).

It is also essential to report operational definitions and methods when combining information from unstructured and structured data. Emerging methods may involve review of unstructured information in medical records combined with pharmacy dispensing and physician prescribing data and notes to provide an assessment of whether a person was prescribed and received the medication of interest, as well as whether there are problems with the patient continuing the medication. An example of such methods is found in ascertainment of aspirin exposure in a retrospective cohort study of veterans undergoing usual care colonoscopy (Bustamante et al. 2019).

의료 청구 데이터 출처를 사용할 때에는, 포착되지 않은 처방이 연구에 관련된 노출이라면 보험 청구와 연결되지 않은 조제 처방이 있을 수 있다는 점을 고려하는 것이 중요하다. 포착되지 않는 처방에는 저가 제네릭의약품, 할인 프로그램으로 입수한 약물, 제약회사가 제공하고 의료 제공자가 내준 견본품, 인터넷으로 판매된 약물이나 환자가 본인 부담으로 구입한 약물이 포함될 수 있다. 개인은 해당 의료 시스템 밖에서 진료를 받을 수 있으며, 시스템 밖 의료 제공자가 처방한 약물에 대한 노출은 EHR에 포착되지 않는다. 마지막으로, 비처방 의약품과 건강기능식품(dietary supplements)은 일반적으로 전자 의료 데이터베이스에 포착되지 않거나 잘 포착되지 않는다.

When using a medical claims data source, it is important to consider that there could be dispensed prescriptions that were not associated with insurance claims if these uncaptured prescriptions are relevant exposures for the study. Uncaptured prescriptions might include low-cost generic drugs, drugs obtained through discount programs, samples provided by pharmaceutical companies and dispensed by health care providers, and drugs sold via the internet or patient out-of-pocket purchases. An individual can seek care outside of the healthcare system(s), and exposure to medication prescribed by out-of-system providers would not be captured in the EHR. Lastly, nonprescription drugs and dietary supplements are not generally captured, nor well-captured in electronic health care databases.

노출 확인이 불완전할 가능성과 그것이 연구 타당성에 미치는 영향을 다루는 것이 중요하며, V.C.5항 「노출의 밸리데이션」을 참조한다.

It is important to address the likelihood of incomplete exposure ascertainment and its effect on study validity, see section V.C.5, Validation of Exposure.

데이터 출처는 관련 노출 기간(시간에 따른 제품의 예상 사용)을 포착하여야 한다. 어떤 의료제품은 1회 노출로 설계되고(예: 백신) 다른 제품은 장기간 사용하도록 의도될 수 있으므로, 데이터 출처의 적합성은 조사 대상인 특정 의료제품이나 그 제품이 치료하려는 질환(예: 급성 대 만성 질환, 매일 치료 대 필요시 치료, 예방 대 적극적 치료)에 따라 달라진다. FDA는 노출 기간과 함께, 관심 결과에 대하여 노출이 효과를 나타내는 기간을 기술할 것을 권고한다. 기간은 연구 질문에 따라 연속 노출 또는 누적 노출을 뜻할 수 있다. 어떤 제품은 즉각적이거나 거의 즉각적인 효과가 예상되고, 다른 제품은 일정 시간이 지난 뒤 효과가 예상된다(예: 뼈 강도를 높이는 약물).

The data source should capture the relevant exposure duration (anticipated use of a product over time). Given that some medical products are designed as onetime exposures (e.g., vaccines), and other products may be intended for use over extended periods of time, the suitability of a data source will vary with the specific medical product under investigation or the medical conditions the product is intended to treat (e.g., acute versus chronic conditions, treated daily versus as needed, or prophylaxis versus active treatment). FDA recommends describing the duration of exposure as well as the period during which the exposure is having its effect relative to the outcome of interest. Duration may refer to continuous exposure or cumulative exposure, depending on the study question. For some products, an immediate or near-immediate effect is expected; for other products, an effect is expected after a time interval (e.g., drugs that promote bone strength).

FDA는 약물 효과가 나타날 수 있는 전체 기간을 포함하도록 치료 중단 후 약물 효과가 지속되는 기간을 고려할 것을 권고한다. 예를 들어 백신 효과는 접종 후 수년간 지속될 수 있으며, 그 기간 동안 사람들은 노출된 것으로 간주될 수 있다. 반면 항응고제의 효과는 수 시간 또는 수일을 넘지 않을 수 있다. FDA는 또한 노출 기간 추정에 선택한 단위(예: 시간, 일)의 타당성을 제시하고, 데이터가 그 단위로 이용 가능한지 확인할 것을 권고한다.

FDA recommends considering the duration of continued drug effect after treatment discontinuation to include the entire period in which the drug effect may occur. For example, a vaccine effect may persist for years after vaccination, and persons might be considered exposed during that period. On the other hand, an anticoagulant’s effects may not extend beyond several hours or days. FDA also recommends justifying the units (e.g., hours, days) selected for estimating the duration of exposure and ensuring the data are available in those units.

환자가 처방약을 정확히 제때 재조제하지 않거나, 반대로 일찍 재조제할 수 있으므로 치료 공백이나 비축이 생길 수 있고 이는 조제 의료 청구 데이터에 반영될 수 있다.²⁰ FDA는 연구가 사용을 어떻게 측정할지, 데이터 출처에 있을 수 있는 치료 공백을 어떻게 다룰지, 조기 재조제가 있을 때 재조제 비축을 어떻게 처리할지를 계획서에 기술하고 그 타당성을 제시할 것을 권고한다. 간헐적 치료(예: 필요할 때 통증 치료에 쓰는 약물)와 환자에게 견본품이 자주 제공되는 치료(예: 고가 약물, 새로 출시된 약물)는 실제 노출과 노출 기간을 정확히 평가하기 어렵게 하며, V.C.5항 「노출의 밸리데이션」을 참조한다.

Because patients may not refill their prescriptions exactly on time or, alternatively, may refill their prescriptions early, gaps or stockpiling in therapy may exist and may be reflected in the dispensing medical claims data.²⁰ FDA recommends describing and justifying in the protocol how the study will measure use, address potential gaps in therapy in the data source, and handle refill stockpiling if there are early refills. Intermittent therapies (e.g., drugs used to treat pain on an as-needed basis) and therapies for which samples are often provided to patients (e.g., expensive drugs, drugs that are new to the market) present challenges in accurately assessing the actual exposure and duration of exposure, see section V.C.5, Validation of Exposure

노출에 관한 데이터에는 용법·용량에 관한 정보(예: 함량, 투여 빈도, 투여 경로)가 포함되어야 한다. 노출과 연구의 관심 질문에 따라, 각 투여의 용량 또는 1일 용량과 함께 추정 누적 용량(즉, 지정된 기간 동안 환자에게 투여된 관심 약물의 총량)을 기술하는 것이 유용할 수 있다.

Data about exposure should include information about dosing regimen (e.g., strength, dosing frequency, route of administration). Depending on the exposure and the question of interest in the study, it may be useful to describe the dose of each administration or a daily dose, as well as an estimated cumulative dose (i.e., the total amount of the drug of interest given to a patient over a specified period of time).

데이터 출처에 제공된 용량 정보에서 출발한 뒤, 특히 소아 환자의 경우 관심 노출의 용량을 추정할 때 둔 구체적인 가정을 계획서나 연구 보고서에서 논의하는 것이 합리적이다. V.C.6항 「특정 집단에서의 용량」을 참조한다. 데이터 출처는 용법·용량 외에도, 특히 제품에 여러 제형이 있는 경우 환자의 1일 총용량을 결정할 수 있도록 제형(예: 경구용 액제 대 주사용 액제)을 포함한 상세하고 완전한 약물 기술 정보를 제공하여야 한다.

It is reasonable to begin with the dose information provided in the data source, and then discuss in the protocol or study report the specific assumptions made when estimating the dose of the exposures of interest, especially for pediatric patients. See section V.C.6, Dosing in Specific Populations. In addition to the dosing regimen, the data source should provide detailed and complete drug description information, including dosage formulation (e.g., oral solution versus injectable solution) to determine a patient’s total daily dose, especially if the product has multiple formulations available.

병원이나 주입 환경에서 투여되는 약물을 제외하면, 전자 의료 데이터는 약물 처방과 환자에 대한 약물 조제를 포착하지만, 실제 환자의 약물 노출이나 용량 소비는 일반적으로 포착하지 않는데, 이는 환자가 처방대로 치료제를 받아 사용하는지에 달려 있기 때문이다. 또한 의료 제공자가 새 처방 없이 진료 방문이나 전화로 환자에게 용량 조정을 지시하면, 의료 청구 데이터는 기존 치료의 용량 조정을 포착하지 못한다. 기존 치료의 용량 조정은 그 변경이 환자 기록에 적히지 않았다면 EHR에서도 누락될 수 있다.

Other than for medications administered in hospital settings or infusion settings, electronic health care data capture prescriptions of drugs and the dispensing of drugs to patients, but generally do not capture actual patient drug exposure or dose consumption because this depends on patients obtaining and using the therapy as prescribed. Additionally, medical claims data do not capture dose adjustment of an existing treatment if the provider instructs patients in a clinic visit or by phone to adjust the dose without writing a new prescription. Dose adjustment for an existing treatment can be missed in the EHRs if the change was not noted in the patient’s record.

밸리데이션은 이상적으로는 제안한 데이터 출처의 노출 분류를 기준 데이터 출처와 비교하는 것으로,²¹ 연구 타당성에 미치는 영향을 정성적 또는 정량적으로 평가하는 데 사용할 수 있는 오분류 추정치를 산출한다. 밸리데이션은 개념적 정의와 조작적 정의를 정하는 것에서 시작할 수 있다. 예를 들어 특정 연구에서 약물 X의 신규 사용을 정의하려면, 개념적 정의는 “약물 X를 시작하였고 지난 365일 동안 약물 X에 노출된 적이 없음”이 될 수 있고, 조작적 정의는 “약물 X에 대한 외래 처방 청구(NDC 코드 xxx로 식별)가 1건 이상 있고, 그 처방의 조제일 전 365일 동안 약물 X에 대한 청구가 없음”이 될 것이다.

Validation ideally involves a comparison of the exposure classification in the proposed data source with a reference data source,²¹ and produces estimates of misclassification that can be used in qualitative or quantitative assessments of the impact on study validity. Validation might begin with defining the conceptual and operational definitions. For example, to define new use of drug X in a particular study, the conceptual definition may be “initiation of drug X and no exposure to drug X in the past 365 days,” and the operational definition would be “at least one outpatient prescription claim for drug X (identified by NDC code xxx), and no claims for drug X in 365 days before the dispensing date of the prescription.”

외래 환경에서 사용하는 처방약의 경우, 조제 또는 청구 데이터는 처방이 실제로 조제되었음을 기록하므로 약물 노출을 반영하는 데 대부분의 EHR보다 더 정확한 경향이 있다. 이런 경우 의료 청구 데이터를 검토하여 EHR 처방 데이터를 밸리데이션하는 것이 타당할 수 있다. 의료 현장에서 투여하는 약물(예: 백신, 주사제, 혈액제제)의 경우, EHR에 기록된 투여 정보가 의료 청구 기록에서 얻을 수 있는 정보보다 더 완전할 수 있다. 이런 경우에는 EHR을 검토하여 의료 청구 데이터를 밸리데이션하는 것이 유용할 수 있다.

For prescribed medications used in outpatient settings, dispensing or billing data would tend to be more accurate than most EHRs in reflecting exposure to a drug by documenting that the prescriptions were filled. In such cases, validation of EHRs prescribing data by examining medical claims data may be warranted. For drugs administered in the health care setting (e.g., vaccines, injectables, blood products), administration recorded in the EHRs may provide more complete information than is available in medical claims records. In these cases, it may be useful to validate medical claims data by examining the EHRs.

기준 데이터 출처를 이용할 수 없는 특정 상황에서는, 같은 집단에서 수행했거나 문헌에 발표된 추가 연구가 노출 상태의 잠재적 오분류 추정치를 제공할 수 있다(예: 약물 복용을 평가하기 위한 연구 참여자 설문, 약국·직장·학교에서 예방접종을 받은 사람 수에 관한 발표 보고).

In certain situations, when reference data sources are not available, additional studies conducted in the same population or published in the literature can provide estimates of potential misclassification of exposure status (e.g., survey of study participants to assess intake of drug, published reports of numbers of people obtaining vaccinations through pharmacies/workplaces/schools).

FDA는 기간, 용량, 제품 전환 및 그 밖의 노출 특성을 계산하고 밸리데이션하는 데 사용한 방법을 문서화할 것을 권고한다. 밸리데이션과 오분류 문제는 적절한 연구 문서에서 다루어야 한다. FDA는 또한 노출 오분류가 있을 경우 그것이 연구 결과에 영향을 미치는지, 어떻게 미치는지를 보여 주기 위해 정량적 편향 분석과 같은 정량적 접근 방법을 계획서에 포함할 것을 권고한다. 이 접근 방법은 타당성 평가(feasibility assessment)를 위해 사전에 적용하거나, 연구 결과의 해석을 돕기 위해 적용하거나, 두 목적 모두를 위해 적용할 수 있다. 계획서에는 편향을 정량화하는 데 사용할 지표(예: 민감도, 특이도)를 사전에 규정하고, 선택한 지표를 노출 밸리데이션에서 어떻게 측정할지 기술하여야 한다.

FDA recommends documenting the methods used to calculate and validate duration, dose, product switching, and other characteristics of exposure. Validation and misclassification issues should be addressed in appropriate study documents. FDA also recommends including in the protocol quantitative approaches, such as quantitative bias analyses, to demonstrate whether and how exposure misclassification, if present, might impact study findings. The approach can be applied a priori for feasibility assessment, to facilitate interpretation of study results, or for both purposes. The protocol should pre-specify the indices (e.g., sensitivity, specificity) that will be used for quantifying bias and describe how the selected indices will be measured in exposure validation.

처방, 조제 또는 투여된 용량에 관한 밸리데이션된 정보를 보고하는 것 외에도, 특정 집단에서 용량이 적절했는지(예: 유의한 과소 투여나 과다 투여가 있었는지)를 평가할 수 있도록 추가 정보가 필요할 수 있다. 예를 들어 신기능이 저하된 환자의 경우, 제품 표시기재(labeling)에 근거한 권장 용량이 사용되었는지 판단하기 위해 혈청 크레아티닌, 크레아티닌 청소율 또는 추정 사구체여과율 측정값을 확인할 수 있어야 할 수 있다. 또 다른 예는 소아 집단에서 노출을 평가하는 경우로, 이때는 환자의 체중을 확보하고 체중 범주별로 용량을 기술해야 할 수 있다. 용량을 적절히 평가하기 위한 추가 데이터의 필요성은 청구 데이터에서 더 자주 생길 수 있지만, 필요한 데이터가 없다면 EHR을 사용할 때에도 생길 수 있다.

In addition to reporting validated information about the dose prescribed, dispensed, or administered, additional information may be necessary to permit an assessment of whether dosing was appropriate for specific populations (e.g., if there was significant underdosing or overdosing). For example, for patients with compromised renal function, it may be necessary to have access to measurements of serum creatinine, creatinine clearance, or estimated glomerular filtration rate to determine whether the recommended dose based on product labeling was used. Another example is when assessing exposure in pediatric populations where it may be necessary to obtain the patient’s weight and describe the dose within weight categories. The need for additional data to permit appropriate assessment of dosing may occur more frequently with claims data, but can also occur when using EHRs, if necessary, data are absent.

대조 데이터를 제공하는 환자는 계획서에 명확하고 충분히 상세하게 정의되어야 한다. 계획서에는 (1) 대조 데이터의 출처와 (2) 기간(대조군이 치료군과 동시대가 아닌 경우)을 선택한 이유를 논의하여야 한다. 대조 약물은 질환 안의 구체적인 적응증, 금기, 안전성 프로파일, 사용자의 질환 중증도나 동반질환뿐 아니라 그 밖의 환자·의사·의료 시스템 특성(예: 질환 발생 대비 노출 시점, 질환 상태, 이전 치료, 환자의 사회경제적 지위, 의사의 처방 행태, 특정 의료 시스템에 따른 약물 입수 가능성과 치료 지침 등)에서 관심 제품과 다를 수 있으므로, FDA가 노출 집단과 대조 집단의 비교 가능성을 평가할 수 있도록 충분한 데이터를 확보하는 것이 중요하다.

The patients providing comparator data should be defined clearly and with adequate detail in the protocol. The protocol should discuss the reasoning for selecting the: (1) source of comparator data; and (2) the time period (if the comparator group is not concurrent with the treatment group). Because a comparator agent may differ from the product of interest in specific indication within a disease, contraindication, safety profile, or user’s disease severity or comorbidity, as well as other patient, physician, and healthcare system characteristics (e.g., timing of exposure relative to the onset of disease, disease status, prior treatment, patient’s socioeconomic status, physician’s prescribing behavior, drug availability and treatment guideline based upon particular healthcare system, etc.), it is important to ensure adequate data are available for FDA to assess the comparability of the exposed and comparator populations.

관련 병용약물 사용(예: 병용요법 구성 약물, 표준 치료 요법 등)은 데이터 출처에서 기술하고 확인하여야 한다. 연구의 병용약물 사용 정의는 상세히 기술하여야 한다. 병용약물 사용의 정의에는 약물이 같은 날 조제된 경우, 약물의 투약일수가 겹치는 경우, 또는 연구 기간 동안 환자가 두 가지 이상의 약물 처방을 조제받은 경우가 포함될 수 있다. 병용약물 확인의 한계(예: 비처방 의약품)도 기술하여야 한다.

Relevant concomitant medication use (e.g., combination therapy components, standard of care therapy, etc.) should be described and ascertained from the data source. A study’s definition of concomitant medication use should be described in detail. Definitions of concomitant medication use might include instances when drugs are dispensed on the same day, when drugs have overlapping days’ supply, or when patients have filled prescriptions for two or more drugs during the study period. Limitations to ascertainment of concomitant drugs (e.g., nonprescription drugs) should also be described.

데이터 출처를 선정할 때 결정적인 단계는 그 출처가 관심 임상 결과를 포착하는지 판단하는 것이다. 전자 의료 데이터는 대개 의료 전문가가 인지하여 의무기록에 기록한 결과를 포착하므로, 가벼운 증상이나 의료 밖에서 일어난 사건(예: 병원 밖 사망)을 나타내는 결과는 일반적으로 잘 포착되지 않는다. 반대로 뚜렷이 구분되는 결과나 급성 사건(예: 뇌졸중, 심근경색, 새 감염)은 새 진단 코드로 식별되지 않을 수 있는 기존 문제의 악화(예: 우울증, 건선, 관절염)보다 포착될 가능성이 크다. 일반적으로 결과가 포착될 가능성은 질환 유형과, 환자가 의무기록에 추가 정보가 기록되게 할 수 있는 의료 전문가와의 진료를 얼마나 지속적으로 갖는지에 따라 달라질 수 있다.

A crucial step in selecting a data source is determining whether it captures the clinical outcome of interest. Because electronic health care data typically capture outcomes that are brought to the attention of a health care professional and documented in the medical record, outcomes representing mild symptoms or events occurring outside of medical care (e.g., out-of-hospital death) will not generally be well-captured. Conversely, discrete outcomes or acute events (e.g., stroke, myocardial infarction, new infection) are more likely to be captured than worsening of existing problems (e.g., depression, psoriasis, arthritis) that may not be discerned by a new diagnosis code. In general, the likelihood of capturing outcomes may vary by disease type and the extent to which the patient has ongoing encounters with health care professionals that could lead to additional information being documented in medical records.

전통적 임상시험과 달리, 전자 의료 데이터만으로 결과를 확인하는 연구는 계획서에 정한 추적 방문이 없을 가능성이 크고 결과 확인에 필요한 간격으로 사건을 모니터링하지 않을 수 있으며, 더 나아가 질환의 중증도와 치료 반응이 추적 방문 빈도, 따라서 이용 가능한 데이터에 영향을 줄 수 있다. 또한 관심 결과의 평가는 전통적 임상시험에서 더 표준화되고 포괄적일 가능성이 크다. 따라서 관심 결과에 관한 데이터의 이용 가능성, 정확성, 완전성과 함께 외부 데이터 연계의 필요성을 신중히 고려하여야 한다. 데이터 출처가 관심 결과를 포착하는지, 어느 정도 포착하는지는 연구 시작 전에 평가하여야 하며 관심 노출과 독립적이어야 한다.

Unlike traditional clinical trials, studies exclusively using electronic health care data to ascertain outcomes likely do not have protocol-defined follow-up visits and may not have monitoring of events at intervals necessary for outcome ascertainment; further, the severity of disease and responses to treatment may impact the frequency of follow-up visits, and hence the data available. In addition, the assessment of the outcome of interest is likely more standardized and comprehensive in traditional clinical trials. Therefore, the availability, accuracy, and completeness of data on the outcome of interest as well as the need for external data linkage should be carefully considered. Whether and to what degree a data source captures the outcome of interest should be assessed before study initiation and be independent of the exposure of interest.

많은 결과에는 일상 진료의 일부로 의사가 기록한 진단이 포함된다. 서로 다른 의사 사이, 그리고 시간에 따른 진료 관행의 변동(예: 서로 다른 진단·분류 기준 사용, 같은 사건을 다른 방식으로 코딩)의 영향을 최소화하기 위해, FDA는 해당하는 경우 질환의 임상적·생물학적·심리적·기능적 개념에 근거하여 관심 결과를 정의할 것을 권고한다. 관심 결과의 개념적 정의(사례 정의(case definition)라고도 한다)는 해당 질환에 대한 의학적·과학적 이해를 반영하여야 하며 연구마다 다를 수 있다. 예를 들어 아나필락시스의 경우 개념적 정의(또는 사례 정의)에는 갑작스러운 발생, 징후와 증상의 빠른 진행, 주요 피부 기준 ≥1개, 주요 심혈관 또는 호흡기 기준 ≥ 1개라는 임상 기준이 포함될 수 있다.

Many outcomes involve diagnoses recorded by physicians as part of routine care. To minimize the effect of variability in practice by different physicians and over time (e.g., using different diagnosis and classification criteria, coding the same event in different ways), FDA recommends defining an outcome of interest based on the clinical, biological, psychological, and functional concepts of the condition, as appropriate. The conceptual definition for the outcome of interest (also referred to as the case definition) should reflect the medical and scientific understanding of the condition and might vary by study. For example, for anaphylaxis, the conceptual definition (or case definition) may include the following clinical criteria: sudden onset, rapid progression of signs and symptoms, ≥1 major dermatological criterion, and ≥ 1 major cardiovascular or respiratory criterion.

계획서에는 결과 상태를 확정할 징후, 증상, 검사 결과와 영상의학 결과를 포함하여 개념적 정의를 상세히 기술하여야 한다.

The protocol should include a detailed description of the conceptual definition, including the signs, symptoms, and laboratory and radiology results that would confirm the outcome status.

개념적 정의는 RWD 출처에서 조작화할 수 있어야 한다. 예를 들어 종양학 분야의 무작위배정 대조 임상시험은 대개 정해진 추적 평가 시점과 빈도 아래에서 종양에 근거한 관심 결과를 사용하며, 모든 임상 진료 환경에서 표준 치료가 아닐 수 있는 분자 검사나 그 밖의 바이오마커 검사를 포함하는 경우가 많다. 객관적 반응(종양 축소)의 달성이나 표준화된 임상시험 기준(예: RECIST 1.1)에 따른 종양 진행 날짜는 대개 RWD 출처에 포착되지 않으므로, 대리 측정치나 다중 구성요소 정의를 검토하고 그 사용의 타당성을 제시해야 할 수 있다. 앞서 언급했듯이, RWD에 일관되게 포착될 가능성이 큰, 진단 기준이 잘 정의된 결과를 포착하는 것이 더 실현 가능하다. 의뢰자는 제안하는 결과 정의와 대리 측정치의 적절성을 FDA 심사 부서와 논의하여야 한다.

Conceptual definitions should be able to be operationalized in RWD sources. For example, randomized controlled trials in oncology typically use tumor-based outcomes of interest in the setting of specific timing and frequency of follow-up assessment and often include molecular or other biomarker testing that may not be standard of care in all clinical practice settings. Since achievement of an objective response (tumor shrinkage), or the date of tumor progression based on standardized clinical trial criteria (e.g., RECIST 1.1) is not typically captured in RWD sources, proxy measures or multi-component definitions may need to be explored and their use justified. As mentioned above, it is more feasible to capture outcomes that have well-defined diagnostic criteria that are likely to be consistently captured in RWD. Sponsors should discuss the proposed outcomes definitions and the appropriateness of proxy measures with the FDA review division.

선정한 데이터 출처와 연구 모집단에서 잠재적 사례를 식별하는 데 도움이 되도록, 진단·시술 코드(예: ICD-9-CM, ICD-10), 검사(예: LOINC)와 그 값, 또는 비정형 데이터(예: 의사의 진료 기록, 영상의학·병리 보고서)를 사용하는 조작적 정의를 관심 결과의 개념적 정의에 근거하여 개발하여야 한다. 조작적 정의에 EHR이나 다른 데이터 출처의 비정형 데이터에서 추출한 정보(예: 영아의 신경관 결손을 식별하기 위한 출생증명서 기록의 척추갈림증 언급)가 포함된다면, 계획서에는 비정형 데이터를 처리하는 데 사용한 방법과 도구, 그리고 그 방법의 밸리데이션에 대한 상세한 기술과 근거를 제시하여야 한다. 비정형 데이터에 관한 추가 정보는 IV.B.5항 「비정형 데이터」를 참조한다.

To help identify potential cases in the selected data source and study population, operational definitions using diagnosis and procedure codes (e.g., ICD-9-CM, ICD-10), laboratory tests (e.g., LOINC) and values, or unstructured data (e.g., physician’s encounter notes, radiology and pathology reports) should be developed based on the conceptual definition of the outcome of interest. If the operational definition includes information abstracted from unstructured data in the EHRs or another data source (e.g., mention of spina bifida in birth certificate records for the identification of neural tube defects in infants), the protocol should provide a detailed description and rationale for the methods and tools used to process the unstructured data and the validation of those methods. See section IV.B.5, Unstructured Data, for additional information on unstructured data.

환자 또는 의사가 생성한 데이터(예: 주관적 평가변수에 필요한 데이터)로 관심 결과를 평가하거나 조작적 정의를 보완하려는 경우, 계획서에는 결과 측정치(예: 징후 점수, 중증도 지수)를 어떻게 정의·구성하고 해당하는 경우 밸리데이션할지, 그리고 데이터를 어떻게 수집할지를 명시하여야 한다.

When patient- or physician-generated data (e.g., data required for subjective end points) are proposed to assess the outcome of interest or to complement operational definitions, the protocol should specify how the outcome measure (e.g., sign score, severity index) will be defined and constructed and validated, if applicable, and how the data will be collected.

결과 오분류가 있으면 조작적 정의의 민감도와 특이도가 모두 낮아질 수 있다. 민감도와 특이도가 완벽(즉, 100%)하기는 대개 불가능하므로, 결과 오분류는 위양성과 위음성을 모두 낳을 수 있다. FDA는 제안하는 연구의 조작적 정의를 개발하거나 선택할 때 결과 오분류가 연구 타당성과 추론에 미칠 수 있는 영향을 고려할 것을 권고한다. 예를 들어 코호트 연구에서 드물게 발생하는 결과를 연구할 때에는 결과 사건의 유병률이 낮으므로, 위양성 사례를 최소화하기 위한 높은 특이도와 더 많은 실제 사례를 포착하기 위한 높은 민감도를 확보하는 것이 중요하다.

The sensitivity and specificity of an operational definition may both be reduced when there is outcome misclassification. Given that it is usually not possible for sensitivity and specificity to be perfect (i.e., 100%), outcome misclassification might result in both false positives and false negatives. FDA recommends considering the potential impact of outcome misclassification on study validity and inference when developing or selecting an operational definition for the proposed study. For example, when studying infrequently occurring outcomes in a cohort study, given the low prevalence of the outcome event, it is important to achieve high specificity to minimize false positive cases and high sensitivity so that more true cases can be captured.

연구가 위험비를 추정하도록 설계되었다면 높은 민감도보다 높은 특이도를 가진 조작적 정의를 선택하는 것이 더 중요할 수 있는데, 결과 오분류가 비차별적이고 특이도가 매우 높다면(위양성이 거의 없다면) 결과 유병률과 관계없이 불완전한 민감도(일부 위음성)는 위험비를 편향시키지 않을 수 있기 때문이다. 따라서 이 시나리오에서 매우 높은 특이도에 초점을 두면 데이터가 불완전하더라도 연구 결과가 옳다는 것을 확보하는 데 도움이 되며, 높은 민감도는 여전히 추정치의 정밀도를 확보하는 데 중요하다.

If the study is designed to estimate a risk ratio, selecting an operational definition with high specificity may be more important than high sensitivity, because imperfect sensitivity (some false negatives) may not bias the risk ratio, provided the outcome misclassification is non-differential and specificity is very high (almost no false positives), regardless of outcome prevalence. Thus, focusing on very high specificity in this scenario will help ensure the study result is correct even if data are imperfect, while high sensitivity is still important to ensure the precision of the estimates.

한 데이터 출처나 연구 모집단을 위해 개발한 조작적 정의는 데이터베이스마다 다른 민감도·특이도와 질환 유병률의 차이 때문에 다른 출처나 모집단에서는 그만큼 잘 작동하지 않을 수 있다. PPV와 NPV는 민감도와 특이도, 그리고 예측도를 측정하는 모집단에서의 결과 유병률의 함수이다. 따라서 PPV와 NPV는 데이터 출처와 연구 모집단의 특성(예: 인구학적 요인, 기저질환, 동반질환, 임상 환경)에 따라 달라진다.

Operational definitions developed for one data source or study population might not perform as well in other sources or populations, due to database-specific sensitivity and specificity as well as variable disease prevalence. PPV and NPV are functions of sensitivity and specificity as well as prevalence of the outcome in the population in which the predictive values are measured. Therefore, PPV and NPV are variable by data source and study population characteristics (e.g., demographic factors, underlying diseases, comorbidities, clinical settings).

계획서에는 조작적 정의, 코딩 체계, 근거, 조작적 정의를 구성하기 위해 선택한 정보의 관련 한계(예: 순서가 의학적 중요도와 일치하지 않을 수 있는 주진단 또는 부진단 코드의 선택), 그리고 결과 오분류에 미칠 수 있는 영향을 상세히 기술하여야 한다. 조작적 정의의 성능이 이전 연구에서 평가되었다면, 제안하는 연구에 대한 적용 가능성을 논의하여야 한다. 더 나아가, 민감도·특이도·예측도를 확립하기 위해 이전 연구에서 사용한 사례 정의는 제안하는 연구를 위해 개발한 개념적 정의와 다른 진단 기준을 포함할 수 있으므로, 이전 연구에서 평가한 성능 지표를 적절히 사용하는지 신중히 고려하여야 한다.

The protocol should include a detailed description of the operational definition, the coding system, the rationale, and associated limitations of information selected to construct the operational definition (e.g., selection of primary or secondary diagnosis codes for which the order may not correspond to their medical importance), and the potential impact on outcome misclassification. If the performance of the operational definition has been assessed in prior studies, the applicability to the proposed study should be discussed. Furthermore, because the case definition used in prior studies to establish sensitivity, specificity, and predictive values might include different diagnostic criteria from the conceptual definition developed for the proposed study, proper use of the performance measures assessed in prior studies should be carefully considered.

FDA는 결과 오분류를 다루기 위해 결과 변수를 밸리데이션할 것을 기대한다. 모든 대상자에 대한 결과 변수의 완전 검증, 조작적 정의로 식별한 모든 잠재적 사례(또는 비사례)의 검증, 조작적 정의의 성능 평가 등 밸리데이션의 범위는 필요한 확실성 수준과 잠재적 오분류가 연구 추론에 미치는 영향에 따라 달라진다.

FDA expects validation of the outcome variable to address outcome misclassification. The extent of validation, such as complete verification of the outcome variable for all subjects, verification of all potential cases (or non-cases) identified by an operational definition, or assessing the performance of an operational definition depends on the necessary level of certainty and the implication of potential misclassification on study inference.

결과 변수의 완전 검증이 가장 엄격한 접근 방법으로 여겨지지만, 모든 대상자의 결과를 검증하는 것이 실현 가능하지 않아 결과의 조작적 정의 성능을 평가하는 것으로 충분할 수 있는 시나리오도 있다. 결과 밸리데이션은 임상적으로 적절한 개념적 결과 정의를 사용하여, 조작적 정의로 분류된 환자의 상태가 실제로 관심 결과를 나타내는지를 판단하는 것으로, 대개 전자 또는 종이 형태의 환자 의무기록에 기록된 임상 세부사항을 검토하여 수행한다.

Although complete verification of the outcome variable is considered the most rigorous approach, there are scenarios where verifying outcome for every subject might not be feasible and assessing the performance of the operational definition of the outcome might suffice. Outcome validation involves using a clinically appropriate conceptual outcome definition to determine whether a patient’s status, classified by an operational definition, truly represents the outcome of interest, typically by reviewing clinical details recorded in the patient’s medical records in either electronic or paper format.

FDA는 표준화된 도구 사용, 과정의 문서화, 인력 교육을 포함한 표준화된 의무기록 검토 절차를 사용할 것을 권고한다. 표준적이고 재현 가능한 절차는 평가자 내·평가자 간 변동을 최소화하는 데 결정적이며, 특히 의무기록을 시스템 간에 대개 공유할 수 없고 중앙 의무기록 검토가 불가능한 다기관 연구에서 그렇다. 중앙 의무기록 검토를 하더라도, 표준화된 절차는 서로 다른 판정자나 한 판정자가 시간이 지나도 같은 기준을 적용하도록 하는 데 도움이 된다. 비교 지표(예: 카파 통계량)를 보고하는 것은 재현 가능성을 확보하는 데 유용하다. 추정 의무기록 회수율(예: 청구 기반 데이터베이스를 사용하는 연구에서 의료기관에 의무기록을 요청하는 경우)은 계획서에서 타당성을 제시하여야 하며, 내적·외적 타당성에 대한 함의를 논의하여야 한다.

FDA recommends using standardized medical record review processes, including the use of standardized tools, documentation of process, and training of personnel. A standard and reproducible process is critical for minimizing intra- and inter-rater variability, especially for multi-site studies in which medical records usually cannot be shared across systems and a centralized medical record review is not possible. Even with a centralized medical record review, a standardized process helps to ensure that the same criteria are applied by different adjudicators or a single adjudicator over time. Reporting of comparison metrics (e.g., kappa statistic) is useful to ensure replicability. An estimated medical record retrieval rate (e.g., when requesting medical records from health facilities for a study using claims-based databases) should be justified in the protocol, and the implications for internal and external validity should be discussed.

또한 환자의 노출 상태를 알면 관찰자에게 영향을 주어 차별적 오분류가 생길 수 있으므로, 특히 추출자나 판정자가 노출을 관심 결과와 연관 지을 수 있는 경우, 연구 질문을 가리거나 노출 정보를 지워서 추출자와 판정자를 노출 상태에 대해 눈가림하는 것을 고려하여야 한다. 계획서에는 관찰자 편향을 어떻게 다룰지 기술하여야 한다.

In addition, because knowledge of a patient’s exposure status may influence the observer and result in differential misclassification, blinding of the abstractor and adjudicator to exposure status should be considered by masking the study question or redacting the exposure information, especially when the abstractor or adjudicator may associate the exposure with the outcome of interest. The protocol should provide a description of how observer bias will be handled.

이상적으로는 결과 변수의 완전 검증을 통해 각 대상자의 결과 상태를 정확히 분류하여 결과 오분류를 최소화하고 연구의 내적 타당성을 높인다. 실무에서 더 흔히 쓰는 접근 방법은 밸리데이션 연구에서 조작적 정의의 성능을 평가하는 것이다. 민감도, 특이도, 예측도와 같은 성능 지표는 사례와 비사례를 정확히 분류하는 것이 아니라, 결과 오분류의 정도를 알려 주고 오분류가 있을 때 결과 해석을 돕는다.

Ideally, through complete verification of the outcome variable, the outcome status is accurately classified for each subject to minimize outcome misclassification and improve study internal validity. In practice, a more commonly used approach is to assess the performance of an operational definition in validation studies. Performance measures, such as sensitivity, specificity, and predictive values, do not accurately classify cases and non-cases; rather, they inform the degree of outcome misclassification and facilitate the interpretation of results in the presence of misclassification.

밸리데이션 연구에서는 PPV를 평가하는 경우가 많다. PPV는 조작적 정의로 식별한 잠재적 사례 중 진양성 사례의 비율이다. 따라서 PPV는 식별된 사례 가운데 위양성 사례가 어느 정도 포함되었는지를 알려 준다. 위음성 사례에 대한 우려가 무시할 만한 경우(예: 민감도가 충분히 높아 위음성 사례 수가 최소라고 판단되는 경우)에는 높은 PPV가 결과 변수의 타당성에 대한 신뢰를 주기에 적절할 수 있지만, 중간에서 낮은 수준의 PPV라면 모든 잠재적 사례에 대해 결과 변수를 검증해야 할 수 있다.

PPV is often assessed in validation studies. PPV is the proportion of potential cases identified by an operational definition that are true positive cases. Therefore, PPV informs the degree to which false-positive cases are included among the identified cases. When the concern with false negative cases is negligible (e.g., when the sensitivity is deemed sufficiently high so that the number of false-negative cases is minimal), a high PPV might be adequate to provide confidence in the validity of the outcome variable, whereas a moderate-to-low PPV might warrant verification of the outcome variable for all potential cases.

위양성 사례의 정도와 위음성 사례의 정도가 모두 우려되는 경우, 의뢰자는 결과 오분류가 연관성 측정치에 미치는 영향을 평가하기 위한 정량적 편향 분석에 필요한 모든 성능 지표를 평가하거나, 모든 잠재적 사례와 비사례에 대해 결과 변수를 밸리데이션하여 각 대상자의 결과 변수를 정확히 분류하는 더 엄격한 접근 방법을 택하는 것을 고려하여야 한다. 전반적으로, 필요한 밸리데이션 범위는 필요한 확실성 수준과 잠재적 오분류가 연구 추론에 미치는 영향에 따라 결정하여야 한다.

When the extent of false-positive cases and the extent of false-negative cases are both of concern, sponsors should consider assessing all performance measures needed for quantitative bias analysis to evaluate the impact of outcome misclassification on the measure of association or take a more rigorous approach by validating the outcome variable for all potential cases and non-cases to accurately classify the outcome variable for each subject. Overall, the required extent of validation should be determined by the necessary level of certainty and the implication of potential misclassification on study inference.

일반적으로 의뢰자는 조작적 정의를 선택할 때 위양성 사례와 위음성 사례 사이의 상충 관계를 고려하고, 내적 타당성을 뒷받침할 적절한 결과 밸리데이션 접근 방법을 정하여야 한다. 예를 들어 영아의 신경관 결손을 식별하기 위해 다양한 입원·외래 진단 코드를 포함하는 조작적 정의는 민감도가 높지만 특이도와 PPV가 낮을 수 있으며, 조작적 정의를 입원 진단 코드로만 제한하거나 진단 코드와 시술(예: 수술적 교정) 코드의 조합으로 제한하면 PPV는 높아질 수 있지만 실제 사례의 상당 부분을 놓칠 수 있다(낮은 민감도).

In general, sponsors should consider the tradeoff between false-positive and false-negative cases when selecting an operational definition and identify the proper outcome validation approach to support internal validity. For example, to identify neural tube defects in infants, an operational definition that includes a spectrum of inpatient and outpatient diagnosis codes might have a high sensitivity, low specificity, and low PPV; restricting the operational definition to inpatient diagnosis codes only or a combination of diagnosis and procedure (e.g., surgical repair) codes might increase the PPV but miss a substantial proportion of true cases (low sensitivity).

실제 사례를 놓치는 것은 드물게 보고되는 결과에서 특히 우려되므로, 한 가지 접근 방법은 민감도가 높은 조작적 정의를 선택하고 그 민감한 조작적 정의로 식별한 모든 잠재적 사례에 대해 결과 변수를 검증하여, 실제 사례가 모두 식별될 가능성을 최대화하고 밸리데이션을 통해 위양성 사례를 최소화하는 것이다. 희귀 질환 결과와 달리, 관심 결과가 더 흔한 사건(예: 질환 특이적 입원)이나 질환의 호전 또는 악화를 포함하는 경우에는 실제 사례와 실제 비사례가 모두 흔하므로 흔한 진단에 대한 조작적 정의가 위양성과 위음성 사례를 상당한 정도로 만들어 낼 가능성이 크다. 따라서 조작적 정의가 사례와 비사례를 정확히 분류하는 데 필요한 정확하고 완전한 정보(예: 검사 결과, 기능 측정치)를 얻기 어려울 수 있다.

Because missing true cases is particularly a concern for infrequently reported outcomes, one approach is to select an operational definition of high sensitivity and perform verification of the outcome variable for all potential cases identified by the sensitive operational definition to maximize the likelihood that the true cases are all identified and that the false-positive cases are minimized through validation. Unlike rare disease outcomes, when an outcome of interest involves a more common event (e.g., disease-specific hospitalization) or improvement or worsening of a condition, the operational definitions for common diagnoses are likely to generate false-positive and false-negative cases to a considerable extent because both true cases and true non-cases are prevalent. Therefore, it might be difficult to obtain accurate and complete information (e.g., laboratory test results, functional measures) for the operational definition to accurately classify cases and non-cases.

이러한 결과의 경우 PPV만 측정하는 것으로는 결과 오분류를 파악하기에 불충분하다.

For such outcomes, measuring PPV alone will be inadequate to inform outcome misclassification.

각 연구 대상자에 대한 결과 변수의 완전 검증이 실현 불가능한 시나리오에서는, 타당성이 제시된 표본추출 전략을 사용하여 제안하는 연구 모집단에서 결과의 조작적 정의 성능을 평가하여야 한다. 앞서 기술했듯이, 조작적 정의의 성능은 데이터 출처와 연구 시나리오에 따라 크게 달라질 수 있고 질환·진단·코딩에 장기적 추세가 있으면 더 최근의 데이터가 필요할 수 있으므로, 이전 연구에서 평가된 조작적 정의는 이상적으로 같은 데이터 출처와 유사한 연구 모집단에서 사용하여야 한다. 민감도, 특이도, 예측도를 확립하는 데 사용한 이전 연구의 질을 평가하여야 한다. 특히 이러한 지표를 확립하기 위해 이전 연구에서 사용한 사례 정의는 제안하는 연구를 위해 개발한 개념적 결과 정의와 양립할 수 있어야 한다.

In scenarios where complete verification of the outcome variable for each study subject is infeasible, the performance of an operational outcome definition should be assessed in the proposed study population using a justified sampling strategy. As stated earlier, use of an operational definition that has been assessed in a prior study should ideally be in the same data source and in a similar study population, because the performance of an operational definition may vary substantially by data source and study scenario, and more recent data may be needed if there are secular trends in disease, diagnosis, and coding. The quality of prior studies used to establish sensitivity, specificity, and predictive values should be evaluated. In particular, the case definition used in the prior study to establish these measures should be compatible with the conceptual outcome definition developed for the proposed study.

이러한 지표를 제안하는 연구에 적용할 수 있는지 타당성을 제시하여야 하며, 민감도 분석을 고려할 수 있다.

The applicability of these measures to the proposed study should be justified, and sensitivity analyses can be considered.

완전한 환자 정보와 결과 변수의 완전 검증이 없으면 결과 오분류는 연구의 내적 타당성에 대한 위협으로 남으며, 노출과 결과 사이의 연관성 측정치에 미치는 영향은 오분류의 정도가 노출군 간에 다른지에 따라 달라진다. 차별적 오분류는 노출군 간 민감도, 특이도, 질환 유병률 차이가 복잡하게 상호작용하는 것으로, 연관성을 귀무(null) 쪽으로 또는 귀무에서 멀어지는 쪽으로 편향시킬 수 있다.²² 편향의 방향을 예측하기 어렵기 때문에 차별적 오분류는 안전성 연구와 유효성 연구 모두에서 우려 사항이다. 차별적 오분류와 달리 비차별적 오분류는 연관성을 귀무 쪽으로 편향시키는 경향이 있으며, 그 결과 안전성 연구에서는 실제 위험을 놓칠 수 있고, 유효성 연구에서는 약물 효과를 입증하는 데 더 큰 연구 모집단이 필요할 수 있다.

Without complete patient information and complete verification of the outcome variable, outcome misclassification remains a threat to the study internal validity, and the impact on the measure of association between exposure and outcome varies depending on whether the degree of misclassification differs between the exposure groups. Differential misclassification involves a complex interplay of differences in sensitivity, specificity, and disease prevalence between the exposure groups, and thus may bias the association either toward or away from the null.²² Because it is difficult to predict the direction of the bias, differential misclassification is a concern for both safety and effectiveness studies. Unlike differential misclassification, non-differential misclassification tends to bias the association toward the null; as a result, a true risk might be missed in safety studies, whereas a larger study population might be needed to demonstrate the drug effect in effectiveness studies.

비차별적 결과 오분류는 결과 정의가 충분히 정교하지 않아 관심 노출과의 연관성 크기가 서로 다른 질환들을 포함할 때 일어날 수 있다. 예를 들어 신경관 결손에는 일차 신경관 형성 결손과 신경관 형성 후 결손이 있다. 일차 신경관 형성 결손은 수정 후 약 18~28일 사이에 일어나는 일차 신경관 형성(즉, 신경관 폐쇄)의 실패에 직접 기인한다. 신경관 형성 후 결손의 병태생리는 덜 밝혀져 있다. 따라서 임신 중 일차 신경관 형성의 결정적 시기 동안의 약물 노출이 신경관 형성 후 과정에는 같은 방식으로 영향을 미치지 않을 수 있다. 결과 정의에 일차 결손과 신경관 형성 후 결손이 모두 포함되면, 일차 신경관 형성 결손의 위험이 있더라도 검출되지 않을 가능성이 크다.

Non-differential outcome misclassification might occur when the outcome definition is not adequately refined and includes conditions that have different magnitude of association with the exposure of interest. For example, neural tube defects include primary neurulation defects and post-neurulation defects. Primary neurulation defects are directly attributed to failure of primary neurulation (i.e., neural tube closure), which occurs between approximately 18 and 28 days after fertilization. The pathophysiology of post-neurulation defects is less understood. Therefore, drug exposure during the critical period for primary neurulation in gestation might not affect post-neurulation in the same manner. When the outcome definition includes both primary and post-neurulation defects, the risk of primary neurulation defects, if any, is likely not detected.

차별적 결과 오분류는 노출 상태를 눈가림한 연구에서 최소화될 수 있다. 그러나 데이터 수집 방법이 차별적 결과 오분류의 가능성을 배제하는 것처럼 보이더라도, 실제 데이터의 오분류가 비차별적 결과 오분류뿐이라는 보장은 없다. 예를 들어 결과 발생 여부를 관찰·진단·기록한 의사가 그 결과를 예방하기 위한 치료를 어떤 환자가 받을지 결정한 의사와 같을 수 있고, 또는 의사가 환자가 어떤 치료를 받았는지 알고 있어 질환 진행이나 치료 부작용을 다르게 모니터링했을 수 있다. 따라서 RWD를 사용할 때 결과 오분류의 방향은 예측할 수 없는 채로 남을 수 있다. 또한 한 연구에 오분류가 둘 이상 있는 경우, 의뢰자는 그 오분류들이 서로 어떻게 관련될 수 있는지 고려하여야 한다.

Differential outcome misclassification might be minimized in studies in which the exposure status is blinded. However, even when data collection methods seem to preclude the likelihood of differential outcome misclassification, it is not guaranteed that the only misclassification of the actual data will be non-differential outcome misclassification. For example, the physician who observed, diagnosed, and documented whether or not an outcome occurred could have been the same physician who made a decision as to which patients received the treatment meant to prevent that outcome, or the physician could have monitored disease progression or treatment side effects differently, given the knowledge as to which treatment they received. Therefore, the direction of the outcome misclassification might remain unpredictable when using RWD. In addition, when more than one misclassification exists in a study, sponsors should consider how they might be related to each other.

예를 들어 비차별적 노출 오분류와 비차별적 결과 오분류는 각각 연관성을 귀무 쪽으로 편향시킬 수 있지만, 두 오분류가 서로 의존적이면 전체적으로 귀무에서 멀어지는 편향이 생길 수 있다(Lash et al. 2009). 따라서 잠재적 오분류가 연구 추론에 미치는 영향을 평가할 때, 의뢰자는 연관성이 귀무 쪽으로 편향되었다고 가정하기보다 개별 비차별적 오분류들이 서로 어떻게 관련되어 있는지를 고려하여야 한다. 이러한 상황에서는 제안하는 연구 모집단에서 노출 상태별로 결과의 조작적 정의 성능을 평가해야 할 수 있다.

For example, whereas non-differential exposure misclassification and non-differential outcome misclassification each might bias the association toward the null, when the two misclassifications are dependent, overall it can create a bias away from the null (Lash et al. 2009). Therefore, when evaluating the implication of potential misclassification on study inference, sponsors should consider how the individual non-differential misclassifications are interrelated, rather than assuming that the association is biased toward the null. Under such circumstances, assessing the performance of the operational outcome definition according to exposure status in the proposed study population might be necessary.

결과 밸리데이션과 관련하여, 의뢰자는 모든 잠재적 사례 또는 비사례에 대한 결과 변수 검증이나 제안한 조작적 정의의 성능 평가와 같이 제안하는 밸리데이션 접근 방법의 타당성을 제시하여야 하며, 후자를 수행한다면 어떤 성능 지표를 평가할지 그 타당성을 제시하여야 한다. 계획서에는 결과 밸리데이션의 설계, 방법, 절차와 함께 표본추출 전략(해당하는 경우)을 상세히 기술하여야 한다. 이전에 평가된 조작적 정의를 제안한다면 (1) 데이터 출처와 연구 모집단, (2) 밸리데이션을 수행한 기간, (3) 성능 특성, (4) 성능 평가의 비교 대상이 된 기준 표준, (5) 이전 밸리데이션 데이터가 제안하는 연구에 적용 가능한지에 대한 논의를 포함한 추가 정보를 제공하여야 한다.

Regarding outcome validation, sponsors should justify the proposed validation approach, such as verifying the outcome variable for all potential cases or non-cases, versus assessing the performance of the proposed operational definition; if the latter will be done, justify what performance measures will be assessed. The protocol should include a detailed description of the outcome validation design, methods, and processes, as well as sampling strategy (if applicable). If a previously assessed operational definition is proposed, additional information should be provided, including: (1) data source and study population; (2) during what time frame validation was performed; (3) performance characteristics; (4) the reference standard against which the performance was assessed; and (5) a discussion of whether prior validation data are applicable to the proposed study.

FDA는 결과 오분류가 있을 경우 그것이 연구 결과에 영향을 미치는지, 어떻게 미치는지를 보여 주기 위해 정량적 편향 분석과 같은 정량적 접근 방법을 계획서에 포함할 것을 권고한다. 이 접근 방법은 타당성 평가(feasibility assessment)를 위해 사전에 적용하거나, 연구 결과의 해석을 돕기 위해 적용하거나, 두 목적 모두를 위해 적용할 수 있다. 계획서에는 편향을 정량화하는 데 사용할 지표(예: 민감도, 특이도)를 사전에 규정하고, 선택한 지표를 결과 밸리데이션에서 어떻게 측정할지 기술하여야 한다.

FDA recommends including in the protocol quantitative approaches, such as quantitative bias analyses, to demonstrate whether and how outcome misclassification, if present, might impact study findings. The approach can be applied a priori for feasibility assessment, to facilitate interpretation of study results, or for both purposes. The protocol should pre-specify the indices (e.g., sensitivity, specificity) that will be used for quantifying bias and describe how the selected indices will be measured in outcome validation.

미국에서는 환자가 진료를 받는 동안 일어난 사망을 제외하면, 사망과 사망 원인은 일반적으로 전자 의료 데이터에 포함되지 않는다. 사망 확인(사망 사실과 사망 원인)은 공공 또는 상업용 인구동태 통계 데이터 출처와 연계하여 수행할 수 있으며, 이로써 사망 변수의 완전성과 최신성을 높일 수 있다. 그러나 외부 사망 데이터를 사용하는 데에는 그러한 데이터와 데이터 연계 방법이 갖는 모든 한계가 따른다(Haynes 2019; Navar et al. 2019; Curtis et al. 2018). 계획서에는 사망 데이터의 품질과 그 함의를 신중하게 문서화하여 포함하여야 한다.

In the United States, death and cause of death are generally not included in electronic health care data, with exceptions being made for death occurring while a patient is under medical care. Ascertainment of death (fact of death and cause of death) can be accomplished through linkage with public or commercial vital statistics data sources, to increase the completeness and recency of the death variables. The use of external mortality data, however, is subject to all of the limitations of such data and data linkage methods (Haynes 2019; Navar et al. 2019; Curtis et al. 2018). Careful documentation of mortality data quality and its implications should be included in the protocol.

전자 의료 데이터 시스템에 사망이 포착되지 않으면, 연구 약물에 노출된 뒤 사망한 환자는 전자 의료 데이터에서 특정 날짜 이후 의료 청구를 더 이상 하지 않거나 추가 진료를 받지 않는 것으로 관찰될 수 있다. 관심 결과(예: 심근경색 또는 뇌졸중)에 치명적 결과가 포함되는 연구에서는, 연구 약물 노출 후 어느 시점에서든 추적 소실된 것으로 보이는 환자를 제외하거나, 반대 데이터가 없는 상태에서 추적 소실된 환자를 사망으로 분류하는 것 모두 편향을 일으킬 가능성이 크다. 시스템에서 환자가 사라진 것(가입 해지)이 사망 때문인지 확인하기 위해 인구동태 통계 시스템을 검색하는 것을 고려할 수 있다.

If the death is not captured in the electronic health care data systems, patients who die after having been exposed to the study drug might be observed in electronic health care data as either not filing any further medical claims or not receiving any additional care past a particular date. For studies in which the outcome or outcomes of interest (e.g., myocardial infarction or stroke) include fatal outcomes, either excluding patients who appear to be lost to follow-up at any time following their exposure to the study drug or classifying patients who are lost to follow-up as deceased in the absence of data to the contrary, is likely to create bias. Searches of vital statistics systems may be considered to see whether their absence (disenrollment) from the system is because of death.

이 가이던스에서 특정 연구의 공변량에는 교란변수와 효과 수정인자라는 두 가지 유형의 요소가 포함될 수 있다.

For the purposes of this guidance, covariates in a particular study can include two types of elements: confounders and effect modifiers.

비무작위배정 연구에서는 분석 시 치료군과 대조군의 균형을 맞추려는 적절한 노력을 뒷받침하기 위해 잠재적 교란변수에 관한 정보를 수집한다.

Information on potential confounders is collected in a nonrandomized study to support appropriate efforts to balance treatment and comparator groups in the analysis.

연구의 잠재적 교란변수를 식별한 뒤에는, 제안한 데이터 출처가 교란에 기여할 수 있는 중요한 요인에 관한 정보를 포착하기에 적절한지 평가하여야 한다. 여기에는 제안한 데이터 출처에 잘 포착되는 교란변수(측정된 교란변수)와 잘 포착되지 않는 교란변수(측정되지 않았거나 불완전하게 측정된 교란변수)가 포함된다. 전자 의료 데이터, 특히 청구 데이터에서 측정되지 않거나 불완전하게 측정될 수 있는 교란변수의 예로는 인종/민족, 질환 가족력, 생활습관 요인(예: 흡연, 음주, 영양 섭취, 신체 활동), 일부 신체 측정치(예: 체질량지수), 보험 없이 입수한 약물, 약물 사용 적응증이 있다.

After identifying the potential confounders in a study, the proposed data source should be evaluated to determine whether it is adequate to capture information on important factors which may contribute to confounding. These include confounders that are well-captured in the proposed data source (measured confounders) and those that are not well-captured (unmeasured or imperfectly measured confounders). Examples of confounders that can be unmeasured or imperfectly measured in electronic health care data, especially in claims data, include race/ethnicity, family history of disease, lifestyle factors (e.g., smoking, alcohol use, nutrition intake, physical activity), certain physical measurements (e.g., body mass index), drugs obtained without insurance, and indication for drug use.

FDA는 원래 데이터 출처에서 측정되지 않았거나 불완전하게 측정된 중요한 교란변수의 포착을 넓히기 위해 다른 데이터 출처와의 연계나 추가 데이터 수집 가능성을 고려할 것을 권고한다. 계획서에는 제안한 데이터 출처에서 알려진 모든 미측정 교란변수와 함께 미측정 교란변수에 관한 정보를 보완하는 접근 방법을 명확히 밝히고, 특정 미측정 교란변수에 대한 대리 측정치의 적절성에 대한 타당성을 제시하여야 한다.

FDA recommends considering potential linkages with other data sources or additional data collection to expand the capture of important confounders that are unmeasured or imperfectly measured in the original data source. The protocol should clearly disclose all known unmeasured confounders in the proposed data source(s), as well as approach(es) to supplement information on unmeasured confounders and justify the appropriateness of any proxy measure(s) for specific unmeasured confounder(s).

같은 치료라도 집단에 따라 효과가 다를 수 있지만, 약물 유효성이나 안전성 연구는 대개 평균 치료 효과를 보고한다. 잠재적 효과 수정인자에 관한 정보는 치료 효과의 이질성, 즉 한 집단 안 개인들에서 치료 효과의 방향과 크기가 보이는 비무작위적이고 설명 가능한 변동을 더 잘 이해하는 데 사용된다(Velentgas et al. 2013). 인구학적 변수(예: 연령, 성별, 인종, 민족)나 관련 동반질환에 의한 효과 수정 가능성을 연구에서 검토하여야 하며, 관련 효과 수정인자는 선택한 데이터 출처에서 이용할 수 있어야 한다.

Studies of drug effectiveness or safety usually report an average treatment effect, even though the same treatment can have different effects in different groups of people. Information on potential effect modifiers is used to better understand heterogeneity of treatment effect, the nonrandom, explainable variability in the direction and magnitude of treatment effects for individuals within a population (Velentgas et al. 2013). The potential for effect modification by demographic variables (e.g., age, sex, race, ethnicity) or pertinent comorbidities should be examined in the study, and relevant effect modifiers should be available in the chosen data source.

계획서에는 해당하는 경우 제안한 데이터 출처에서 알려진 모든 미측정 효과 수정인자와 함께 미측정 효과 수정인자에 관한 정보를 보완하는 접근 방법을 명확히 밝히고, 특정 미측정 효과 수정인자에 대한 대리 측정치의 적절성에 대한 타당성을 제시하여야 한다.

The protocol should clearly disclose all known unmeasured effect modifiers, when relevant, in the proposed data source(s), as well as approach(es) to supplement information on unmeasured effect modifiers and justify the appropriateness of any proxy measure(s) for specific unmeasured effect modifier(s).

교란변수와 효과 수정인자를 포함한 모든 주요 공변량에 대해, FDA는 계획서와 연구 보고서에 조작적 정의의 타당성을 제시하고 그 근거를 밝힐 것을 권고한다. 이러한 공변량의 선택은 연구 질문, 연구 설계, 그리고 오분류가 연구의 내적 타당성과 연구 추론에 미치는 영향에 따라 달라진다. 예를 들어 유전적 요인이 연구 질문의 주요 교란변수인 경우, 자기대조 설계에서는 데이터가 불완전하더라도 시간 고정 공변량으로서 암묵적으로 보정될 수 있다.

For all key covariates, including confounders and effect modifiers, FDA recommends providing and justifying the validity of operational definitions in the protocol and study report. Selection of such covariates depends on the study question, study design, and the impact of misclassification on study internal validity and study inference. For example, when a genetic factor is a key confounder for a study question, it may be implicitly adjusted as a time-fixed covariate in a self-controlled design, even if data are imperfect.

측정된 공변량이 환자의 추적 기간 동안 바뀔 수 있고(시간 가변 공변량) 분석에 중요하다면, 특히 RWD에서 시간 가변 공변량의 포착은 질병 중증도에 따라 차별적일 수 있으므로(예: 더 중증인 환자에서 더 많은 검사), 계획서에는 시간 가변 공변량에 관한 정보를 포착할 수 있는지, 얼마나 자주 포착할 수 있는지를 기술하여야 한다.

If the measured covariates can change during a patient’s follow-up period (time-varying covariates) and are important to the analysis, the protocol should describe whether and how frequently the information on time-varying covariates can be captured, particularly since capture of time-varying covariates in RWD can be differential by severity of illness (e.g., more testing in more seriously ill patients).

공변량 조작적 정의의 타당성을 평가할 때, FDA는 공변량의 성격에 근거하여 가장 좋은 기준 데이터 출처를 정할 것을 권고한다. 의료 사건이나 시술 이용에 해당하는 공변량(예: 동반질환, 과거 병력)의 조작적 정의를 밸리데이션할 때에는 V.D.3항 「결과의 밸리데이션」과 같은 원칙이 적용된다. 병용약물이나 과거 약물 사용처럼 약물 사용과 관련된 공변량의 조작적 정의 밸리데이션에 관한 논의는 V.C.5항 「노출의 밸리데이션」을 참조한다. 질환 가족력, 생활습관 요인, 약물 사용 적응증과 같은 그 밖의 공변량 조작적 정의의 타당성을 평가할 때, 적절한 기준에는 환자 또는 의료 제공자 설문이나 적절한 데이터 연계가 포함될 수 있다.

When evaluating the validity of covariate operational definitions, FDA recommends identifying the best reference data source based on the nature of the covariates. When validating operational definitions of covariates that are medical events or procedure utilizations (e.g., comorbidities, past medical history), the same principles apply as in section V.D.3, Validation of Outcomes. For discussion on validating operational definitions of covariates that are associated with drug uses, such as concurrent medications or past drug uses, see section V.C.5, Validation of Exposure. When assessing the validity of other covariate operational definitions, such as family history of disease, lifestyle factors, or indication for drug use, the appropriate reference may include a patient or provider survey or appropriate data linkages.

중요한 공변량을 포착하는 데 보충 정보가 필요하거나 공변량 밸리데이션에 보충 정보를 사용하는 경우, FDA는 전체 연구 모집단에서 그 보충 정보를 얻을 가능성을 기술할 것을 권고한다. 이 보충 정보를 연구 모집단의 일부에서만 이용할 수 있다면, FDA는 관련 연구 문서에서 내적 타당성에 미칠 수 있는 영향을 논의할 것을 권고한다.

When supplemental information is needed to capture important covariates or is used for covariate validation, FDA recommends describing the likelihood of obtaining the supplemental information for the overall study population. If this supplemental information is only available for part of the study population, FDA recommends discussing the potential effect on internal validity in relevant study documents.

주요 공변량의 오분류가 있을 경우 그것이 연구 결과에 영향을 미치는지, 어떻게 미치는지를 보여 주기 위해 정량적 편향 분석과 같은 정량적 접근 방법을 사용하는 것이 권장된다. 이 접근 방법은 타당성 평가(feasibility assessment)를 위해 사전에 적용하거나, 연구 결과의 해석을 돕기 위해 적용하거나, 두 목적 모두를 위해 적용할 수 있다. 계획서에는 편향을 정량화하는 데 사용할 지표(예: 민감도, 특이도)를 사전에 규정하고, 선택한 지표를 주요 공변량 밸리데이션에서 어떻게 측정할지 기술하여야 한다.

Quantitative approaches, such as quantitative bias analyses, are encouraged to demonstrate whether and how misclassification of key covariate(s), if present, might impact study findings. The approach can be applied a priori for feasibility assessment, to facilitate interpretation of study results, or for both purposes. The protocol should pre-specify the indices (e.g., sensitivity, specificity) that will be used for quantifying bias and describe how the selected indices will be measured in key covariate(s) validation.

이 항은 데이터 수명주기 전반에 걸쳐 데이터의 품질을 검토할 때 고려할 사항을 논의한다. 데이터 수명주기는 데이터의 유형과 환경(즉, 약국, 의원, 응급실, 병원과 같은 의료 환경)에 따라 다를 수 있지만, 일반적으로 원천 데이터에서의 데이터 축적, 임상 데이터 저장소로의 데이터 큐레이션, 필요한 경우 데이터의 변환과 비식별화, 데이터 웨어하우스 구축, 분석용 연구별 데이터셋 생성이라는 여러 단계로 이루어진다(그림 1 참조).

This section discusses points for consideration when examining the quality of data over the course of the data life cycle. Although the data life cycle may vary depending on the type of data and setting (i.e., health care settings such as pharmacies, clinics, emergency departments and hospitals), in general, the life cycle involves multiple phases: data accrual from the original source data; curation of data to the clinical data repository; transformation and de-identification of data where necessary, creation of a data warehouse; and production of a study-specific dataset for analysis (see Figure 1).

데이터 수명주기 개념은 데이터 품질을 검토하는 과정이 반복적이라는 점을 보여 준다. 이 과정은 한 번의 평가가 아니라, 주기의 각 단계에서 데이터 품질 점검, 정제(cleansing),²³ 모니터링이 이루어지고 일부 점검은 반복될 수 있는(즉, 주기의 여러 단계에서 일어나는) 지속적인 과정이다.

The concept of the data life cycle illustrates the iterative nature of the process for examining the quality of data. The process is not a onetime assessment; rather, it is an ongoing process in which data quality checks, cleansing,²³ and monitoring occur at each phase in the cycle, and some checks may be repeated (i.e., occur in multiple phases of the cycle).

EHR과 의료 청구 데이터의 품질을 평가하는 지침들은 주로, 서로 다른 데이터 출처를 모으고 연계하고 처리하여 포괄적인 데이터 웨어하우스를 만드는 분산형 데이터 네트워크에 초점을 둔다(Miksad and Abernethy 2018; Girman et al. 2018; Daniel et al. 2018; Kahn et al. 2016; Wang et al. 2017; Mahendraratnam et al. 2019). FDA가 특정 지침이나 체크리스트를 보증하지는 않지만, 의뢰자는 데이터를 원천(예: 퇴원 기록, 병리 보고서, 레지스트리 기록)과 대조하여 확인하는 것과 해당하는 경우 합의 기반 데이터 표준에 부합하는 것을 포함하여 데이터의 완전성, 정확성, 개연성을 평가하여야 한다.

Guidelines that evaluate the quality of EHRs and medical claims data primarily focus on distributed data networks in which disparate data sources are aggregated, linked, and processed to create a comprehensive data warehouse (Miksad and Abernethy 2018; Girman et al. 2018; Daniel et al. 2018; Kahn et al. 2016; Wang et al. 2017; Mahendraratnam et al. 2019). Although FDA does not endorse any particular set of guidelines or checklists, sponsors should evaluate the completeness, accuracy, and plausibility of the data, including verifying data against its original source (e.g., discharge notes, pathology reports, registry records) and conforming to consensus-based data standards, where applicable.

의뢰자는 이러한 표준을 선택한 과학적 근거를 제시하고, 이 표준이 관련 데이터 출처의 완전성, 정확성, 개연성을 확보하는 데 어떻게 적절한지 명확히 밝혀야 한다.

Sponsors should provide scientific justifications for choosing these standards and should articulate how these standards are adequate to ensure the completeness, accuracy, and plausibility of the relevant data source.

연구 계획서와 분석 계획에는 추적성(데이터 수명주기 전반에 사용한 큐레이션 및 변환 절차)을 명시하고, 이 절차가 데이터 완전성(data integrity)과 연구의 전반적 타당성에 어떤 영향을 줄 수 있는지 기술하여야 한다. 아래는 데이터 수명주기의 각 단계에서 데이터를 검토할 때 고려할 사항으로, (A) 데이터 값의 완전성, 적합성, 개연성 측면에서 데이터의 특성 파악, (B) 변환 과정을 포함하는 QA/QC 계획의 문서화, (C) 데이터 완전성을 확보하기 위한 일련의 절차 규정을 포함한다.

The study protocol and analysis plan should specify the traceability (curation and transformation procedures used throughout the data life cycle) and describe how these procedures could affect the integrity of the data and the overall validity of the study. Below are points for consideration when examining data at each step in the data life cycle, including (A) characterizing the data with respect to completeness, conformance, and plausibility of data values, (B) documenting the QA/QC plan that includes transformation processes; and (C) defining a set of procedures for ensuring integrity of the data.

EHR과 의료 청구 데이터의 형식과 추적성은 의료 관련 주체(예: 보험자, 의료기관, 의료 제공자, 데이터 공급업체)에 따라 크게 다를 수 있다. 일반적으로 의뢰자는 연구 데이터의 완전성과 정확성을 확보하기 위해 사용한 절차와 함께 데이터 수명주기에 걸친 데이터 축적, 큐레이션, 변환 과정을 다루어야 한다. FDA는 선택한 데이터 출처에 해당하는 경우 다음 특성과 과정을 표준화된 방식으로 담은 자동화된 데이터 품질 보고서를 권고한다.

The format and traceability of EHRs and medical claims data can vary significantly across health care entities (e.g., insurer, practice, provider, data vendor). In general, sponsors should address the procedures used to ensure completeness and accuracy of study data, as well as processes for data accrual, curation, and transformation over the data life cycle. The FDA recommends automated data quality reports that include the following characteristics and processes in a standardized way, when applicable to the chosen data source:

의뢰자는 연구별 분석용 데이터셋과 관련된 다음 사항도 고려하여야 한다.

Sponsors should also consider issues related to the study-specific analytic dataset:

분석용 데이터 구축을 위한 QA/QC 계획, 분석 중 품질관리 문제를 다루기 위한 계획된 접근 방법, 그리고 데이터 요소별로 다른 데이터 품질 수준(및 연구 결과에 미칠 수 있는 함의)에 대한 고려를 연구 계획서와 분석 계획에 기술하여야 한다. 일반적으로 데이터 관련 활동 전에 데이터 품질을 확보하기 위한 활동은 연구 설계 중에 개발되며, 데이터 수집 방법에 관한 절차의 표준화를 포함하는 이러한 활동은 QA로 볼 수 있다(Szklo and Nieto 2006). 품질관리는 데이터 수집부터 최종 분석용 데이터셋 편집까지, 그 데이터셋이 사전에 규정한 기준을 충족하고 사용한 과정이 재현 가능하도록 하기 위해 내리는 결정과 밟는 단계로 이루어진다.

A QA/QC plan for construction of analytical data, the planned approach for handling quality control issues during analysis, and contemplation of differing levels of data quality by data element (and the potential implications on study findings) should be described in the study protocol and analysis plan. In general, activities to ensure the quality of the data before data-related activities are developed during the design of the study, and such activities, which include standardizing procedures for how to collect the data, may be regarded as QA (Szklo and Nieto 2006). Quality control consists of the decisions and steps taken from data collection through compilation of the final analytic dataset to ensure it meets prespecified standards and to ensure the processes used are reproducible.

데이터를 적절히 포착하고 처리하기 위해서는 임상적 의견을 포함하는 다학제적 접근이 필요하며, 의료 제공의 미묘한 차이와 복잡성을 본질적으로 담고 있는 전자 의료 시스템의 경우 특히 그렇다.

A multidisciplinary approach that includes clinical input is necessary to ensure adequate capture and handling of data, particularly for electronic health care systems, which inherently incorporate nuances and intricacies of health care delivery.

데이터 완전성을 확보하기 위해, 모든 수동 및 자동 데이터 검색·변환 과정을 데이터 수집부터 최종 연구 보고서 작성까지 철저히 평가하여야 한다. 의뢰자는 큐레이션과 변환 과정이 데이터의 의미를 바꾸거나 중요한 맥락 정보를 잃게 하지 않도록 하여야 한다. 과정에 대한 기술에는 환자 데이터가 중복되거나 과대 대표되지 않도록 하는 안전장치나 점검을 포함하여야 한다. 또한 비정형 데이터를 발굴하고 평가하는 데 사용한 과정의 문서에는 비정형 데이터(예: 임상의 기록)를 추출하고 정형 데이터(예: 진단 코드)를 보완하는 데 사용한 기법(예: 자연어 처리)을 기술하여야 한다.

All manual and automated data retrieval and transformation processes should be thoroughly assessed from data collection through writing of the final study report to ensure integrity of the data. Sponsors should ensure that curation and transformation processes do not alter the meaning of data or cause the loss of important contextual information. Descriptions of processes should include safeguards or checks to ensure that patient data are not duplicated or overrepresented. In addition, documentation of processes used to mine and evaluate unstructured data should describe the techniques employed (e.g., natural language processing) to abstract unstructured data (e.g., clinician notes) and supplement structured data (e.g., diagnostic codes).

최종 연구별 분석용 데이터셋을 관리하고 준비하는 데 사용한 과정은 연구 계획서나 분석 계획에 기술하여야 한다. 분석자는 분석용 데이터셋을 편집하는 데 사용하는 데이터와 소프트웨어에 대해 적절한 교육을 받았거나 경험이 있어야 한다. FDA 심사를 원활하게 하기 위해, 제출하는 모든 프로그램(예: 분석자가 작성한 프로그램)에는 프로그램에 작성된 각 데이터 관리 및 분석 단계의 의도나 목적을 설명하는 주석을 충실히 달아야 한다(예: 통계 분석 프로그램의 각 데이터 단계에 주석 달기).

Processes used for managing and preparing the final study-specific analytic dataset should be described in the study protocol or analysis plan. Analysts should have appropriate training or experience with the data and software used to compile the analytic datasets. To facilitate FDA review, all submitted programs (e.g., those written by analysts) should be thoroughly annotated with comments that describe the intent or purpose of each data management and analysis step written in the program (e.g., annotate each data step in a statistical analysis program).