이 가이던스는 이 주제에 관한 FDA의 현재 견해를 나타낸다. 이 가이던스는 누구에게도 어떠한 권리를 만들거나 부여하지 않으며, FDA나 일반 대중을 구속하지 않는다. 적용 법률과 규정의 요건을 충족한다면 다른 접근 방법을 사용할 수 있다. 다른 접근 방법을 논의하려면 이 가이던스 시행을 담당하는 FDA 직원에게 연락한다. 담당 FDA 직원을 찾을 수 없으면 이 가이던스 표지에 적힌 해당 전화번호로 연락한다.

This guidance represents the Food and Drug Administration’s (FDA’s) current thinking on this topic. It does not create or confer any rights for or on any person and does not operate to bind FDA or the public. You can use an alternative approach if the approach satisfies the requirements of the applicable statutes and regulations. If you want to discuss an alternative approach, contact the FDA staff responsible for implementing this guidance. If you cannot identify the appropriate FDA staff, call the appropriate number listed on the title page of this guidance.

이 가이던스는 승인된 의료제품 표시기재(labeling)의 주장(claim)을 뒷받침하는 데 사용되는 기존의, 변경된 또는 새로 만든 환자 보고 결과(patient-reported outcome, PRO) 도구를 FDA가 어떻게 검토하고 평가하는지 설명한다.² PRO 도구(즉, 설문지와 그 사용을 뒷받침하는 정보 및 문서)는 의료제품 임상시험에서 치료 유익성 또는 위해성을 측정하는 데 사용되는 PRO 데이터를 수집하는 수단이다. 이 가이던스는 표시기재에서 의료제품에 관해 하는 주장의 평가를 넘어서는 목적의 PRO 도구 사용은 다루지 않는다. 이 가이던스는 또한 특정 질환에 관한 사항도 다루지 않는다. 특정 질환의 임상시험 평가변수에 관한 가이던스는 여러 FDA 웹사이트에서 찾을 수 있다.³

This guidance describes how the Food and Drug Administration (FDA) reviews and evaluates existing, modified, or newly created patient-reported outcome (PRO) instruments used to support claims in approved medical product labeling.² A PRO instrument (i.e., a questionnaire plus the information and documentation that support its use) is a means to capture PRO data used to measure treatment benefit or risk in medical product clinical trials. This guidance does not address the use of PRO instruments for purposes beyond evaluation of claims made about a medical product in labeling. This guidance also does not address disease-specific issues. Guidance on clinical trial endpoints for specific diseases can be found on various FDA Web sites.³

이 가이던스에서 밝힌 검토 사항을 명시적으로 다루면, 의뢰자는 의료제품 개발 과정에서 FDA와의 논의를 더 효율적으로 하고, 임상시험 중 수집한 PRO 도구의 적절성과 그 결과 PRO 데이터에 대한 FDA 검토를 간소화하며, 의료제품 승인 시점에 치료 효과에 관한 결론을 내리는 데 쓸 환자 관점의 정보를 최적으로 제공할 수 있다. PRO 도구 개발은 반복적인 과정이며, FDA는 PRO 도구를 개발하는 단 하나의 올바른 방법은 없다는 것을 인정한다. FDA 검토 사항을 다루기 위해 다양한 전략과 방법을 사용할 수 있다.

By explicitly addressing the review issues identified in this guidance, sponsors can increase the efficiency of their discussions with the FDA during the medical product development process, streamline the FDA’s review of PRO instrument adequacy and resultant PRO data collected during a clinical trial, and provide optimal information about the patient perspective for use in making conclusions about treatment effect at the time of medical product approval. PRO instrument development is an iterative process and we recognize there is no single correct way to develop a PRO instrument. Different strategies and methods can be used to address FDA review issues.

용어 정의(Glossary)에 이 가이던스에서 사용하는 많은 용어를 정의하였다. 용어 정의에 있는 단어나 구는 처음 나올 때 굵은 기울임꼴로 표시하였다. 특히 FDA는 의뢰자가 PRO 도구의 개념 틀(conceptual framework of a PRO instrument), 평가변수 모형(endpoint model), 내용 타당도(content validity)라는 용어를 익혀 두기를 권한다.

The Glossary defines many of the terms used in this guidance. Words or phrases found in the Glossary appear in bold italics at first mention. Specifically, we encourage sponsors to familiarize themselves with the terms conceptual framework of a PRO instrument, endpoint model, and content validity.

이 가이던스를 포함한 FDA 가이던스 문서는 법적 구속력이 있는 책임을 정하지 않는다. 가이던스는 어떤 주제에 관한 FDA의 현재 견해를 설명하는 것이며, 특정 규정이나 법률 요건이 인용되지 않는 한 권고로만 보아야 한다. FDA 가이던스에서 should라는 단어는 어떤 것이 제안되거나 권고된다는 뜻이지 요구된다는 뜻이 아니다.

FDA’s guidance documents, including this guidance, do not establish legally enforceable responsibilities. Instead, guidances describe the Agency’s current thinking on a topic and should be viewed only as recommendations, unless specific regulatory or statutory requirements are cited. The use of the word should in Agency guidances means that something is suggested or recommended, but not required.

PRO는 환자의 건강 상태에 관한 보고로서, 임상의나 다른 누구도 환자의 응답을 해석하지 않고 환자에게서 직접 나온 모든 보고를 말한다. 결과는 절대적인 값(예: 증상, 징후 또는 질환 상태의 중증도)으로 측정하거나 이전 측정값에서의 변화로 측정할 수 있다. 임상시험에서 PRO 도구는 하나 이상의 개념(즉, 측정 대상으로서 증상 또는 증상 묶음, 특정 기능 또는 기능 묶음에 대한 영향, 또는 건강 상태의 중증도를 측정하는 것으로 입증된 증상이나 기능의 묶음)에 대한 의료적 중재의 효과를 측정하는 데 사용할 수 있다.

A PRO is any report of the status of a patient’s health condition that comes directly from the patient, without interpretation of the patient’s response by a clinician or anyone else. The outcome can be measured in absolute terms (e.g., severity of a symptom, sign, or state of a disease) or as a change from a previous measure. In clinical trials, a PRO instrument can be used to measure the effect of a medical intervention on one or more concepts (i.e., the thing being measured, such as a symptom or group of symptoms, effects on a particular function or group of functions, or a group of symptoms or functions shown to measure the severity of a health condition).

일반적으로, 적절히 설계된 연구에서 잘 정의되고 신뢰할 수 있는 PRO 도구로 측정한 결과는, 그 주장이 도구의 문서화된 측정 능력과 일치한다면 의료제품 표시기재의 주장을 뒷받침하는 데 사용할 수 있다. FDA에 제출하여야 하는 근거의 양과 종류는 다른 데이터에 근거한 다른 표시기재 주장의 경우와 같다. 환자가 가장 잘 아는 개념이나 환자 관점에서 가장 잘 측정되는 개념을 측정할 때에는 PRO 도구 사용이 권장된다. PRO 도구는 의사 기반 도구와 마찬가지로 측정하고자 하는 개념을 측정한다는 것이 입증되어야 하며, FDA는 특정 PRO 도구가 주장하는 개념을 측정한다는 근거를 검토할 것이다. 표시기재 주장을 뒷받침하는 데 가장 자주 사용되는 PRO 도구가 측정하는 개념은 환자의 증상, 징후 또는 질환 상태와 직접 관련된 기능의 한 측면이다.

Generally, findings measured by a well-defined and reliable PRO instrument in appropriately designed investigations can be used to support a claim in medical product labeling if the claim is consistent with the instrument’s documented measurement capability. The amount and kind of evidence that should be provided to the FDA is the same as for any other labeling claim based on other data. Use of a PRO instrument is advised when measuring a concept best known by the patient or best measured from the patient perspective. A PRO instrument, like physician-based instruments, should be shown to measure the concept it is intended to measure, and the FDA will review the evidence that a particular PRO instrument measures the concept claimed. The concepts measured by PRO instruments that are most often used in support of labeling claims refer to a patient’s symptoms, signs, or an aspect of functioning directly related to disease status.

PRO 측정은 흔히 질환(예: 심부전 또는 천식)이 건강과 기능에 미치는 영향을 환자 관점에서 나타낸다.

PRO measures often represent the effect of disease (e.g., heart failure or asthma) on health and functioning from the patient perspective.

주장은 일반적으로 표시기재의 효능·효과(Indications and Usage) 항 또는 임상시험(Clinical Studies) 항에 나오지만, 어느 항에든 나올 수 있다. 표시기재의 어느 항이든 여기서 설명하는 PRO 도구 평가 원칙이 적용된다.

Claims generally appear in either the Indications and Usage or Clinical Studies section of labeling, but can appear in any section. Regardless of the labeling section, PRO instrument evaluation principles described here apply.

의료제품 표시기재의 주장을 뒷받침하기 위한 PRO 도구의 평가에는 다음 고려 사항이 포함된다.

The evaluation of a PRO instrument to support claims in medical product labeling includes the following considerations:

PRO 측정의 목적은 환자의 경험을 포착하는 것이므로, 목표 환자 집단에서 얻은 유용성의 근거가 없으면 도구는 신뢰할 만한 측정이 되지 못한다. 의뢰자는 도구 개발 과정에서 환자 의견을 반영했다는 근거와, 도구를 사용하는 특정 적용 상황(즉, 집단, 질환 상태)에서 도구의 성능에 관한 근거를 문서로 제출하여야 한다. 기존 도구가 임상시험에 등록된 환자 집단에서 주장하는 개념을 신뢰성 있게 측정한다는 것을 보여줄 수 있다면, 그 도구로 표시기재 주장을 뒷받침할 수 있다.

Because the purpose of a PRO measure is to capture the patient’s experience, an instrument will not be a credible measure without evidence of its usefulness from the target population of patients. Sponsors should provide documented evidence of patient input during instrument development and of the instrument’s performance in the specific application in which it is used (i.e., population, condition). An existing instrument can support a labeling claim if it can be shown to reliably measure the claimed concept in the patient population enrolled in the clinical trial.

의뢰자는 PRO 평가변수가 임상시험에서 맡을 역할(즉, 일차, 주요 이차 또는 탐색적 평가변수)을 정하여, 의도한 역할의 맥락에서 도구의 개발과 성능을 검토하고 적절한 통계 방법을 계획하여 적용할 수 있도록 하여야 한다. 이러한 접근 방법은 평가변수 모형이라고 부를 수 있는 것으로 계획하는 것이 매우 중요하다.

Sponsors should define the role a PRO endpoint is intended to play in the clinical trial (i.e., a primary, key secondary, or exploratory endpoint) so that the instrument development and performance can be reviewed in the context of the intended role, and appropriate statistical methods can be planned and applied. It is critical to plan these approaches in what can be called an endpoint model.

그림 1과 그림 2는 평가변수 모형의 예를 보여준다. 그림 1에서 PRO 증상 평가는 이차 평가변수이며, 생리학적 측정이 질환 X의 치료 적응증을 뒷받침하기 위한 일차 평가변수이다. 이 경우 임상시험은 이차 평가변수에서 성공을 거두기 전에 먼저 생리학적 평가변수에서 성공하여야 한다. 그림 2에서 PRO 증상 평가는 질환 Y와 관련된 증상의 치료 적응증을 뒷받침하기 위한 일차 임상시험 평가변수이며, 신체 수행 능력 및 제한 측정이 주요 이차 평가변수가 된다. PRO 도구의 적절성은 평가변수 모형에 나타난 대로 그 역할과 다른 임상시험 평가변수와의 관계에 따라 달라진다. 평가변수 모형은 임상시험 목적을 달성하고 측정하는 개념에 해당하는 목표 주장을 뒷받침할 근거를 얻기 위해 PRO 도구에 요구되는 사항을 정확히 설명한다.

Figures 1 and 2 show examples of endpoint models. In Figure 1, a PRO symptom assessment is a secondary endpoint with a physiologic measure as the primary endpoint intended to support an indication for the treatment of Disease X. In this case, the clinical trial would need to succeed on the physiologic endpoint before success could be attained on the secondary endpoints. In Figure 2, a PRO symptom assessment is the primary clinical trial endpoint intended to support an indication for the treatment of symptoms associated with Disease Y and the physical performance and limitation measures would be the key secondary endpoints. PRO instrument adequacy depends on its role and relationships with other clinical trial endpoints as depicted in the endpoint model. The endpoint model explains the exact demands placed on the PRO instrument to attain the evidence to meet the clinical trial objectives and support the targeted claims corresponding to the concepts measured.

잠재적 표시기재 주장을 구체화하고, 계획한 개념을 평가하도록 설계된 특정 임상시험에 관해 FDA와의 소통을 원활하게 하기 위해, 의뢰자는 목표 제품 프로파일(target product profile, TPP)을 사용할 수 있다. TPP는 처방 정보 목표(즉, 목표 표시기재 주장)의 맥락에서 임상 개발 프로그램을 요약한 것이다.^4,5

To help specify potential labeling claims and to facilitate communication with the FDA about the specific clinical trials designed to assess the planned concepts, sponsors can use a target product profile (TPP), which is a clinical development program summary in the context of prescribing information goals (i.e., targeted labeling claims).^4,5

표시기재 주장을 뒷받침하기 위해 PRO 도구를 사용하려는 의뢰자는 의료제품 개발 초기에 관심 개념을 평가하고 측정할 적절한 PRO 도구가 있는지 확인하는 것이 권장된다. 적절한 도구가 없으면 새 PRO 도구를 개발할 수 있다. 경우에 따라 기존 도구를 변경하여 새 도구를 개발할 수 있다.

Early in medical product development, sponsors planning to use a PRO instrument in support of a labeling claim are encouraged to determine whether an adequate PRO instrument exists to assess and measure the concepts of interest. If it does not, a new PRO instrument can be developed. In some situations, the new instrument can be developed by modifying an existing instrument.

기존의, 변경된 또는 새로 개발한 PRO 도구가 의료제품 표시기재 주장을 뒷받침하는 측정으로 적절한지는 그 특성(이 항 참조), 개념 틀(III.C항 참조), 내용 타당도(III.D항 참조) 및 그 밖의 측정 특성(III.E항 참조)이 만족스러운지에 달려 있다. FDA는 표시기재 주장이 입증되었는지 판단하기 위해 PRO 도구 개발 및 시험 문서를 임상시험 결과와 함께 검토할 것이다. 부록에는 도구 검토를 원활하게 하기 위해 의뢰자가 FDA에 제출하여야 하는 PRO 정보의 종류가 나와 있다.

The adequacy of any PRO instrument, whether existing, modified, or newly developed, as a measure to support medical product labeling claims depends on whether its characteristics (see this section), conceptual framework (see section III.C.), content validity (see section III.D.), and other measurement properties (see section III.E.) are satisfactory. The FDA will review documentation of PRO instrument development and testing in conjunction with clinical trial results to determine whether a labeling claim is substantiated. The Appendix lists the type of PRO information sponsors should provide to the FDA to facilitate instrument review.

FDA가 검토하는 PRO 도구의 특성은 다음과 같다.

Characteristics of PRO instruments that are reviewed by the FDA include the following:

FDA는 도구 개발자가 자신의 도구와 관련 개발 이력을 공개하여 누구나 이용할 수 있게 하기를 권한다. 개발 이력을 구할 수 없을 때에는 의뢰자는 일반적으로 신청 자료와 함께 내용 타당도 문서(즉, 도구가 측정하고자 하는 것을 측정한다는 근거)를 제출하여야 하며, 여기에는 적절한 집단에서 얻은 개방형 환자 의견이 포함된다. 내용 타당도는 III.D항 내용 타당도에서 더 자세히 다룬다. 또한 FDA는 도구의 그 밖의 측정 특성에 관한 경험적 근거를 기대하며, 이는 III.E항 신뢰도, 그 밖의 타당도 및 변화 감지 능력에서 더 자세히 다룬다.

We encourage instrument developers to make their instruments and related development history available and accessible publicly. When development history is not available, sponsors generally should provide documentation of content validity with an application (i.e., evidence that the instrument measures what it is intended to measure), including open-ended patient input from the appropriate population. Content validity is discussed in more detail in section III.D., Content Validity. In addition, we anticipate empiric evidence of an instrument’s other measurement properties, discussed in more detail in section III.E., Reliability, Other Validity, and Ability to Detect Change.

FDA는 확증 임상시험의 대상자 등록이 시작되기 전에 도구의 측정 특성이 충분히 확립되어 있기를 제안한다. 따라서 의뢰자는 의료제품 개발 초기에 도구 개발과 평가를 시작하고, 확증 임상시험 계획서를 확정하기 전에 새롭거나 고유한 PRO 도구에 관해 FDA와 논의하여야 한다. FDA 의견 요청은 해당 의료제품을 담당하는 심사 부서로 하여야 한다. FDA가 초기에 유용한 의견을 줄 수 있도록, 의뢰자는 표시기재 목표, 가설로 세운 PRO 도구 개념 틀, 그리고 계획한 확증 임상시험의 예비 평가변수 모형에서 PRO 평가변수와 다른 임상시험 평가변수의 관계를 제출하여야 한다.

We suggest that an instrument’s measurement properties be well established before enrollment begins for confirmatory clinical trials. Therefore, sponsors should begin instrument development and evaluation early in medical product development, and engage the FDA in a discussion about a new or unique PRO instrument before confirmatory clinical trial protocols are finalized. Requests for FDA input should be addressed to the review division responsible for the medical product in question. For the FDA to provide useful early input, sponsors should provide their labeling goals, a hypothesized PRO instrument conceptual framework, and the relationship of the PRO endpoints to other clinical trial endpoints in preliminary endpoint models for the planned confirmatory trials.

측정 목표가 복합적인 다영역 개념을 뒷받침하는 것이라면, 단순한 개념을 측정하는 PRO 도구로는 그 복합적인 주장을 입증하기에 적절하지 않을 수 있다. 예를 들어 증상 개선만을 보여주는 PRO 기반 근거는 증상 개선에 한정된 주장만 뒷받침하며, 환자의 기능 수행 능력이나 심리 상태의 개선에 관한 일반적인 주장은 뒷받침하지 못한다. 또한 복합적인 다영역 주장은 개별 구성 영역의 개념을 적절히 측정하지 못하는 도구로는 입증할 수 없다.

If the measurement goal is to support a complex, multidomain concept, PRO instruments that measure a simple concept may not be adequate to substantiate the complex claim. For example, PRO-based evidence of improved symptoms alone will only support claims specific to improvement of the symptoms and would not support a general claim related to improvement in a patient’s ability to function or the patient’s psychological state. In addition, a complex, multidomain claim cannot be substantiated by instruments that do not adequately measure the individual component domain concepts adequately.

중요한 안전성 문제가 환자 관점에서 가장 잘 포착되는 증상이나 징후라면, PRO 도구로 그 문제를 측정할 수 있다. 이러한 용도에서도 PRO 도구 개발 원칙은 다르지 않다.

PRO instruments can be used to measure important safety concerns if those concerns represent symptoms or signs that are best captured from the patient perspective. The principles for PRO instrument development are not different for this application.

일반적인 개념을 나타내는 주장은, PRO 도구가 그 일반 개념을 측정하도록 개발되었더라도 뒷받침되지 않는 경우가 많다. 도구가 일반 개념에 영향을 주면서 임상시험 설계 시점에는 알려지지 않았을 수 있는 치료의 이상 부작용을 구별하지 못할 수 있기 때문이다. 이상 효과를 포착한다면, PRO 도구는 치료의 이상 결과를 치료의 유효성과 분리하여 측정하는 것을 목표로 하여야 한다. FDA가 규제하는 의료제품을 평가하는 다른 임상시험과 마찬가지로, PRO 도구로 발견한 모든 이상사례는 임상시험 보고서에 포함하여야 한다.

Claims representing general concepts often are not supported, even though the PRO instrument was developed to measure the general concepts, because the instrument may not distinguish adverse side effects of treatment that affect the general concept and that may not be known at the time the clinical trials are designed. If adverse effects are captured, PRO instruments should aim to measure the adverse consequences of treatment separately from the effectiveness of treatment. As with any clinical trial evaluating FDA-regulated medical products, all adverse events detected with a PRO instrument should be included in the clinical trial report.

그림 3은 임상시험에 사용할 PRO 도구를 개발하는 반복적인 과정을 요약한 것이다. 개발 과정 문서에 대한 FDA 검토는 III.C항 PRO 도구의 개념 틀부터 III.G항 특정 집단을 위한 PRO 도구까지에서 더 자세히 다룬다.

Figure 3 summarizes the iterative process used in developing a PRO instrument for use in clinical trials. FDA review of the developmental process documentation is discussed in more detail in section III.C., Conceptual Framework of a PRO Instrument, through section III.G., PRO Instruments Intended for Specific Populations.

제안된 도구가 주장을 뒷받침하기에 적절한지는 PRO 도구의 개념 틀에 달려 있다. 개념 틀은 문항, 영역(하위 개념), 측정하는 개념 및 PRO 도구가 산출하는 점수 사이의 관계를 설명하는 도식으로 도구가 측정하는 개념을 명시적으로 정의한다.

The adequacy of a proposed instrument to support a claim depends on the conceptual framework of the PRO instrument. The conceptual framework explicitly defines the concepts measured by the instrument in a diagram that presents a description of the relationships between items, domain (subconcepts), and concepts measured and the scores produced by a PRO instrument.

PRO 도구 검토의 기본 고려 사항 하나는 문항 생성 과정이 도구의 최종 개념 틀을 뒷받침하기에 적절한지이다. 경우에 따라서는 치료 대상 질환 상태를 고려하면 무엇을 측정할지가 분명할 수 있다. 예를 들어 통증에 대한 치료 효과를 평가하기 위해 단일 문항 PRO 도구로 목표 집단의 환자에게 통증 중증도를 묻는다. 일반적으로 무엇을 측정할지 분명하지 않을 때에는, 도구 개발자는 먼저 문헌 검토와 전문가 의견을 바탕으로 측정할 영역과 문항의 초안을 만들어 관심 개념의 측정을 뒷받침할 개념 틀을 가설로 세울 수 있다. 그다음 환자 면담, 포커스 그룹 및 정성적 인지 면담으로 문항에 담긴 개념의 이해와 완전성을 확보한다. (III.D.1항 문항 생성 참조)

One fundamental consideration in the review of a PRO instrument is the adequacy of the item generation process to support the final conceptual framework of the instrument. In some cases, the question of what to measure may be obvious given the condition being treated. For example, to assess the effect of treatment on pain, patients from the target population are queried about pain severity using a single-item PRO instrument. Generally, when it is not obvious, instrument developers initially can hypothesize a conceptual framework to support the measurement of the concept of interest drafting the domains and items to be measured based on literature reviews and expert opinion. Subsequently, patient interviews, focus groups, and qualitative cognitive interviewing ensures understanding and completeness of the concepts contained in the items. (See section III.D.1., Item Generation.)

PRO 도구의 개념 틀은 의뢰자가 문항 묶음과 점수를 뒷받침하는 경험적 근거를 모으면서 도구 개발 과정 동안 발전하고 확인된다. 임상시험에 사용할 때에는 문항과 영역 사이에서 관찰된 관계로 PRO 도구의 개념 틀을 다시 확인하여야 한다.

The conceptual framework of a PRO instrument will evolve and be confirmed over the course of instrument development as a sponsor gathers empiric evidence to support item grouping and scores. When used in a clinical trial, the PRO instrument’s conceptual framework should again be confirmed by the observed relationships among items and domains.

도구 개발 과정 문서에는 문항과 영역을 어떤 방법으로 찾아냈는지가 드러나야 한다. 도구 점수로 내린 결론이 타당하도록, 영역 점수 또는 총점이 측정하는 개념을 나타내는 정확한 문구는 환자 의견을 사용하여 도출하여야 한다.

Documentation of the instrument development process should reveal the means by which the items and domains were identified. The exact words used to represent the concepts measured by domain or total scores should be derived using patient input to ensure the conclusions drawn using instrument scores are valid.

일반 개념의 측정에 대해 FDA는 PRO 도구의 개념 틀을 바탕으로 개별 문항이 서로 어떻게 연관된다고 보는지, 문항이 각 영역과 어떻게 연관되는지, 영역이 서로 그리고 일반 관심 개념과 어떻게 연관되는지를 검토하고자 한다. 그림 4의 도식은 PRO 도구 개념 틀의 일반적인 예로서, 영역 1, 영역 2 및 일반 개념이 각각 서로 관련되지만 별개인 개념을 나타낸다. 이 도식에서 문항은 영역으로 묶인다. 최종 틀은 측정 특성 시험으로 도출되고 확인된다.

For measures of general concepts, we intend to review how individual items are thought to be associated with each other, how items are associated with each domain, and how domains are associated with each other and the general concept of interest based on the conceptual framework of the PRO instrument. The diagram in Figure 4 depicts a generic example of a conceptual framework of a PRO instrument where Domain 1, Domain 2, and General Concept each represent related but separate concepts. Items in this diagram are aggregated into domains. The final framework is derived and confirmed by measurement property testing.

단일 문항이 관심 개념(예: 통증 강도)의 신뢰할 수 있고 타당한 측정이라면 PRO 도구의 개념 틀은 간단할 수 있다. 관심 개념이 일반적인 것(예: 신체 기능)이라면, 단독으로 쓰인 단일 문항은 일반 개념의 영역들을 포착하지 못하므로 단일 문항 PRO 도구로는 치료 효과를 유용하게 이해할 수 없다. 이러한 이유로, 여러 문항이나 영역을 포함하는 일반 개념에 관한 단일 문항 질문이 그 일반 개념에 관한 주장을 뒷받침할 충분한 근거를 제공하는 경우는 드물다. 예를 들어 특정 증상과 징후의 묶음으로 정의되는 기능성 장애의 임상시험에서, 단일 문항 전반 질문으로 이루어진 PRO 도구는 대개 표시기재 주장을 뒷받침하는 평가변수로 적절하지 않으며, 각 특정 증상과 징후에 대한 효과에 관해서도 정보를 주지 못한다.

The conceptual framework of a PRO instrument may be straightforward if a single item is a reliable and valid measure of the concept of interest (e.g., pain intensity). If the concept of interest is general (e.g., physical function), a single-item PRO instrument does not provide a useful understanding of the treatment’s effect because a stand-alone single item does not capture the domains of the general concept. For this reason, single-item questions about general concepts that include multiple items or domains rarely provide sufficient evidence to support claims about that general concept. For example, in clinical trials of functional disorders defined by clusters of specific symptoms and signs, a PRO instrument consisting of a single-item global question usually would be inadequate as an endpoint to support labeling claims and would be uninformative about the effects on each specific symptom and sign.

그 대신 적절한 각 증상과 징후에 대한 치료 효과를 적절히 측정하여야 한다.

Instead, the effect of treatment on each of the appropriate symptoms and signs should be adequately measured.

일반 개념을 측정하려는 PRO 도구의 개념 틀은 일반 개념의 적절한 영역과 문항을 모두 찾아내기가 어려울 수 있으므로 복잡해진다. 다영역 PRO 도구가 주장에 담긴 일반 개념의 중요하고 관련된 영역을 측정하도록 개발되었다면, 그 일반 개념에 관한 주장을 뒷받침하는 데 사용할 수 있다. 그러나 다영역 PRO 도구의 복잡한 성격 때문에, 오해를 일으키지 않도록 결과를 해석하고 보고하는 방법에 관해 중대한 의문이 생기는 경우가 많다. 예를 들어 일반 개념(예: 특정 질환 상태와 관련된 증상)의 점수 개선이 반응을 보인 단일 문항(예: 통증 강도 개선)에 의해 좌우되고 다른 중요한 문항(예: 다른 증상)은 반응을 보이지 않았다면, 그 일반 개념에 관한 일반적인 주장(예: 그 질환 상태와 관련된 증상의 개선)은 뒷받침될 수 없다.

The conceptual framework for PRO instruments intended to measure a general concept will be complex because identifying all of the appropriate domains and items of the general concept can be difficult. Multidomain PRO instruments can be used to support claims about a general concept if the PRO instrument has been developed to measure the important and relevant domains of the general concept contained in the claim. However, the complex nature of multidomain PRO instruments often raises significant questions about how to interpret and report results in a way that is not misleading. For example, if improvement in a score for a general concept (e.g., symptoms associated with a certain condition) is driven by a single responsive item (e.g., pain intensity improvement) whereas other important items (e.g., other symptoms) did not show a response, a general claim about the general concept (e.g., improvements in symptoms associated with the condition) cannot be supported.

다만 반응을 보인 그 단일 문항이나 영역은 그 문항이나 영역에 한정된 주장을 뒷받침할 수 있다.

However, that single responsive item or domain may support a claim specific to that item or domain.

FDA는 표 1에 예시한 것처럼, 생성한 문항의 전체 목록과 문항을 삭제하거나 변경한 이유를 기록한 문서를 포함한 개발 이력에 비추어 도구의 최종판을 검토하고자 한다. FDA는 제출된 경험적 근거로부터 PRO 도구의 최종 개념 틀(예: 문항, 영역 및 측정하는 개념 사이의 가설 관계)이 적절한 연구 집단에서 확인되었는지, 그리고 계획한 임상시험의 평가변수 모형과 일치하는지를 판단할 것이다.

We intend to examine the final version of an instrument in light of its development history, including documentation of the complete list of items generated and the reasons for deleting or modifying items, as illustrated in Table 1. We will determine from empiric evidence provided whether the PRO instrument’s final conceptual framework (e.g., the hypothesized relationships among items, domains, and concepts measured) is confirmed in the appropriate study population and is consistent with the endpoint model of the planned clinical trials.

FDA는 그림 3에 설명한 과정과 표 2에 설명한 측정 특성에 관한 문서를 사용하여, PRO 도구 개발 과정에서 연구한 환자 집단을 임상시험에 등록된 집단과 비교하여 그 도구가 해당 집단에 적용 가능한지 판단할 계획이다. PRO 도구에 관한 FDA 논의와 검토를 위해 의뢰자가 제출하여야 하는 정보의 종류는 부록을 참조한다.

Using documentation of the process described in Figure 3 and of the measurement properties as described in Table 2, we plan to compare the patient population studied in the PRO instrument development process to the population enrolled in the clinical trial to determine whether the instrument is applicable for that population. See the Appendix for a description of the types of information sponsors should provide for FDA discussion and review of PRO instruments.

소아, 인지 장애 환자 또는 중증 환자에서 생기는 특정한 측정 고려 사항은 III.G항 특정 집단을 위한 PRO 도구에서 다룬다.

Specific measurement considerations posed by pediatric, cognitively impaired, or seriously ill patients are discussed in section III.G., PRO Instruments Intended for Specific Populations.

내용 타당도는 도구가 관심 개념을 측정하는 정도이다. 내용 타당도는 도구의 문항과 영역이 의도한 측정 개념, 집단 및 용도에 비추어 적절하고 포괄적이라는 정성적 연구의 근거로 뒷받침된다. 내용 타당도는 연구할 집단, 질환 상태 및 치료에 특이적이다. PRO 도구에서 문항, 영역 및 일반 점수는 환자에게 중요한 것을 반영하며, 평가하는 개념과 관련된 환자의 관심사를 포괄한다. 문항 생성에서 환자 의견을 반영한 문서와 인지 면담을 통한 환자 이해도 평가는 내용 타당도의 근거가 될 수 있다. FDA는 표시기재 주장이 나타내는 개념을 측정하기에 도구가 적절한지를 평가하므로, 다른 유형의 타당도(예: 구성 타당도)나 신뢰도(예: 일관된 점수)의 근거로 내용 타당도의 문제를 극복할 수는 없다.

Content validity is the extent to which the instrument measures the concept of interest. Content validity is supported by evidence from qualitative studies that the items and domains of an instrument are appropriate and comprehensive relative to its intended measurement concept, population, and use. Content validity is specific to the population, condition, and treatment to be studied. For PRO instruments, items, domains, and general scores reflect what is important to patients and comprehensive with respect to patient concerns relevant to the concept being assessed. Documentation of patient input in item generation as well as evaluation of patient understanding through cognitive interviewing can contribute to evidence of content validity. Evidence of other types of validity (e.g., construct validity) or reliability (e.g., consistent scores) will not overcome problems with content validity because we evaluate instrument adequacy to measure the concept represented by the labeling claim.

그 밖의 측정 특성을 평가하기 전에 내용 타당도를 확립하는 것이 중요하다.

It is important to establish content validity before other measurement properties are evaluated.

기존 도구의 유용성을 평가하거나 새 PRO 도구를 개발할 때, 의뢰자는 다음 개발 과정과 도구 속성을 문서화하여 도구의 내용 타당도가 적절함을 뒷받침하는 것이 권장된다.

When evaluating the utility of an existing instrument or developing a new PRO instrument, sponsors are encouraged to support the adequacy of the instrument’s content validity by documenting the following development processes and instrument attributes.

문항 생성에는 관심 개념을 반영하고 그 평가에 기여하는 문항을 정하기 위해 목표 환자 집단의 의견이 포함되어야 한다. 그 집단은 문항 문구를 만들고, 문항이 빠짐없이 다루는지 평가하며, 명확성과 가독성을 처음 평가하는 데 도움을 준다. PRO 도구 문항은 문헌 검토, 포커스 그룹 녹취록, 또는 환자, 임상의, 가족 구성원, 연구자나 그 밖의 출처와의 면담에서 생성할 수 있다. FDA는 적절한 사람과 출처를 활용했는지, 그리고 그 출처에서 얻은 정보를 PRO 도구 개발 과정에서 어떻게 사용했는지 검토할 수 있다. FDA는 또한 개방형 환자 면담이 관심 개념에 대한 환자 관점을 충분히 이해하게 해 주는지 검토할 것이다.

Item generation should include input from the target patient population to establish the items that reflect the concept of interest and contribute to its evaluation. The population will help generate item wording, evaluate the completeness of item coverage, and perform initial assessment of clarity and readability. PRO instrument items can be generated from literature reviews, transcripts from focus groups, or interviews with patients, clinicians, family members, researchers, or other sources. We may review whether appropriate individuals and sources were used and how information gleaned from those sources was used in the PRO instrument development process. We will also review whether open-ended patient interviews provide a full understanding of the patient’s perspective of the concept of interest.

문항 생성에는 일반적으로 예상되는 임상시험 설계에 맞추어, 중증도의 차이와 나이, 성별, 민족, 언어 집단 같은 집단 특성의 차이를 대표하도록 관심 질환 상태를 가진 다양한 환자의 의견을 반영한다.

Item generation generally incorporates the input of a wide range of patients with the condition of interest to represent variations in severity and in population characteristics such as age, sex, ethnicity, and language groups in accordance with the anticipated clinical trial design.

환자 의견에 관한 적절한 문서가 없으면 PRO 도구의 내용 타당도는 의문을 받기 쉽다. FDA는 문서를 검토하여 문항이 환자에게 중요한 개념의 모든 측면을 다루는지, 그리고 포화(saturation)에 도달했는지 판단할 것이다. 포화는 새롭게 관련되거나 중요한 정보가 더 나오지 않고, 데이터를 더 수집해도 환자가 관심 개념과 설문지 문항을 어떻게 인식하는지에 대한 이해가 늘어날 가능성이 낮은 시점에 도달한다.

Without adequate documentation of patient input, a PRO instrument’s content validity is likely to be questioned. We will review documentation to determine that the items cover all aspects of the concept important to patients, and that saturation has been reached. Saturation is reached at the point when no new relevant or important information emerges and collecting additional data will not likely add to the understanding of how patients perceive the concept of interest and the items in the questionnaire.

내용 타당도를 뒷받침하기 위해 FDA에 제출하는 문서에는 사용한 모든 문항 생성 기법(이론적 접근 방법 포함), 연구한 집단, 문항의 출처, 문항의 선택·편집·축소, 인지 면담 요약 또는 녹취록, 예비 시험, 중요도 평정 및 문항 평가를 위한 정량적 기법이 포함되어야 한다. 표 1에 문항을 변경하는 일반적인 이유가 나와 있다.

Documentation provided to the FDA to support content validity should include all item generation techniques used, including any theoretical approach; the populations studied; source of items; selection, editing, and reduction of items; cognitive interview summaries or transcripts; pilot testing; importance ratings; and quantitative techniques for item evaluation. Table 1 lists common reasons for changing items.

임상시험에 포함된 모든 언어 집단에서 문항을 생성하지 않았다면, 시험하는 각 언어 집단의 인지 면담에서 내용의 적절성을 다루어야 한다. 문항의 변경이나 삭제와 그 이유를 문서화하는 데 문항 추적 매트릭스가 도움이 될 수 있다.

If items are not generated in all language groups included in the clinical trials, the appropriateness of the content should be addressed in cognitive interviewing in each language group tested. An item tracking matrix may be helpful to document the changes or deletions in items and the reasons for those changes.

기존 도구의 경우, 도구 개발에 환자가 참여하지 않았다면 그 도구에 내용 타당도가 있다고 가정할 수 없다. 환자 의견을 끌어내는 개방형 방법으로 환자 면담이나 포커스 그룹을 실시한다면, 새 도구를 개발할 때 하는 것과 비슷한 새로운 정성적 작업으로 기존 도구의 내용 타당도 문서를 마련할 수 있다. 이러한 기존 도구의 정성적 시험은 도구 내용을 검토한 결과 우려할 만한 점이 있을 때 특히 중요하다. 예를 들어 임상시험에서 연구할 집단에 흔하다고 알려진 증상이 그 집단의 중요한 증상을 포착하려는 측정에서 빠져 있다면, FDA는 그 도구의 내용 타당도에 의문을 제기할 것이다. FDA는 내용 타당도 확립을 위한 개별 환자 면담이나 포커스 그룹의 수 또는 규모에 대해 권고를 할 수 없다. 표본 크기는 녹취록 분석으로 얻은 정보가 얼마나 완전한지에 달려 있다.

With existing instruments, it cannot be assumed that the instrument has content validity if patients were not involved in instrument development. New qualitative work similar to that conducted when developing a new instrument can provide documentation of content validity for existing instruments if patient interviews or focus groups are conducted using open-ended methods to elicit patient input. Such qualitative testing of existing instruments is particularly important if a review of the instrument content gives cause for concern. For example, if symptoms known to be common to the population to be studied in the clinical trial are missing from a measure meant to capture important symptoms in that population, we will question the instrument’s content validity. We cannot provide recommendations for the number or size of the individual patient interviews or focus groups for establishing content validity. The sample size depends on the completeness of the information obtained from analysis of the transcripts.

일반적으로 환자 수는 면담의 질과, 의도한 임상시험 집단의 특성에 비추어 표본에 포함된 환자의 다양성만큼 결정적이지 않다.

Generally, the number of patients is not as critical as interview quality and patient diversity included in the sample in relation to intended clinical trial population characteristics.

환자에게 가정적으로 응답하도록 묻는 문항은 환자가 실제 상태가 아니라 바라는 상태를 바탕으로 응답하게 할 수 있으므로 임상시험에는 권장되지 않는다. 예를 들어 일상 활동 수행 능력이라는 개념을 평가할 때, 환자는 실제로 하지 않는 일도 할 수 있다고 보고할 수 있으므로, 환자가 일상 활동을 할 수 있다고 인식하는지보다 특정 활동을 실제로 했는지(했다면 얼마나 어려웠는지)를 묻는 것이 더 적절하다.

Items that ask patients to respond hypothetically may cause patients to respond on the basis of their desired condition rather than on their actual condition and therefore are not recommended for clinical trials. For example, in assessing the concept ability to perform daily activities, it is more appropriate to ask whether or not the patient performed specific activities (and if so, with how much difficulty) than whether or not the patient perceived that he or she can perform daily activities, because patients may report they are able to perform a task even when they never do the task.

다문항 도구를 사용할 때에는 모든 문항이 임상시험 환자 대부분과 관련되는 것이 중요하다. 앞 문단의 예를 들면, 임상시험 환자 대부분이 하지 않을 활동을 문항에 포함한 측정을 사용하는 것은 매우 불리하다. 그렇게 하면 귀무가설 쪽으로의 편향, 즉 치료가 효과적이더라도 치료 효과가 없는 것으로 나타나는 경향이 생긴다. 이러한 경우 부정적인 응답(또는 활동이 거의 없거나 전혀 없다는 표시)은 유용하지 않다. 해당 없음 응답 선택지를 사용하면 점수 산출에 문제가 생긴다. 건너뛰기 패턴은 실시에 어려움을 줄 수 있다.

When using multi-item instruments, it is important that all items be relevant to most of the patients in the clinical trial. Using the example in the previous paragraph, it would be severely disadvantageous to use a measure with items that include activities most of the clinical trial patients would not perform. Doing so would yield a bias toward the null, or a tendency to show no effect of treatment, even if the treatment were effective. In such cases, a negative response (or indication of little to no activity) is not useful. Use of not applicable response options creates problems with scoring. Skip patterns may create difficulties in administration.

의뢰자는 데이터 수집 방법과, 면담자 지침, 자가 실시 지침 또는 자가 실시 감독 지침을 포함하여 도구 실시 방식과 관련된 모든 절차와 계획서를 고려하여야 한다. FDA는 데이터 수집 방법이나 도구 실시 방식에 특이적인 데이터 품질관리 절차를 증례기록서 또는 전자 PRO 도구의 화면 캡처와 함께 검토할 것이다. 실시 방식에는 자가 실시, 면담 또는 둘의 조합이 있을 수 있다. 데이터 수집 방법에는 종이 기반, 컴퓨터 지원 및 전화 기반 평가가 있을 수 있다. FDA는 하나의 임상시험에서 여러 데이터 수집 방법이나 실시 방식을 사용할 때 얻은 데이터의 비교 가능성을 검토하여, 치료 효과가 방법이나 방식에 따라 달라지는지 판단하고자 한다.

Sponsors should consider the data collection method and all procedures and protocols associated with the instrument administration mode, including instructions to interviewers, instructions for self-administration, or instructions for supervising self-administration. We will review data quality control procedures specific to the data collection method or instrument administration mode along with case report forms or screen shots of electronic PRO instruments. Administration modes can include self-administration, interview, or a combination of both. Data collection methods can include paper-based, computer-assisted, and telephone-based assessments. We intend to review the comparability of data obtained when using multiple data collection methods or administration modes within a single clinical trial to determine whether the treatment effect varies by method or mode.

환자 일지나 그 밖의 감독 없는 데이터 입력 방식을 사용한다면, FDA는 임상시험 계획서를 검토하여, 환자가 예컨대 보고가 수집되는 진료 방문 직전에 몰아서 입력하지 않고 임상시험 설계에 따라 입력하도록 어떤 조치를 취하는지 판단할 계획이다.

If a patient diary or some other form of unsupervised data entry is used, we plan to review the clinical trial protocol to determine what steps are taken to ensure that patients make entries according to the clinical trial design and not, for example, just before a clinic visit when their reports will be collected.

의뢰자는 또한 PRO 도구 회상 기간의 근거와 적절성을 평가하여야 한다. 이를 위해 요청한 정보를 환자가 타당하게 회상할 수 있는 능력을 고려하는 것이 중요하다. 가장 적합한 회상 기간의 선택은 도구의 목적과 의도한 용도, 측정하는 개념의 변동성·지속 기간·빈도·강도, 질환이나 질환 상태의 특성, 그리고 시험하는 치료에 따라 달라진다. PRO 기반 주장을 평가할 때 FDA는 임상시험 계획서를 검토하여, 환자가 도구의 회상 기간을 이해하도록 어떤 조치를 취했는지 판단하고자 한다. 많은 경우 실제 관심 대상은 짧은 기간(예: 2주 기간)에 걸친 통합 효과가 아니라, 혈압 임상시험에서 2주마다 측정하는 것과 비슷하게 일정한 간격(예: 2주, 4주, 6주)에서의 효과이다. 그런 경우 환자에게 최근 상태를 보고하도록 요청할 수 있다.

Sponsors should also evaluate the rationale and the appropriateness of the recall period for a PRO instrument. To this end, it is important to consider patient ability to validly recall the information requested. The choice of recall period that is most suitable depends on the instrument’s purpose and intended use; the variability, duration, frequency, and intensity of the concept measured; the disease or condition’s characteristics; and the tested treatment. When evaluating PRO-based claims, we intend to review the clinical trial protocol to determine what steps were taken to ensure that patients understood the instrument recall period. In many cases, what is of real interest is not the integrated effect over a short time period (e.g., 2-week period), but the effect at regular intervals (e.g., 2, 4, and 6 weeks), similar to how measurements might be made every 2 weeks in a blood pressure trial. In that case, patients can be asked to report on recent status.

또한 회상의 차이로 생기는 문제는 잡음을 늘리고 치료 효과를 흐리게 할 가능성이 크다는 점에 유의한다.

Note also that any problems created by differential recall are likely to add noise and obscure treatment effects.

환자가 기억에 의존해야 하는 PRO 도구, 특히 긴 기간에 걸쳐 회상하거나, 현재 상태를 이전 기간과 비교하거나, 일정 기간에 걸친 응답을 평균해야 하는 도구는 내용 타당도를 해칠 가능성이 크다. 응답은 회상하는 시점의 환자 상태에 영향을 받기 쉽다. 이러한 이유로 회상 기간이 짧은 문항이나 환자에게 현재 또는 최근 상태를 기술하도록 묻는 문항이 대개 더 바람직하다. 일정 기간에 걸친 경험을 자세히 회상하는 것이 필요하다면, FDA는 후향적으로 보고된 데이터의 타당도와 신뢰도를 높이는 적절한 방법과 기법(예: 회상 기간 중 가장 나빴던(또는 가장 좋았던) 경험을 바탕으로 응답하도록 요청하거나, 데이터 수집에 일지를 사용)을 도구에 사용할 것을 권고한다.

PRO instruments that call for patients to rely on memory, especially if they must recall over a long period of time, compare their current state with an earlier period, or average their response over a period of time, are likely to undermine content validity. Response is likely to be influenced by the patient’s state at the time of recall. For these reasons, items with short recall periods or items that ask patients to describe their current or recent state are usually preferable. If detailed recall of experience over a period of time is necessary, we recommend the instrument use appropriate methods and techniques for enhancing the validity and reliability of retrospectively reported data (e.g., ask patients to respond based on their worst (or best) experience over the recall period or make use of a diary for data collection).

각 문항의 응답 선택지가 그 목적과 의도한 용도에 부합하는지 고려하는 것도 중요하다. 표 3은 PRO 도구에서 흔히 볼 수 있는 다양한 문항 응답 선택지 유형 일부를 설명한다.

It is also important to consider whether the response options for each item are consistent with its purpose and intended use. Table 3 describes some of the various types of item response options that are typically seen in PRO instruments.

문항 응답 선택지는 일반적으로 다음과 같을 때 적절하다고 본다.

Item response options generally are considered appropriate when:

PRO 도구로 얻은 결과는 임상시험 중 환자에게 준 지침이나, 면담자 또는 PRO 데이터 수집을 감독하는 사람에게 실시한 교육에 따라 달라질 수 있다. 의뢰자는 작성 완료된 설문지를 검토하는 절차와 결측 데이터를 피하거나 응답을 명확히 하는 데 쓰는 절차를 포함하여, 개발자가 제공한 출판물과 사용자 매뉴얼에 담긴 모든 PRO 도구 지침과 절차를 고려하여야 한다.

Results obtained using a PRO instrument can vary according to the instructions given to patients or the training given to the interviewer or persons supervising PRO data collection during a clinical trial. Sponsors should consider all PRO instrument instructions and procedures contained in publications and user manuals provided by developers, including procedures for reviewing completed questionnaires and procedures used to avoid missing data or clarify responses.

임상시험에 사용하는 PRO 도구 형식이 도구 개발 과정에서 사용한 형식과 일치하는 것이 중요하다. 형식이란 PRO 데이터를 수집하는 데 사용하는 설문지, 일지 또는 면담 대본의 정확한 외형을 말한다. 형식은 실시 방식과 데이터 수집 방법에 특이적이다. FDA는 문항의 순서와 번호, 단일 응답 형식 또는 격자 형식으로 된 응답 선택지의 제시, 문항의 묶음, 질문 건너뛰기 패턴, 면담자나 환자에 대한 모든 지침을 포함하여 임상시험에 사용한 구체적인 형식을 검토할 계획이다.

It is important that the PRO instrument format used in the clinical trial be consistent with the format that is used during the instrument development process. Format refers to the exact questionnaire, diary, or interview script appearance used to collect the PRO data. Format is specific to the administration mode and the data collection method. We plan to review the specific format used in the clinical trial including the order and numbering of items, the presentation of response options in single response or grid formats, the grouping of items, patterns for skipping questions, and all instructions to interviewers or patients.

FDA는 PRO 도구 개발 과정에서 개발자가 제공하는 사용자 매뉴얼에, 실시자 부담, 환자 부담, 결측 데이터 및 낮은 데이터 품질을 최소화하는 방식으로 임상시험에 도구를 도입하는 방법을 명시할 것을 권고한다. 사용자 매뉴얼은 시험자와 면담자에게 PRO 실시의 핵심 원칙을 설명하여야 한다.

We recommend that the user manual provided by a developer during the PRO instrument development process specify how to incorporate the instrument into a clinical trial in a way that minimizes administrator burden, patient burden, missing data, and poor data quality. The user manual should explain to investigators and interviewers critical principles of PRO administration.

도구의 초안과 이후 수정안을 마련할 때, 의뢰자는 환자가 PRO 도구에 포함된 문항과 지침을 이해하는지에 관한 예비 시험으로 모든 문항과 절차를 검토하는 것이 권장된다. 이 검토에는 PRO 도구의 개념 틀에 나타난 개념이 확인되었고, 응답 선택지와 회상 기간이 적절히 이해되며, 도구의 가독성이 의도한 집단에 적절하다는 문서가 포함되어야 한다. 이러한 절차에 대한 FDA 평가에는 환자 인지 면담에 사용한 대본, 면담 녹취록, 사용한 가독성 시험(해당하는 경우), 사용성 시험 과정 설명(해당하는 경우), 인지 면담 분석, 그리고 인지 면담이나 예비 시험 결과에 따라 문항, 응답 척도 또는 환자 지침을 삭제하거나 변경한 조치를 담은 인지 면담 보고서의 검토가 포함될 가능성이 크다.

When the initial and subsequent drafts of an instrument are prepared, sponsors are encouraged to examine all items and procedures in a pilot test of whether patients understand the items and instructions included in the PRO instrument. This examination should include documentation that the concepts represented in the PRO instrument’s conceptual framework are confirmed, that the response options and recall period are appropriately comprehended, and that the instrument’s readability is adequate for the intended population. The FDA’s evaluation of these procedures is likely to include a review of a cognitive interviewing report containing the script used in patient cognitive interviews, the interview transcripts, the readability test used (if applicable), the usability testing process description (if applicable), the cognitive interviews analysis, and the actions taken to delete or modify items, response scales, or patient instructions in response to the cognitive interview or pilot test results.

환자 인지 면담 연구의 근거(즉, 면담 일정표, 녹취록, 단일 문항으로 끌어낸 모든 개념의 목록)는 어떤 개념이 언제 적절히 포착되는지 판단하는 데 사용할 수 있다. 인지 면담을 반복하면 내용 타당도를 확인하는 데 도움이 될 수 있다.

Evidence from the patient cognitive interview studies (i.e., the interview schedule, transcript, and listing of all concepts elicited by a single item) can be used to determine when a concept is adequately captured. Repeating cognitive interviews can help confirm content validity.

각 문항에 대해서는 일반적으로 그 문항에 가장 적절한 측정 척도(예: 명목, 서열, 등간 또는 비율 척도)를 바탕으로 각 응답 범주에 숫자 점수를 부여하여야 한다. FDA는 문항 응답의 분포를 검토하여 응답 선택지가 적절한 간격을 나타내는지 확인할 것이다.

For each item, numerical scores generally should be assigned to each answer category based on the most appropriate scale of measurement for the item (e.g., nominal, ordinal, interval, or ratio scales). We will review the distribution of item responses to ensure that the response choices represent appropriate intervals.

점수 산출 알고리즘은 여러 문항에서 하나의 점수를 만든다. FDA는 요약 점수가 적절하다는 근거를 검토할 것이다. 문항에 대한 응답이 서로 독립적일 때에는 각 문항에 같은 가중치를 둔 점수가 적절하다. 두 문항이 서로 종속적이면 수집되는 정보는 독립적인 두 문항보다 적으며, 이를 같은 가중치의 두 문항으로 다루면 과대 가중된다. 응답 선택지의 수나 응답 선택지에 부여한 값이 문항마다 다를 때에도 과대 가중이 문제가 될 수 있다. 영역 점수를 합쳐 하나의 일반 점수로 만들 때에도 같은 가중치 문제가 더 복잡한 형태로 적용된다. 의뢰자는 정성 연구나 정해진 통계 기법을 사용하여, 문항을 합쳐 점수를 만들거나 영역 점수를 합쳐 일반 점수를 만드는 데 선택한 방법을 정당화하여야 한다.

A scoring algorithm creates a single score from multiple items. We will review the evidence that the summary score is appropriate. Equally weighted scores for each item are appropriate when the responses to the items are independent. If two items are dependent, their collected information is less than two independent items and they are over-weighted when they are treated as two equally weighted items. Over-weighting also may be a concern when the number of response options or the values associated with response options varies by item. The same weighting concerns apply with added complexity when combining domain scores into a single general score. Using qualitative research or defined statistical techniques, sponsors should justify the method chosen to combine items to create a score or to combine domain scores to create a general score.

경험적으로 정한 환자 선호도 평정으로 문항이나 영역에 가중치를 둘 때에는, FDA는 표본의 구성과 선호도 가중치를 정하는 데 사용한 과정을 검토하고자 한다. 선호도 가중치는 흔히 자원 배분(예: 미리 정한 지역사회 가중치를 사용할 수 있는 비용-효과 분석에서와 같이)에 쓰려고 개발되므로, 같은 가중치를 임상시험 상황에서 치료 유익성을 입증하는 데 사용하고 싶어지기 쉽다. 그러나 선호도 가중치와 의도한 임상시험 집단의 관계가 알려져 있고 충분하고 적절하다고 확인되지 않는 한 이러한 관행은 권장하지 않는다.

When empirically determined patient preference ratings are used to weight items or domains, we intend to review the composition of samples and the process used to determine the preference weights. Because preference weights are often developed for use in resource allocation (e.g., as in cost-effectiveness analysis that may use predetermined community weights), it is tempting to use those same weights in the clinical trial setting to demonstrate treatment benefit. However, this practice is discouraged unless the preference weights’ relationship to the intended clinical trial population is known and found adequate and appropriate.

여러 영역을 합친 총점은 그 총점이 복잡하기는 하지만 하나의 개념을 나타낸다는 근거로 뒷받침되어야 한다. 앞서 III.C항 PRO 도구의 개념 틀에서 설명했듯이, 도구의 최종 개념 틀은 각 점수가 나타내는 개념을 문서화한다. 어떤 점수가 목표 주장을 뒷받침하려는 것이라면, 측정하는 개념은 목표 주장의 문구와 일치하게 된다. 일반적으로 FDA는 영역이나 도구의 명칭으로 표현한 주장을 권장하지 않는다. 그러한 명칭은 측정하는 개념을 나타내지 못하는 경우가 많기 때문이다.

Total scores combining multiple domains should be supported by evidence that the total score represents a single albeit complex concept. As described earlier in section III.C., Conceptual Framework of a PRO Instrument, the instrument’s final conceptual framework documents the concept represented by each score. If a score is intended to support a targeted claim, the concept measured will match the targeted claim language. Generally, we discourage claims expressed in terms of domain or instrument titles because they often do not represent the concept measured.

환자에게 지나친 신체적, 정서적 또는 인지적 부담을 주면 일반적으로 PRO 데이터의 질과 완전성이 떨어진다. 응답자 부담을 키울 수 있는 요인은 다음과 같다.

Undue physical, emotional, or cognitive strain on patients generally decreases the quality and completeness of PRO data. Factors that can contribute to respondent burden include the following:

임상시험에서 도구에 허용할 수 있는 응답자 부담의 정도는 계획서상 PRO 평가의 빈도와 시점, 그리고 환자의 인지 능력, 질환 중증도 또는 치료 독성에 따라 달라진다. 예를 들어 설문지에 앞 질문의 응답에 따라 하나 이상의 질문을 건너뛰라는 지침이 있으면, 응답자가 무엇을 해야 할지 이해하지 못해 응답에 오류를 범하거나 평가가 너무 복잡해서 끝마치지 못할 수 있다. 의뢰자는 결측 데이터와 거부율을 부적절한 응답자 부담 또는 부적절한 문항이나 응답 선택지를 나타내는 신호일 수 있는 것으로 고려하여야 한다.

The degree of respondent burden that is tolerable for instruments in clinical trials depends on the frequency and timing of PRO assessments in a protocol and on patient cognition, illness severity, or treatment toxicity. For example, if the questionnaire contains instructions to skip one or more questions based on response to a previous question, respondents may fail to understand what to do and make errors in responding or find the assessment too complicated to complete. Sponsors should consider missing data and the refusal rate as possible indications of inappropriate respondent burden or inappropriate items or response options.

도구의 내용 타당도가 확립되면, FDA는 PRO 도구 검토 중에 추가 측정 특성인 신뢰도, 구성 타당도 및 변화 감지 능력을 고려하고자 한다. FDA는 문서화된 PRO 도구의 개념 틀, 확인된 점수 산출 알고리즘, 실시 절차 및 설문지 형식에 특이적인 측정 특성을, 임상시험의 목적, 설계, 등록 집단 및 통계분석계획서(SAP)에 비추어 검토할 계획이다. FDA는 또한 PRO 도구를 개발하거나 시험하는 데 사용한 표본에 포함된 집단과 질환 상태가 계획한 임상시험에 적절한지 검토할 계획이다.

Once the instrument’s content validity has been established, we intend to consider the following additional measurement properties during FDA review of a PRO instrument: reliability, construct validity, and ability to detect change. We plan to review the measurement properties that are specific to the documented PRO instrument’s conceptual framework, confirmed scoring algorithm, administration procedures, and questionnaire format in light of the clinical trial’s objectives, design, enrolled population, and statistical analysis plan (SAP). We also plan to review whether the population and medical conditions included in any sample used to develop or test a PRO instrument are appropriate for the planned clinical trials.

또한 PRO 도구의 특정 측정 특성을 평가하기 위한 적절한 연구는 사전에 정한 가설을 검정하도록 설계되어야 한다. 예를 들어 구성 타당도를 확립하기 위해 새 PRO 측정을 같은 개념의 기존 측정과 같은 면담 중 또는 짧은 시간 간격을 두고 실시하여 비교하는 연구라면, 그 연구는 가설로 세운 상관 수준을 검정하도록 설계되어야 하고 결과는 그 가설에 비추어 논의되어야 한다.

In addition, an adequate study to evaluate any specific measurement property of a PRO instrument should be designed to test a prespecified hypothesis. For example, if the study compares a new PRO measure to an existing measure of the same concept administered during the same interview or within a short time of each other to establish construct validity, the study should be designed to test the hypothesized level of correlation and the results should be discussed in light of that hypothesis.

임상시험은 시간에 따른 변화를 측정하므로, PRO 도구가 임상시험에 사용하기에 적절한지는 그 신뢰도, 즉 참된 치료 효과에 대해 일관되고 재현 가능한 추정값을 내는 능력에 달려 있다.

Because clinical trials measure change over time, the adequacy of a PRO instrument for use in a clinical trial depends on its reliability or ability to yield consistent, reproducible estimates of true treatment effect.

FDA는 시험 문서를 검토하여 재현성(예: 검사-재검사 신뢰도)이 입증되었는지 판단할 것이다. 검사-재검사는 안정된 환자에서 검사와 재검사 사이의 시간 간격을 기억 효과가 최소화될 만큼 길게 잡을 때 가장 많은 정보를 준다. 선택하는 시간 간격은 평가하는 상태나 경험의 변동성, 그리고 안정된 환자의 변동이 아니라 질환 상태의 실제 변화를 반영하는, 시간에 따른 질환 상태나 집단의 변화 가능성에 따라 달라진다. 검사-재검사 신뢰도는 서로 다른 연구 계획서에 맞추기 위해 다양한 기간에 걸쳐, 또는 같은 계획서 안에서도 방문 사이의 서로 다른 간격으로 시험할 수 있다. FDA는 관해와 재발을 되풀이하거나 삽화적으로 나타나는 질환에서는 검사-재검사 신뢰도를 확립하기 어렵거나 불가능할 수 있음을 인정한다.

We will review documentation of tests to determine if reproducibility (e.g., test-retest reliability) has been demonstrated. Test-retest is most informative when the time interval chosen between the test and retest is long enough in stable patients to minimize memory effects. The time interval chosen depends on the variability of the state or experience being evaluated and on the potential for change in the condition or population over time that reflects actual change in the condition rather than variability in stable patients. Test-retest reliability can be tested over a variety of periods to satisfy different study protocols or even in different intervals between visits in the same protocol. We acknowledge that for remitting and relapsing or episodic diseases, test-retest reliability may be difficult or impossible to establish.

검사-재검사 신뢰도가 없는 상태에서 서로 다른 질문에 대한 응답 사이의 일치를 판단하는 내적 일관성 신뢰도 시험(예: 크론바흐 알파)은 임상시험 목적상 신뢰도의 충분한 근거가 되지 못할 수 있다. 그러나 시험의 다른 불완전성과 마찬가지로, 일반적으로 신뢰도의 결함은 베타(제2종) 오류를 키우는 경향이 있으며, 신뢰도가 낮은 도구가 위양성 결과를 낼 가능성은 낮다.

Internal consistency reliability tests (e.g., Cronbach’s alpha) to determine agreement among responses to different questions, in the absence of test-retest reliability, may not constitute sufficient evidence of reliability for clinical trial purposes. However, as is true for other imperfections in testing, in general, flaws in reliability tend to increase the beta (Type II) error, and instruments demonstrating poor reliability are unlikely to give a false positive result.

PRO 도구를 면담자가 실시하는 경우, FDA는 면담자 간 재현성을 검토할 것이다. 면담자 간 재현성은 도구 실시의 표준화와 그 표준에 관한 면담자 교육에 달려 있다.

When PRO instruments are interviewer-administered, we will review inter-interviewer reproducibility. Inter-interviewer reproducibility depends on instrument administration standardization and interviewer training on this standard.

FDA는 내용 타당도(III.D항 내용 타당도에서 다룸)에 더해 구성 타당도의 근거와, 적절한 경우 기준 타당도의 근거를 평가할 것이다.

In addition to content validity (discussed in section III.D., Content Validity), we will evaluate evidence of construct validity, and if appropriate, criterion validity.

구성 타당도는 문항, 영역 및 개념 사이의 관계가 다른 측정이나 환자 및 환자군의 특성과의 사이에 존재하여야 하는 논리적 관계에 관한 사전 가설에 부합한다는 근거로 판단한다.

Construct validity is determined by evidence that relationships among items, domains, and concepts conform to a priori hypotheses concerning logical relationships that should exist with other measures or characteristics of patients and patient groups.

FDA는 도구의 구성 타당도를 검토하여, 그 도구로 얻은 결과와 다른 측정으로 얻은 결과 사이에 문서화된 관계가 그 관계에 관한 기존 가설(즉, 판별 타당도 및 수렴 타당도)과 일치하는지 판단할 것이다. FDA는 또한 도구가 임상적으로 구별되는 군을 서로 구분할 수 있다는 근거(즉, 알려진 집단 타당도)를 검토할 것이다.

We will review the construct validity of an instrument to determine whether the documented relationships between results gathered using the instrument and results gathered using other measures are consistent with pre-existing hypotheses concerning those relationships (i.e., discriminant and convergent validity). We will also review evidence that the instrument can differentiate between clinically distinct groups (i.e., known groups validity).

앞서 말했듯이 일반 개념에 관한 단일 문항 질문은 주장을 뒷받침하는 데 유용하지 않지만, 같은 개념의 다문항 측정의 구성 타당도를 평가하고 일반 개념의 중요한 문항이나 영역이 빠져 있는지 판단하는 데에는 유용할 수 있다. 예를 들어 단일 문항 일반 질문으로 얻은 결과가 같은 일반 개념의 다문항 설문지로 얻은 결과와 상관이 없다면, 이는 그 설문지가 일반 개념의 중요한 영역을 모두 포착하지 못한다는 근거일 수 있다.

As stated earlier, single-item questions about general concepts are not useful to support claims; however, they can be useful to help assess the construct validity of multi-item measures of the same concept and to determine whether important items or domains of a general concept are missing. For example, when results using single-item general questions do not correlate with results using a multi-item questionnaire of the same general concept, this may be evidence that the questionnaire is not capturing all the important domains of the general concept.

기준 타당도는 PRO 도구의 점수가 같은 개념의 알려진 표준(gold standard) 측정과 관련된 정도이다. 드물게 평가하는 PRO 개념에 대해 기준 측정이 있다고 주장되는 경우(예: 새 수면 척도를 수면다원검사라는 임상 측정과 비교), FDA는 도구의 기준 타당도도 검토할 것이다. 그러나 대부분의 PRO에서는 측정할 개념의 성격상 기준 측정이 존재할 수 없으므로 기준 타당도 시험이 가능하지 않다. 이는 증상을 환자만 알 수 있는 모든 증상 측정에 해당한다. 기준 측정을 사용한다면, 의뢰자는 그 기준에 대한 근거와 뒷받침 자료를 제출하여야 한다. FDA는 PRO 측정이 기준 측정과 상관되는 정도와 함께 기준 측정의 민감도, 특이도 및 예측값을 검토할 것이다.

Criterion validity is the extent to which the scores of a PRO instrument are related to a known gold standard measure of the same concept. In rare cases, we will also review the criterion validity of an instrument if a criterion measure is purported for the PRO concept assessed (e.g., comparing a new sleep scale to a clinical measure of polysomnography). However, for most PROs, criterion validity testing is not possible because the nature of the concept to be measured does not allow for a criterion measure to exist. This is true for any symptom measure where the symptom is known only to the patient. If a criterion measure is used, sponsors should provide rationale and support for that criterion. We will review the extent to which the PRO measure is correlated with the criterion measure as well as the sensitivity, specificity, and predictive value of the criterion measure.

FDA는 PRO 점수의 변화를, 관심 개념에 관해 환자 상태가 변했음을 나타내는 다른 비슷한 측정의 변화와 비교한 데이터를 사용하여 도구의 변화 감지 능력을 검토할 것이다. 변화 감지 능력의 검토에는 도구가 측정 개념의 호전과 악화에 똑같이 민감하고, 임상시험 집단에서 예상되는 전체 범위 안의 모든 지점에서 변화에 똑같이 민감하다는 근거가 포함된다.

We will review an instrument’s ability to detect change using data that compare change in PRO scores to change in other similar measures that indicate that the patient’s state has changed with respect to the concept of interest. A review of the ability to detect change includes evidence that the instrument is equally sensitive to gains and losses in the measurement concept and to change at all points within the entire range expected for the clinical trial population.

어떤 개념에 대한 환자의 경험이 변할 것으로 예측될 때에는, 그 개념을 측정하는 PRO 도구의 값도 변하여야 한다. 그 개념에 관한 환자 경험이 변했다는 분명한 근거가 있는데도 PRO 점수가 변하지 않으면, 변화 감지 능력이 부적절하거나 PRO 도구의 타당도를 의심하여야 한다. PRO 점수가 관심 개념에 특이적이지 않은 변화에 영향을 받는다는 근거가 있으면, PRO 도구의 타당도에 의문이 제기될 수 있다.

When patient experience of a concept is predicted to change, the values for the PRO instrument measuring that concept should change. If there is clear evidence that patient experience relative to the concept has changed, but the PRO scores do not change, then either the ability to detect change is inadequate or the PRO instrument’s validity should be questioned. If there is evidence that PRO scores are affected by changes that are not specific to the concept of interest, the PRO instrument’s validity may be questioned.

도구의 변화 감지 능력은 치료 유효성을 평가하기 위한 표본 크기에 영향을 준다. PRO 도구의 변화 감지 능력이 중요한 환자 하위군(예: 성별, 인종 또는 나이)에 따라 달라지는 정도는 임상시험 결과에 영향을 줄 수 있다. 변화 감지 능력에서 중요한 하위군 차이가 알려져 있다면, 결과를 평가할 때 그 문서화된 차이를 고려할 수 있다. 일반적으로 변화를 감지하지 못하면 치료 효과가 없다는 귀무가설을 지지하는 경향이 있다.

The ability of an instrument to detect change influences the sample size for evaluating the effectiveness of treatment. The extent to which the PRO instrument’s ability to detect change varies by important patient subgroups (e.g., sex, race, or age) can affect clinical trial results. If important subgroup differences in ability to detect change are known, these documented differences can be taken into account in assessing results. In general, an inability to detect change tends to support the null hypothesis of no treatment effect.

도구의 개발과 시험이 적절한지는 집단, 질환 상태, 그리고 도구를 개발한 측정 상황의 그 밖의 측면에서 볼 때 의도한 적용 상황에 특이적이다. PRO 도구를 변경할 때에는 의뢰자는 일반적으로 새 도구의 적절성을 확인하는 근거를 제출하여야 한다. 그렇다고 적용 상황이나 형식의 작은 변경마다 최종판의 측정 특성을 문서화하기 위한 광범위한 연구가 필요하다는 뜻은 아니다. 변경 유형에 따라서는 추가 정성 작업으로 충분할 수 있다. 같은 질문 세트에 환자가 응답하는 방식을 바꿀 수 있는 변경의 예는 다음과 같다.

The adequacy of an instrument’s development and testing is specific to its intended application in terms of population, condition, and other aspects of the measurement context for which the instrument was developed. When a PRO instrument is modified, sponsors generally should provide evidence to confirm the new instrument’s adequacy. That is not to say that every small change in application or format necessitates extensive studies to document the final version’s measurement properties. Additional qualitative work may be adequate depending on the type of modification made. Examples of changes that can alter the way that patients respond to the same set of questions include:

형식이 다른 설문지 판 사이의 응답 분포를 비교하는 데(예: 응답 척도를 세로에서 가로로 바꾸는 경우)에는 소규모 비무작위 연구로 충분할 수 있다. PRO 도구를 상당히 다른 환자 집단(예: 다른 질환이나 연령군)에서 사용할 경우, FDA는 새 집단에서 내용 타당도를 확인하기 위해 정성 연구를 사용하도록 권고할 수 있다. 새 집단에서 측정 특성을 확인하는 소규모 무작위 연구는 도구가 적절하게 작동하지 않을 위험을 최소화할 수 있다.

A small nonrandomized study may be adequate to compare the distribution of responses between versions of a questionnaire with different formats (e.g., changing a response scale from vertical to horizontal). If the PRO instrument will be used in a significantly different patient population (e.g., a different disease or age group), we may recommend using qualitative studies to confirm content validity in the new population. A small randomized study to ascertain the measurement properties in the new population may minimize the risk that the instrument will not perform adequately.

앞에서 언급한 바와 같이, 하나의 임상시험에서 도구의 여러 판을 사용할 경우에는 그 판들의 내용 타당도와 그 밖의 측정 특성이 서로 비슷하다는 문서가 있어야 한다. 소아·청소년, 인지 장애가 있거나 중증 질환 때문에 의사소통을 할 수 없는 환자, 그리고 여러 문화권이나 언어군에 걸쳐 PRO 개념을 측정할 때에는 이미 언급한 문제 외에도 추가적인 어려움이 생긴다. 이러한 어려움을 아래에서 다룬다.

As previously mentioned, if multiple versions of an instrument will be used in a clinical trial, documentation should exist that the content validity and other measurement properties of those versions are similar to each other. Measurement of PRO concepts in children and adolescents, in patients who have cognitive impairment or are unable to communicate because of serious illness, and across culture or language groups introduces challenges in addition to those already mentioned. These challenges are discussed below.

일반적으로 소아용 PRO 도구의 개발 과정에 관한 검토 사항은 성인에 대해 자세히 설명한 사항과 비슷하다. 소아·청소년에게 적용하는 PRO 도구에 대한 추가 검토 사항에는 연령에 따른 어휘, 언어 이해력, 측정하는 건강 개념의 이해, 그리고 회상 기간이 포함된다. 발달상의 차이를 고려하고, 소아가 질문을 이해하여 연령 범주 사이에 비교할 수 있는 신뢰성 있고 타당한 응답을 할 수 있는 하한 연령을 정하려면, 꽤 좁은 연령군 안에서 도구를 개발하는 것이 중요하다. FDA는 이 집단에 대리인 보고 결과(proxy-reported outcome) 측정(즉, 환자가 아닌 사람이 자신이 환자인 것처럼 응답하는 보고)을 권장하지 않는다.

In general, the review issues related to the development process for pediatric PRO instruments are similar to the issues detailed for adults. Additional review issues for PRO instruments applied in children and adolescents include age-related vocabulary, language comprehension, comprehension of the health concept measured, and duration of recall. Instrument development within fairly narrow age groupings is important to account for developmental differences and to determine the lower age limit at which children can understand the questions and provide reliable and valid responses that can be compared across age categories. We discourage proxy-reported outcome measures for this population (i.e., reports by someone who is not the patient responding as if that person were the patient).

스스로 응답할 수 없는 환자(예: 영아 환자)의 경우, FDA는 관찰할 수 있는 사건이나 행동만을 포함하는 관찰자 보고를 권장한다. 예를 들어 관찰자는 영아의 통증 강도를 타당하게 보고할 수 없지만, 통증 때문에 생긴다고 생각되는 영아의 행동은 보고할 수 있다.

For patients who cannot respond for themselves (e.g., infant patients), we encourage observer reports that include only those events or behaviors that can be observed. For example, observers cannot validly report an infant’s pain intensity but can report infant behavior thought to be caused by pain.

FDA는 이 집단에 대리인 보고 결과 측정을 권장하지 않는다. 스스로 응답할 수 없는 환자(예: 인지 장애가 있는 환자)의 경우, FDA는 관찰할 수 있는 사건이나 행동만을 포함하는 관찰자 보고를 권장한다.

We discourage proxy-reported outcome measures for this population. For patients who cannot respond for themselves (e.g., cognitively impaired), we encourage observer reports that include only those events or behaviors that can be observed.

많은 개발 프로그램이 다국가로 진행되므로, 임상시험에서 PRO 도구를 여러 문화권이나 언어에 적용하는 일은 흔하다. 도구를 여러 문화권이나 언어에서 동시에 개발했든, 완전히 개발된 도구를 새로운 문화권이나 언어에 맞게 조정하거나 번역했든, FDA는 의뢰자가 임상시험에서 사용하는 모든 판 사이에 내용 타당도와 그 밖의 측정 특성이 충분히 비슷하다는 근거를 제출할 것을 권고한다. FDA는 시험에서 도구를 사용할 집단을 위해 도구를 번역하고 문화적으로 조정하는 데 사용한 과정을 검토할 것이다.

Because many development programs are multinational, application of PRO instruments to multiple cultures or languages is common in clinical trials. Regardless of whether the instrument was developed concurrently in multiple cultures or languages or whether a fully developed instrument was adapted or translated to new cultures or languages, we recommend that sponsors provide evidence that the content validity and other measurement properties are adequately similar between all versions used in the clinical trial. We will review the process used to translate and culturally adapt the instrument for populations that will use them in the trial.

다른 평가변수 측정에 적용되는 임상시험 설계 원칙은 PRO에도 똑같이 적용된다. 따라서 이 항은 그 원칙을 포괄적으로 개관하지 않고, 주로 PRO 평가변수에 고유한 사항에 초점을 맞춘다.

The same clinical trial design principles that apply to other endpoint measures also apply to PROs. Therefore, this section is not a comprehensive overview of those principles but rather focuses primarily on issues unique to PRO endpoints.

PRO 측정의 목표가 표시기재 주장을 뒷받침하는 것이라면, PRO 개념 측정을 구체적인 임상시험 목적이나 가설로 명시하여야 한다. 계획서의 증례기록서에 실시할 특정 PRO 도구의 정확한 형식과 판을 포함하는 것이 중요하다. 도구의 전자판을 사용할 경우, 계획서에 화면 캡처나 그 밖의 비슷한 도구 표현물을 포함할 수 있다. FDA는 신약 허가신청(NDA)/생물의약품 허가신청(BLA)/의료기기 시판 전 승인(PMA) 또는 NDA/BLA/PMA 변경신청(supplement)을 심사하는 과정에서, 계획했던 PRO 도구 및 그 분석과 실제로 사용한 PRO 도구 및 그 분석을 모두 비교할 계획이다.

If the PRO measurement goal is to support labeling claims, PRO concept measurement should be stated as a specific clinical trial objective or hypothesis. It is important that the case report form in the protocol include the exact format and version of the specific PRO instrument to be administered. If an electronic version of the instrument will be used, the protocol can include screen shots or other similar instrument representations. In the process of considering the new drug application (NDA)/biologics license application (BLA)/medical device premarket approval (PMA) or NDA/BLA/PMA supplement, we intend to compare both the planned and actual PRO instrument used and its analysis.

환자와 시험책임자가 배정된 치료를 알고 있는 공개(open-label) 임상시험은 PRO 도구에 근거한 표시기재 주장을 뒷받침하기에 적절한 경우가 드물다. 자신이 활성 치료군에 있다는 것을 아는 환자는 유익성을 과대평가할 수 있는 반면, 활성 치료를 받지 않는다는 것을 아는 환자는 실제로 경험한 개선도 과소 보고할 수 있다. 같은 이유로, 환자의 인식에 영향을 주지 않도록 진료 방문 중에 실시하는 PRO 도구는 다른 임상 평가나 시술보다 먼저 실시하여야 한다.

Open-label clinical trials, where patients and investigators are aware of assigned therapy, are rarely adequate to support labeling claims based on PRO instruments. Patients who know they are in an active treatment group may overestimate benefit whereas patients who know they are not receiving active treatment may underreport any improvement actually experienced. For the same reasons, to prevent influencing patient perceptions, PRO instruments administered during a clinic visit should be administered before other clinical assessments or procedures.

눈가림 임상시험에서는 시험 전 기간에 걸쳐 환자가 치료 배정을 알지 못하도록 눈가림하여야 한다. 치료에 이상사례와 같은 뚜렷한 영향이 있으면, 임상시험에서 의도하지 않은 눈가림 해제가 일어날 위험이 있을 수 있다. 이러한 상황에서 의뢰자는 눈가림 해제 가능성의 영향을 최소화할 수 있는 PRO 도구 실시 기법을 사용할 수 있다. 예를 들어 현재 상태를 묻는 응답 선택지를 사용하고, 환자가 이전 응답을 볼 수 없게 하며, 같은 개념에 관한 문항이 많은 도구를 사용하는 것이다.

In blinded clinical trials, patients should be blinded to treatment assignment throughout the trial. If the treatment has obvious effects, such as adverse events, the clinical trial may be at risk for unintentional unblinding. In these situations, sponsors can use PRO instrument administration techniques that may minimize the effects of possible unblinding, such as using response options that ask for current status, not giving patients access to previous responses, and using instruments that include many items about the same concept.

부주의한 눈가림 해제가 의심되면 FDA가 PRO 평가변수를 평가할 때 문제가 되는 검토 사항이 될 수 있다. 따라서 임상시험에 PRO 도구를 포함할 때, FDA는 의뢰자가 시험 중이나 시험 종료 시에 환자가 자신이 참여했다고 생각하는 임상시험 군을 밝히도록 묻는 단일 문항을 포함할 것을 권장한다.

Suspicion of inadvertent unblinding can be a problematic review consideration for the FDA when assessing PRO endpoints. Therefore, when PRO instruments are included in a clinical trial, we encourage sponsors to include a single item during or at the end of the trial to ask patients to identify the clinical trial arm in which they believe they participated.

임상시험 결과를 해석할 때에는 의도적인 눈가림 해제의 영향을 고려하는 것이 중요하다. 일부 의료기기의 평가나 식별 가능한 치료 요법의 투여처럼 눈가림이 불가능한 상황이 있고, 합리적인 대조군이 없는(따라서 무작위배정도 없는) 상황도 있다. 그러한 상황에서 PRO 도구가 환자 유익성 평가에 유용해 보이면, FDA는 의뢰자가 해당 심사 부서와 협의할 것을 권장한다.

The effect of intentional unblinding is important to consider in the interpretation of clinical trial results. There are certain situations, such as in the evaluation of some medical devices or administration of identifiable treatment regimens, where blinding is not feasible and other situations where there is no reasonable control group (and therefore no randomization). When a PRO instrument appears useful in assessing patient benefit in those situations, we encourage sponsors to confer with the appropriate review division.

임상시험의 품질은 설계 단계에서 시험 수행의 불일치를 최소화하는 절차를 계획서에 명시함으로써 최적화할 수 있다. FDA는 PRO 평가와 그 밖의 임상 평가를 실시하는 순서를 표준화할 것을 권고한다. 계획서에 들어갈 수 있는 표준화된 지시와 과정의 다른 예는 다음과 같다.

The quality of a clinical trial can be optimized at the design stage by specifying in the protocol procedures to minimize inconsistencies in trial conduct. We recommend a standardized order by which PRO and other clinical assessments are administered. Other examples of standardized instructions and processes that can appear in the protocol include:

환자가 방문하지 않거나, 설문지를 완료하지 않거나, 계획된 종료 전에 임상시험에서 중도 탈락하는 경우가 있다. 그 결과 생기는 결측 데이터는 처음 무작위배정된 집단의 일부만 기여하고 이들 환자군이 더 이상 비교 가능하지 않을 수 있으므로, 비뚤림을 일으키고 시험군과 대조군의 효과를 비교하는 능력을 방해할 수 있다. 결측 데이터는 모든 임상시험의 성공과 해석에 큰 난제이다. 임상시험 계획서에는 분석에서 결측 데이터를 어떻게 처리할지 기술하여야 한다.

Sometimes patients fail to report for visits, fail to complete questionnaires, or withdraw from a clinical trial before its planned completion. The resulting missing data can introduce bias and interfere with the ability to compare effects in the test group with the control group because only a subset of the initial randomized population contributes, and these patient groups may no longer be comparable. Missing data is a major challenge to the success and interpretation of any clinical trial. The clinical trial protocol should describe how missing data will be handled in the analysis.

계획서는 환자가 예정된 시점에 방문하지 않거나 치료 또는 임상시험에서 중도 탈락하는 치료 관련 사유를 모두 수집하는 대비 계획을 세우고, 시험 종료 전 환자 탈락을 최소화하도록 노력함으로써 임상시험이 그래도 유용한 정보를 줄 가능성을 높일 수 있다. 환자는 치료를 중단했더라도 임상시험에 남아 있어야 하고, PRO 데이터를 계속 제공하여야 한다. 계획서에는 또한 조기 중단을 막을 수 없을 경우 환자가 치료를 중단하기 전이나 중단 직후에 PRO 측정값을 얻는 과정을 정하여야 한다.

The protocol can increase the likelihood that a clinical trial will still be informative by establishing backup plans for gathering all treatment-related reasons for patients failing to report at scheduled times or withdrawing from a treatment or the clinical trial and by trying to minimize patient dropouts before trial completion. Patients should remain in the clinical trial, even if they have discontinued treatment, and should continue to provide PRO data. The protocol should also establish a process by which PRO measurement is obtained before or shortly after patient withdrawal from treatment should early withdrawal be unpreventable.

PRO 평가 빈도는 다루려는 구체적인 연구 질문, 도구의 응답 선택지가 묻는 회상 기간의 길이, 입증된 도구 측정 특성, 질환이나 질환 상태의 자연경과, 치료의 성격, 그리고 계획된 데이터 분석에 부합하여야 한다. 질환, 질환 상태 또는 임상시험 설계에 따라서는 두 번 이상의 기저치 평가와 치료 중 여러 번의 PRO 평가가 필요할 수 있다.

The frequency of PRO assessment should correspond with the specific research questions being addressed, length of recall asked by the instrument’s response options, demonstrated instrument measurement properties, the disease or condition’s natural history, the treatment’s nature, and planned data analysis. Some diseases, conditions, or clinical trial designs may necessitate more than one baseline assessment and several PRO assessments during treatment.

PRO 평가 기간은 제기하는 PRO 연구 질문에 따라 달라진다. 임상시험 기간이 제안하는 주장을 뒷받침하고 연구 대상 질환이나 질환 상태에서 지속적인 결과를 평가하기에 충분한 길이인지 고려하는 것이 중요하다. 일반적으로 PRO 평가의 추적 기간은 다른 유효성 측정의 추적 기간과 같아야 한다. 그러나 PRO 관련 목적에 적절한 임상시험 기간이 다른 평가변수에 적절한 기간과 같지 않을 수도 있다.

The duration of PRO assessment depends on the PRO research questions being posed. It is important to consider whether the clinical trial’s duration is of adequate length to support the proposed claim and assess a durable outcome in the disease or condition being studied. Generally, duration of follow-up with a PRO assessment should be the same as for other measures of effectiveness. However, the clinical trial duration appropriate for the PRO-related objective may not be the same duration as for other endpoints.

평가변수 모형에 도식화한 평가변수의 단일 위계(III.A항 평가변수 모형의 그림 1과 2 참조)는 시험에 명시된 목적과, 각 특정 측정의 개별적인 그리고 서로 간의 관계에서의 임상적 관련성과 중요성에 따라 정해진다. FDA는 일차 평가변수와 주요 이차 평가변수로 사전에 정한 위계에 속하지 않는 평가변수는 모두 탐색적인 것으로 본다. 표시기재 주장을 위한 것이 아니라 경제성 평가를 위해 포함한 평가변수는 그렇게 지정하여야 하며, 탐색적인 것으로 간주된다. PRO 측정은 임상시험의 일차 평가변수 측정, 다른 PRO 측정·다른 임상 평가변수 또는 의사 평가 측정과 함께하는 공동 일차 평가변수 측정, 또는 위계적 순서에 따라 분석을 고려하는 이차 평가변수 측정이 될 수 있다.

A single hierarchy of endpoints as diagrammed in an endpoint model (see Figures 1 and 2 in section III.A., Endpoint Model) is determined by the trial’s stated objectives and the clinical relevance and importance of each specific measure independently and in relationship to each other. We consider any endpoints that are not part of the prespecified hierarchy of primary and key secondary endpoints to be exploratory. Endpoints included for economic evaluation that are not intended for labeling claims should be designated as such, and will be regarded as exploratory. A PRO measurement can be the clinical trial’s primary endpoint measure, a co-primary endpoint measure in conjunction with another PRO measure, other clinical endpoints or physician-rated measurements, or a secondary endpoint measure whose analysis is considered according to a hierarchical sequence.

데이터의 눈가림을 해제한 뒤에 이러한 기준과 조건을 정하면 신뢰할 수 없으므로, 임상시험 계획서에 평가변수 측정과 통계 분석 및 결과 해석의 기준을 정하고, 임상시험이 긍정적이라고 결론 내리는 조건도 명시하는 것이 매우 중요하다. 의뢰자는 임상시험 설계나 데이터 분석에서 PRO 평가변수를 임상시험의 일차 목적과 따로 떼어 고려하는 것을 피하여야 한다. 의뢰자는 또한 제안 표시기재에 넣기 위해 PRO 평가변수 결과를 골라내거나(cherry picking) 사후에 선택적으로 고르는 것을 피하여야 한다.

It is critical that the clinical trial protocol define the endpoint measures and the criteria for the statistical analysis and interpretation of results, including a specification of the conditions for a positive clinical trial conclusion, because determination of these criteria and conditions after data are unblinded will not be credible. Sponsors should avoid separate consideration of PRO endpoints from the clinical trial’s primary objectives in terms of clinical trial design or data analysis. Sponsors also should avoid cherry picking or post hoc selective picking of PRO endpoint results for inclusion in proposed labeling.

임상시험의 일차 평가변수가 치료에 대한 개별 반응에 근거하든 군 반응에 근거하든, 대개는 사전에 정한 반응자 정의(즉, 치료 유익성으로 해석하여야 하는, 미리 정한 기간 동안의 개별 환자 PRO 점수 변화)를 이용하여 개별 반응을 제시하는 것이 유용하다. 반응자 정의는 경험적으로 정해지며, 대상 집단이나 그 밖의 임상시험 설계 특성에 따라 다를 수 있다. 따라서 FDA는 도구의 반응자 정의를 각 특정 임상시험의 맥락에서 평가할 것이다.

Regardless of whether the primary endpoint for the clinical trial is based on individual responses to treatment or the group response, it is usually useful to display individual responses, often using an a priori responder definition (i.e., the individual patient PRO score change over a predetermined time period that should be interpreted as a treatment benefit). The responder definition is determined empirically and may vary by target population or other clinical trial design characteristics. Therefore, we will evaluate an instrument’s responder definition in the context of each specific clinical trial.

반응자 정의에 대한 경험적 근거는 기준점 기반 방법(anchor-based method)으로 도출한다. 기준점 기반 방법은 PRO 도구가 목표로 하는 개념과 기준점이 측정하는 개념 사이의 연관성을 탐색한다. 유용하려면, 선택한 기준점은 PRO 측정 자체보다 해석하기 쉬워야 한다. 예를 들어 요실금 일지로 수집한 요실금 횟수는 요실금으로 인한 불편감을 평가하는 PRO 도구의 반응자 정의를 정하는 데 사용되어 왔다. 요실금 횟수의 50 퍼센트 감소를 PRO 도구에서 반응자를 정의하는 기준점으로 제안할 수 있을 것이다. 초기 임상시험에서 이 기준점 접근법을 확인하면 확증 시험에서 제안하는 반응자 정의의 근거가 될 수 있다.

The empiric evidence for any responder definition is derived using anchor-based methods. Anchor-based methods explore the associations between the targeted concept of the PRO instrument and the concept measured by the anchors. To be useful, the anchors chosen should be easier to interpret than the PRO measure itself. For example, the number of incontinence episodes collected in incontinence diaries has been used to determine a responder definition for PRO instruments assessing the annoyance of incontinence. A 50 percent reduction in incontinence episodes might be proposed as the anchor for defining a responder on the PRO instrument. Confirmation of this anchor approach in early clinical trials can provide the basis for the proposed responder definition in the confirmatory trials.

반응자를 정의하는 또 다른 기준점 기반 접근법은 여러 시점에 또는 임상시험 종료 시에 실시하는 환자의 변화 평정을 활용한다. 이러한 수치 평정은 나빠짐에서 같음, 좋아짐까지의 범위를 가진다. 자신의 상태를 같음 또는 좋아짐이나 나빠짐으로 평정한 사람들의 PRO 점수 차이를 이용하여 치료 반응자를 정의할 수 있다. 환자가 치료 배정에 대해 눈가림되어 있지 않을 때에는 환자의 변화 평정은 기준점으로서 덜 유용하다.

Another anchor-based approach to defining responders makes use of patient ratings of change administered at different periods of time or upon exit from a clinical trial. These numerical ratings range from worse to the same and better. The difference in the PRO score for persons who rate their condition the same and better or worse can be used to define responders to treatment. Patient ratings of change are less useful as anchors when patients are not blinded to treatment assignment.

반응자를 정의하는 또 다른 접근법들은 분포 기반 방법으로, 예를 들어 개인 간 표준편차나 측정의 표준오차를 이용하여 척도에서 의미 있는 변화를 정의한다. 분포 기반 방법은 이러한 변화를 작음, 중간, 큼으로 분류하는 데 사용할 수 있으며, 흔히 기준점 기반 추정값과 결합하여 반응자 정의에 대한 신뢰를 줄 수 있다. 특정 점수 변화의 임상적 유의성을 정하는 분포 기반 방법은 보조적인 것으로 보아야 하며, 반응자 정의를 정하는 유일한 근거로는 적절하지 않다.

Another set of approaches to defining a responder are distribution-based methods that use, for example, the between-person standard deviation or the standard error of measurement to define a meaningful change on a scale. Distribution-based methods can be used to categorize these changes as small, moderate, and large and often can be combined with anchor-based estimates to provide confidence in the responder definition. Distribution-based methods for determining clinical significance of particular score changes should be considered as supportive and are not appropriate as the sole basis for determining a responder definition.

또는 치료군과 대조군의 응답 분포 전체를 제시하여 반응자 기준을 고를 필요를 없앨 수도 있다. 개별 반응이 의미 있는지는 판단의 문제이지만, 그 문제는 생존을 제외한 거의 모든 평가변수에 존재한다. 이러한 누적분포 표시는 X축에 기저치 대비 변화 퍼센트를, Y축에 그 변화를 경험한 환자의 퍼센트를 나타내는 연속 그래프를 보여 준다. 이런 표시 방식이 반응자의 범주형 정의를 제시하려는 것보다 나을 수 있다. 반응의 누적분포 곡선을 따라 다양한 반응자 정의를 확인할 수 있다.

Alternatively, it is possible to present the entire distribution of responses for treatment and control group, avoiding the need to pick a responder criterion. Whether the individual responses are meaningful represents a judgment, but that problem is present with almost all endpoints except survival. Such cumulative distribution displays show a continuous plot of the percent change from baseline on the X-axis and the percent of patients experiencing that change on the Y-axis. This display type may be preferable to attempting to provide categorical definitions of responders. A variety of responder definitions can be identified along the cumulative distribution of response curve.

임상시험 SAP의 해석 고려사항에 관한 안내는 V.E항 임상시험 결과의 해석에 있다.

Guidance on interpretation considerations for a clinical trial’s SAP is found in section V.E., Interpretation of Clinical Trial Results.

PRO 도구를 사용할 때, 의뢰자는 의뢰자와 시험책임자의 기록 보관, 유지 및 열람에 관한 FDA 규제 요건이 충족되도록 보장하여야 한다.⁶ 이러한 책임은 임상시험 데이터를 기록하는 방법과 관계없으며, 따라서 전자 PRO 데이터를 포함한 모든 유형의 PRO 데이터에 적용된다. 의뢰자는 시험책임자에게 임상시험을 적절히 수행하는 데 필요한 모든 정보를 제공하고, 임상시험을 모니터링하며, 임상시험이 시험 계획에 따라 수행되도록 보장하고, FDA가 임상시험 관련 기록과 보고서를 열람·복사·검증할 수 있도록 할 책임이 있다.

When PRO instruments are used, sponsors must ensure that FDA regulatory requirements are met for sponsor and investigator record keeping, maintenance, and access.⁶ These responsibilities are independent of the method used to record clinical trial data and, therefore, apply to all types of PRO data including electronic PRO data. Sponsors are responsible for providing investigators with all information to conduct the investigation properly, for monitoring the investigation, for ensuring that the investigation is conducted in accordance with the investigational plan, and for permitting the FDA to access, copy, and verify records and reports relating to the investigation.

시험책임자의 주요 기록 보관 요건에는 적절하고 정확한 증례 이력(증례기록서와 근거 데이터 포함)의 작성과 유지, 기록 보존, 그리고 FDA가 기록을 열람·복사·검증할 수 있도록 하는 것(즉, 원자료 검증)이 포함된다. 종이 PRO 도구를 사용할 때에는 환자가 대개 일지를 시험책임자에게 돌려주고 시험책임자가 원본이나 인증 사본을 증례 이력의 일부로 보관하므로, 원본 문서를 관리·열람·유지할 시험책임자의 책임을 쉽게 충족할 수 있다. 그러나 전자 PRO 도구를 사용하면, 원자료에 대한 직접 관리를 시험책임자가 아니라 의뢰자나 임상시험수탁기관(CRO)이 하는 경우 문제가 될 수 있다. FDA는 시험책임자가 FDA 실태조사를 위해 전자 원본 문서 역할을 하는 기록을 관리하고 열람하게 할 능력을 유지하면 시험책임자가 그 책임을 다한 것으로 본다.

The principal record keeping requirements for clinical investigators include the preparation and maintenance of adequate and accurate case histories (including the case report forms and supporting data), record retention, and provision for the FDA to access, copy, and verify records (i.e., source data verification). The investigator’s responsibility to control, access, and maintain source documentation can be satisfied easily when paper PRO instruments are used, because the patient usually returns the diary to the investigator who either retains the original or a certified copy as part of the case history. The use of electronic PRO instruments, however, may pose a problem if direct control over source data is maintained by the sponsor or the contract research organization and not by the clinical investigator. We consider the investigator to have met his or her responsibility when the investigator retains the ability to control and provide access to the records that serve as the electronic source documentation for the purpose of an FDA inspection.

임상시험 계획서 또는 별도 문서에 전자 PRO 원자료를 어떻게 유지하고 시험책임자가 규제 요건을 어떻게 충족할지 명시하여야 한다.

The clinical trial protocol, or a separate document, should specify how the electronic PRO source data will be maintained and how the investigator will meet the regulatory requirements.

또한 FDA는 임상 데이터를 생성·수정·유지·보관·검색하거나 FDA에 전송하는 데 컴퓨터화 시스템을 사용하는 것을 다루고 21 CFR 11의 요건과 적용을 명확히 하는 가이던스를 이미 제공하였다.^7,8 전자 PRO 데이터(개인용 휴대단말기나 전화 기반 대화형 음성 기록 시스템으로 수집한 데이터 포함)는 증례 이력의 일부이므로, 전자 PRO 데이터는 그 가이던스에 기술된 데이터 표준에 부합하여야 한다. 의뢰자는 적절한 시스템 및 보안 관리와 함께, 네트워크 공격과 소프트웨어 업데이트 중에 데이터 완전성을 어떻게 보장할지 다루는 사이버 보안 및 시스템 유지 계획을 수립할 계획을 세워야 한다.

In addition, the FDA has previously provided guidance to address the use of computerized systems to create, modify, maintain, archive, retrieve, or transmit clinical data to the FDA and to clarify the requirements and application of 21 CFR part 11.^7,8 Because electronic PRO data (including data gathered by personal digital assistants or phone-based interactive voice recording systems) are part of the case history, electronic PRO data should be consistent with the data standards described in that guidance. Sponsors should plan to establish appropriate system and security controls, as well as cyber-security and system maintenance plans that address how to ensure data integrity during network attacks and software updates.

의뢰자는 또한 다음을 피하여야 한다.

Sponsors also should avoid the following:

PRO 도구를 임상시험 평가변수 측정으로 포함하면 임상시험 데이터 분석에 어려움이 생긴다. 이 중 가장 중요한 어려움을 다음 항들에서 다룬다.

Incorporating PRO instruments as clinical trial endpoint measures introduces challenges in the analysis of clinical trial data. The most important of these challenges are discussed in the following sections.

PRO 평가변수에 대한 통계 분석 고려사항은 의료제품 개발에 사용하는 다른 평가변수에 대한 통계 고려사항과 다르지 않다.⁹ 모든 계획서는 통계 부분에 주요 데이터 분석 특징을 기술하고, 분석의 세부 내용은 SAP에 자세히 기술하여야 한다. FDA는 사전에 정한 평가변수 분석 방법에 비추어 임상시험 데이터가 주장을 뒷받침하기에 적절한지 판단할 계획이다. FDA는 대개 눈가림 해제 후에 수행한 계획되지 않은 또는 사후 통계 분석을 탐색적인 것으로 보며, 따라서 유효성에 관한 표시기재 주장의 근거가 될 수 없는 것으로 본다.

The statistical analysis considerations for PRO endpoints are not unlike statistical considerations for any other endpoint used in medical product development.⁹ Every protocol should describe the principal data analysis features in the statistical section with a detailed elaboration of the analysis in an SAP. We intend to determine the adequacy of clinical trial data to support claims in light of the prespecified method for endpoint analysis. We usually view unplanned or post hoc statistical analyses conducted after unblinding as exploratory and, therefore, unable to serve as the basis of a labeling claim of effectiveness.

임상시험에서 PRO는 PRO가 아닌 임상 평가변수와 마찬가지로 일차 또는 이차 평가변수가 될 수 있다. 일차 평가변수는 임상시험 시험 치료의 주된 유익성을 엄격하게 판단하는 평가변수이다. 일차 평가변수는 임상시험의 표본 크기를 정하는 데 사용되며, 통계적으로 검정할 평가변수이다. 일차 평가변수는 임상적으로 의미가 있지만, 임상시험 평가변수의 선택은 예상 효과 크기, 예상 사건 수 및 그 밖의 요인이 얽힌 복잡한 전개이므로 가장 중요한 평가변수가 아닐 수도 있다.

PROs in a clinical trial, like non-PRO clinical endpoints, can be primary or secondary endpoints. Primary endpoints are those endpoints on which the main benefit of a clinical trial’s test treatment is judged rigorously. Primary endpoints are used to determine the clinical trial sample size and are the endpoints that will be tested statistically. They are clinically meaningful but may not be the most important endpoint because choice of clinical trial endpoints is a complex evolution of expected effect size, expected number of events, and other factors.

임상적 관심 대상이 되는 평가변수가 여럿인 경우가 많다. 평가변수 중 어느 하나에서라도 효과가 있으면 유효성의 근거로 간주하는 다중 평가변수 분석은 제1종 오류율이라 하는 위양성 결과의 확률을 부풀릴 수 있으며, 이 부풀림은 전향적으로 계획한 다중성 보정으로 통제할 수 있다. 일차 평가변수에서 성공한 뒤에만 이차 평가변수를 분석하는 것이 일반적이다. 이는 정해진 순서에 따라 추가 평가변수를 각각 통상적인 통계적 유의수준 alpha = 0.05에서 검정하는 순차 분석으로 할 수 있다. 실패가 생기면 분석을 멈춘다. 임상시험 계획서에 일차 및 이차 평가변수를 모두 명시하는 것이 중요하다.

There are often multiple endpoints that would be of clinical interest. Analysis of multiple endpoints, where an effect on any of the endpoints will be considered evidence of effectiveness, can inflate the probability of false positive findings known as the Type I error rate, an inflation that can be controlled by a prospectively planned multiplicity adjustment. It is common to analyze secondary endpoints only after success on a primary endpoint. This can be done using a sequential analysis, testing additional endpoints in a defined sequence each at the usual alpha = 0.05 level of statistical significance. The analyses cease when a failure occurs. It is important that the clinical trial protocol specify all primary and secondary endpoints.

SAP에는 평가변수를 연속형 변수(평균 점수), 이분형 변수(성공 또는 실패) 또는 어떤 등급형 반응으로 분석할지를 밝히면서 계획된 일차 분석을 자세히 기술하고, 일차 및 이차 평가변수, 전체 제1종 오류율을 통제하기 위한 다중성 보정, 그리고 계획한 구체적인 통계 방법을 기술하여야 한다. 의뢰자는 검토를 위해 임상시험의 SAP를 FDA에 제출하여야 한다.

The SAP should describe the planned primary analysis in detail noting whether the endpoint will be analyzed as a continuous variable (mean scores), dichotomous variable (success or failure), or some graded response; the primary and secondary endpoints; adjustments for multiplicity to control the overall Type I error rate; and the specific statistical methods planned. Sponsors should provide the FDA with the clinical trial’s SAP for review.

임상시험에서는 임상적으로 의미 있는 치료 유익성이 둘 이상의 일차 평가변수가 정해진 alpha 수준(예: alpha = 0.05)에서 통계적 유의성을 달성하는 데 달려 있는 경우가 생긴다. 예를 들어 임상시험에서 두 평가변수를 정하고, 각각이 치료가 대조보다 낫다는 것을 보여야 한다는 결정 규칙을 둘 수 있다. 이러한 결정 규칙은 최대 제1종 오류율(alpha)이 실제로 줄어들기 때문에 다중성 보정이 필요하지 않다. 그러나 이런 유형의 결정 규칙은 제2종 오류를 늘린다. 따라서 FDA는 이런 상황에서는 시험 규모를 신중하게 정할 것을 권고한다.

Cases arise in clinical trials where a clinically meaningful treatment benefit depends on having two or more primary endpoints achieving statistical significance at a specified alpha level (e.g., alpha = 0.05). For example, a clinical trial may identify two endpoints with a decision rule that each should show that the treatment is better than control. Such a decision rule does not require multiplicity adjustment because the maximum Type I error rate (alpha) is actually reduced. However, this type of decision rule will increase the Type II error. Therefore, we recommend sizing the trial carefully for this situation.

절차의 선택은 임상시험의 목적, 가장 중요한 평가변수, 치료 유익성을 선언하는 결정 규칙 및 그 밖의 고려사항에 따라 달라지므로, 다중성 보정을 위한 단 하나의 최선의 통계 절차는 없다. 더 효율적인 분석 접근에 유용할 수 있는 통계 절차로는, 위에서 설명한 것처럼 검정의 순서나 차례, 또는 다른 비교를 검정 대상으로 고려하기 전에 먼저 충족되어야 하는 비교의 위계를 미리 정하는 방법이 있다. 이러한 방법은 비교나 비교군의 위계를 무시하는 Bonferroni, 단계 하강(step-down) 또는 단계 상승(step-up) 검정, 전향적 alpha 배분 방식 같은 기존의 비위계형 방법보다 덜 보수적일 수 있다. 검정 순서에 제한을 둘 근거가 없을 때에는 이러한 기존 방법을 사용하여야 한다.

There is no single best statistical procedure for multiplicity adjustment because the choice of procedure depends upon the clinical trial’s objectives, the most important endpoints, the decision rule for declaring treatment benefit, and other considerations. Some of the statistical procedures that can be useful for a more efficient analysis approach include methods that prespecify a sequence or order of testing or a hierarchy of comparisons that should first be satisfied before others are considered for testing as described above. These methods can be less conservative than the conventional nonhierarchical type methods, such as Bonferroni, the step-down or step-up tests, and prospective alpha allocations schemes, which ignore the hierarchy of comparisons or their families. These conventional type methods should be used when a restriction on the order of testing is not warranted.

사전 분석 계획에서 평가변수로 삼을 영역과 특정 주장에 대한 검정의 다중성을 보정할 분석 방법을 미리 정한다면, 다영역 PRO 측정은 측정한 영역 중 하나 또는 일부에 근거한 표시기재 주장을 성공적으로 뒷받침할 수 있다. 영역의 일부를 임상시험 평가변수로 사용하는 것은 PRO 도구가 그 일부 영역을 다른 영역과 독립적으로 측정하도록 적절히 개발되고 타당화되었음을 전제로 한다.

A multidomain PRO measure may successfully support a labeling claim based on one or a subset of the domains measured if an a priori analysis plan prespecifies the domains that will be targeted as endpoints and the method of analysis that will adjust for the multiplicity of tests for the specific claim. The use of domain subsets as clinical trial endpoints presupposes that the PRO instrument was adequately developed and validated to measure the subset of domains independently from the other domains.

여러 영역이 있는 PRO 도구에서 점수를 결합하여 종합 점수를 계산하면 복합 평가변수가 된다. 복합 평가변수에는 몇 가지 장점이 있지만(예: 다중성 문제를 줄일 수 있음), 치료 유익성에 관한 특정 주장을 위한 확증 임상시험에 사용하는 데에는 많은 어려움과 난제가 따른다.

For a PRO instrument with multiple domains, combining the scores to calculate a general score creates a composite endpoint. Composite endpoints have a few advantages (e.g., they can reduce multiplicity problems), but their use for confirmatory clinical trials for specific claims of treatment benefit poses many difficulties and challenges.

복합 평가변수의 해석 규칙은 임상시험 환경에서 그 측정을 사용한 상당한 경험에 달려 있다. 따라서 확증 임상시험 계획서를 작성하는 시점에 복합 평가변수를 개발하려면 특별한 고려와 함께, 구성요소가 환자에게 비슷한 중요성을 가지고, 더 중요한 구성요소와 덜 중요한 구성요소가 비슷한 빈도로 똑같이 일어날 가능성이 있으며, 구성요소의 치료 효과가 대체로 비슷할 가능성이 있다는 상당한 경험적 근거가 필요하다. 따라서 FDA는 구성요소 사이에 큰 차이가 있을 것으로 예측될 때에는 확증 임상시험에 복합 평가변수를 사용하는 것을 권장하지 않는다.

Rules for interpretation of composite endpoints depend on substantial experience with the measure in the clinical trial setting. Therefore, development of a composite endpoint at the time the confirmatory clinical trial protocol is written depends on special considerations and substantial empirical evidence of the following: the components are of similar importance to patients, the more important and less important components are equally likely to occur with similar frequency, and the components are likely to have roughly similar treatment effects. Therefore, we discourage the use of a composite endpoint for confirmatory clinical trials when large variations are predicted to exist between its components.

복합 평가변수의 여러 개별 구성요소를 각각 주장으로 삼으려 할 때에는 다중성 문제가 생긴다. 일반적으로, 구성요소를 계획서에 별도의 평가변수로 미리 정하고 현행 가이던스에서 제시하는 대로 미리 정한 모든 구성요소를 표시기재에 보고하지 않는 한, 복합 평가변수의 개별 구성요소는 그 구성요소에 대한 표시기재 주장을 뒷받침하기에 적절하지 않다.¹⁰ 복합 평가변수의 구성요소는 무엇이 유리한 결과를 이끌었는지 전달하기 위해 표시기재에 제시된다. 복합 평가변수의 구성요소를 검정하는 데 순차 검정 접근법을 사용할 수 있다. 구성요소는 복합 평가변수에서 통계적으로 유의한 치료 유익성이 있을 때에만 검정한다.

Multiplicity problems arise when the multiple individual components of a composite endpoint are intended as possible claims. In general, individual components of a composite endpoint will not be adequate to support a labeling claim for the components unless the components are prespecified in the protocol as separate endpoints and all prespecified components are reported in labeling as suggested in current guidance.¹⁰ The components of a composite endpoint will be shown in labeling to convey what drove a favorable result. Sequential testing approaches can be used to test the components of a composite. The components are tested only when there is a statistically significant treatment benefit for the composite.

결측 데이터의 양이 많아지면 임상시험 결과는 결론을 내리지 못할 수 있다. IV항 임상시험 설계에서 설명한 바와 같이, FDA는 결측 데이터를 막기 위해 임상시험 계획서에 절차를 미리 정할 것을 권장한다. FDA는 또한 임상시험에서 조기 중단하는 시점에 각 환자의 데이터를 얻는 절차를 미리 정할 것을 권장한다. 중단 시점에 측정을 하면, 이 정보는 SAP에 정한 규칙에 따라 처리할 수 있다. 말기 질환의 임상시험에서는 사망으로 인한 결측 데이터를 어떻게 처리할지 미리 계획하는 것이 매우 중요하다. 결측 데이터는 받은 치료나 기저 질환 때문에 생길 수 있으며, 치료 차이 분석과 치료 효과에 관한 결론에 비뚤림을 일으킬 수 있다.

When the amount of missing data becomes large, clinical trial results can be inconclusive. As described in section IV., Clinical Trial Design, we encourage prespecified procedures in the clinical trial protocol to avoid missing data. We also encourage prespecified procedures for obtaining data on each patient at the time of early withdrawal from the clinical trial. If a measurement is taken at the time of withdrawal, this information can be handled according to rules established in the SAP. In clinical trials of terminal illness, it is critical to plan ahead for how missing data because of death will be handled. Missing data may occur because of the treatment received or the underlying disease and can introduce bias in the analysis of treatment differences and conclusions about treatment effect.

아무리 잘 계획하더라도 임상시험이 끝났을 때 데이터가 빠져 있을 수 있다. SAP에는 치료 유익성을 평가할 때와 환자의 성공이나 반응을 고려할 때 통계 분석에서 결측 데이터를 어떻게 처리할지에 관한 계획을 다루어야 한다.

Even with the best planning, data may be missing at the end of the clinical trial. The SAP should address plans for how the statistical analyses will handle missing data when evaluating treatment benefit and when considering patient success or patient response.

특정 환자 방문에서 영역 측정의 문항 중 전부가 아닌 일부가 빠질 수 있다. 이런 유형의 결측 데이터를 처리하는 한 가지 방법은 빠져도 그 영역을 적절히 측정한 것으로 볼 수 있는 문항 수를 정하는 규칙을 두는 것이다. 결측 데이터 처리 규칙은 PRO 도구마다 특이적이어야 하며, 대개 도구 개발 과정에서 정하여야 한다. SAP에는 결측 데이터 처리 규칙을 모두 명시하여야 한다. 예를 들어 SAP에 영역을 결측으로 처리하기 전까지 빠져도 되는 문항의 비율을 명시할 수 있다.

At a specific patient visit, a domain measurement may be missing some, but not all, items. One approach to handling this type of missing data is to define rules that specify the number of items that can be missing and still consider the domain as adequately measured. Rules for handling missing data should be specific to each PRO instrument and usually should be determined during the instrument development process. The SAP should specify all rules for handling missing data. For example, the SAP can specify the proportion of items that can be missing before a domain is treated as missing.

FDA는 환자가 시험의 계획된 종료 전에 조기 종료하여 생긴 결측 데이터를 다루기 위한 다양한 통계 전략을 고려할 것이다. 일반적으로 선호되는 단 하나의 방법은 없다. 이러한 전략은 모두 데이터가 빠진 원인에 관해 강하거나 약한 가정을 포함하며, 그 가정은 대개 데이터로 검증할 수 없으므로 모두 불완전하다. 결측 데이터 대체(imputation) 방법은 환자 집단, 질환 진행 및 응답자 부담을 고려하여야 한다. PRO 평가변수와 관련 보조 평가변수의 결측 데이터를 어떻게 대체할지는 계획서와 SAP에서 다루어야 한다. 또한 결측 데이터를 대체한 평가변수에 대한 통계적 추정의 완건성을 평가하기 위해, PRO 평가변수 분석에서의 민감도 분석을 계획서와 SAP에 제안하여야 한다.

We will consider a variety of statistical strategies to deal with missing data because of a patient’s early termination before planned completion of a trial. No single method is generally considered as preferred. All of these strategies are imperfect, as they involve strong or weak assumptions about what caused data to be missing, assumptions that usually cannot be verified from the data. Methods of missing data imputation should take the patient population, disease progression, and respondent burden into account. How to impute the missing data for a PRO endpoint and any related supportive endpoints should be addressed in the protocol and the SAP. In addition, the sensitivity analyses in analyzing the PRO endpoints should be proposed in the protocol and the SAP to assess the robustness of statistical estimation for endpoints with the missing data imputed.

FDA는 의뢰자가 계획서에 결측 데이터 대체 방법이 서로 다른 두 가지 이상의 민감도 분석을 제안할 것을 권고한다.

We recommend that in the protocol the sponsor propose two or more sensitivity analyses with different methods for missing data imputation.

임상적으로 의미가 없을 수 있는(즉, 치료 유익성을 나타내지 않는) PRO 측정의 작은 변화에서도 때로는 통계적 유의성이 달성될 수 있으므로, FDA는 의뢰자가 통계적 유의성만으로 표시기재 주장을 제안하지 않을 것을 권장한다.

Because statistical significance can sometimes be achieved for small changes in PRO measures that may not be clinically meaningful (i.e., do not indicate treatment benefit), we encourage sponsors to avoid proposing labeling claims based on statistical significance alone.

치료 유익성을 입증하기 위해, FDA는 치료군 간 응답의 누적분포함수(CDF)를 검토하여 치료 효과를 특성화하고 평균 개선이 환자 하위군의 서로 다른 반응을 반영하는 것인지 그 가능성을 살펴보는 것이 유익하다고 본다. CDF를 해석하기 위해, 의뢰자는 CDF 곡선을 따라 각 반응 수준에서 반응자 정의를 적용할 수 있다(IV.E항 반응자 정의를 이용한 임상시험 해석 계획 참조).

To demonstrate treatment benefit, we find it informative to examine the cumulative distribution function (CDF) of responses between treatment groups to characterize the treatment effect and examine the possibility that the mean improvement reflects different responses in patient subsets. To interpret the CDF, sponsors can apply the responder definition along the CDF curve at each level of response (see section IV.E., Planning for Clinical Trial Interpretation Using a Responder Definition).

PRO 평가변수의 해석은 의료제품의 치료 유익성을 평가하는 데 사용하는 다른 모든 유형의 평가변수와 비슷한 고려사항을 따른다.

Interpretation of PRO endpoints follows similar considerations as for all other endpoint types used to evaluate treatment benefit of a medical product.

다음 주제는 검토를 위해 FDA에 제출하는 PRO 문서에서 다루어야 할 영역이다. 각 부분에 제공하는 배경 정보의 범위는 사용하는 PRO 도구에 따라 달라진다. 어떤 부분은 특정 PRO 도구 적용에 다른 부분보다 관련성이 낮거나, 의료제품 개발 초기 단계의 논의에서는 덜 완전할 수 있다. 다음 각 영역에 필요한 근거 유형에 관한 추가 정보는 이 가이던스의 본문을 참조한다.

The following topics represent areas that should be addressed in PRO documents provided to the FDA for review. The extent of background information provided in each section will vary depending upon the PRO instrument used. Some sections may be less relevant for a particular PRO instrument application than others, or may be less complete for discussions in early stages of medical product development. Refer to the content of this guidance for additional information concerning the types of evidence needed in each of the following areas.

PRO 정보를 전자적으로 제출할 경우, 전자 국제공통기술문서(eCTD)의 5.3.5.3 항에 넣어야 한다.¹¹

If the PRO information is provided electronically, it should be placed in section 5.3.5.3 of the electronic common technical document.¹¹

PRO와 PRO가 아닌 모든 임상시험 평가변수 측정과 관련된 모든 구체적인 목표 표시기재 주장을 기술하는 문안을 포함하고, 다음에 특이적이어야 한다.

Include language describing all specific targeted labeling claims related to all clinical trial endpoint measures, both PRO and non-PRO, and specific to:

문항과 영역, 영역과 총점의 관계를 보여 주는, 가설로 세운(제안) 또는 최종 PRO 도구 개념 틀의 도식. PRO 도구의 개념 틀이 임상시험 계획서에 기술되고 표시기재 주장으로 제안된 임상시험 평가변수에 부합하도록 한다.

Diagram of hypothesized (proposed) or final PRO instrument conceptual framework showing relationship of items to domains and domains to total score. Ensure that the PRO instrument’s conceptual framework corresponds to the clinical trial endpoints described in the clinical trial protocol and proposed as labeling claims.

도구가 임상적으로 가장 중요한 개념과 문항을 모두 포착하고, 문항이 완전하며 관련성이 있고(적절하고) 환자가 이해할 수 있다는 근거. 이 근거는 기존 도구와 새로 만든 도구 모두에 적용되며, 계획한 임상시험 집단과 적응증에 특이적이다. 문서에는 다음이 포함된다.

Evidence that instrument captures all of the most clinically important concepts and items, and that items are complete, relevant (appropriate), and understandable to the patient. This evidence applies to both existing and newly created instruments and is specific to the planned clinical trial population and indication. Documentation includes:

의도한 집단과 적용에서 내용 타당도가 확립되었다는 전제 아래, 도구가 신뢰성 있고 타당하며 변화를 감지할 수 있다는 근거. 측정 특성은 임상시험에 사용할 것과 같은 판의 도구로 평가하여야 한다.

Assuming content validity is established in the intended population and application, evidence that the instrument is reliable, valid, and able to detect change. The same version of the instrument to be used in the clinical trial should be used to assess measurement properties.

원래 도구의 모든 변경(예: 문항 문구, 응답 선택지, 회상 기간, 새로운 집단이나 적응증에서의 사용)

Any change in the original instrument (e.g., wording of items, response options, recall period, use in a new population or indication)

A. 임상시험 계획서. 계획서에서 다음을 보장한다.

A. Clinical trial protocol. Ensure in the protocol that:

B. 통계분석계획서(SAP). SAP에 다음이 포함되도록 한다.

B. Statistical analysis plan (SAP). Ensure the SAP includes:

관련된 모든 발표 및 미발표 문서를 나열하고 첨부한다.

List and attach all relevant published and unpublished documents