이 초안 가이던스는 최종 확정되면 이 주제에 관한 FDA의 현재 견해를 나타내게 된다. 이 가이던스는 누구에게도 어떠한 권리를 부여하지 않으며, FDA나 일반 대중을 구속하지 않는다. 적용 법률과 규정의 요건을 충족한다면 다른 접근 방법을 사용할 수 있다. 다른 접근 방법을 논의하려면 표지에 적힌 이 가이던스 담당 FDA 직원에게 연락한다.

This draft guidance, when finalized, will represent the current thinking of the Food and Drug Administration (FDA or Agency) on this topic. It does not establish any rights for any person and is not binding on FDA or the public. You can use an alternative approach if the approach satisfies the requirements of the applicable statutes and regulations. To discuss an alternative approach, contact the FDA staff responsible for this guidance as listed on the title page.

이 가이던스는 응답자의 위해성 평가 및 완화 전략(REMS) 관련 정보에 대한 지식을 평가하는 데 쓰이는 REMS 평가 설문조사의 수행에 관하여 업계에 권고 사항을 제공한다. 이 가이던스는 연구 설계, 조사 도구 개발, 조사 자료 수집·처리, 자료 분석을 포함하여 REMS 평가 지식 설문조사 수행에 관한 일반 원칙과 권고 사항을 다룬다.

This guidance provides recommendations to industry on conducting risk evaluation and mitigation strategies (REMS) assessment surveys, used to evaluate respondent knowledge of REMS-related information. This guidance discusses general principles and recommendations related to conducting REMS assessment knowledge surveys, including study design, survey instrument development, survey data collection and processing, and data analysis.

일반적으로 FDA 가이던스 문서는 법적 강제력이 있는 책임을 정하지 않는다. 가이던스는 특정 규정이나 법률 요건을 인용하지 않는 한, 어떤 주제에 대한 FDA의 현재 견해를 설명하며 권고 사항으로만 보아야 한다. FDA 가이던스에서 should라는 단어는 어떤 것이 제안되거나 권고된다는 뜻이며, 요구된다는 뜻은 아니다.

In general, FDA’s guidance documents do not establish legally enforceable responsibilities. Instead, guidances describe the Agency’s current thinking on a topic and should be viewed only as recommendations, unless specific regulatory or statutory requirements are cited. The use of the word should in Agency guidances means that something is suggested or recommended, but not required.

2007년 FDA 개정법(FDAAA)으로 신설되고 이후 FDA 안전·혁신법(FDASIA)으로 개정된 연방 식품·의약품·화장품법(FD&C법) 505-1항(21 U.S.C. 355-1)은, 의약품의 유익성이 위해성보다 크도록 보장하는 데 REMS가 필요하다고 FDA가 판단하면 특정 의약품²에 REMS를 요구할 권한을 FDA에 부여한다.^3,4,5

Section 505-1 of the Federal Food, Drug, and Cosmetic Act (FD&C Act) (21 U.S.C. 355-1), as added by the Food and Drug Administration Amendments Act of 2007 (FDAAA) and later amended by the Food and Drug Administration Safety and Innovation Act (FDASIA), authorizes FDA to require REMS for certain drugs² if FDA determines that a REMS is necessary to ensure the drug’s benefits outweigh its risks.^3,4,5

REMS에는 환자용 의약품 안내서(Medication Guide), 환자용 첨부문서 및/또는 의사소통 계획이 포함될 수 있다.⁶ FDA는 의약품 REMS의 일부로 특정 안전사용 보장 요소(ETASU)를 요구할 수도 있다.⁷

REMS may include a Medication Guide, a patient package insert, and/or a communication plan.⁶ FDA also may require certain elements to assure safe use (ETASU) as part of a REMS for a drug.⁷

신약 허가신청(NDA) 또는 생물의약품 허가신청(BLA)에 대해 제안되는 모든 REMS에는 다음과 같은 REMS 평가 제출 일정표가 있어야 한다.⁸

Every proposed REMS for a new drug application (NDA) or biologics license application (BLA) must have a timetable for submission of REMS assessments,⁸ that:

제한된 예외를 제외하면, 새로운 효능·효과에 대한 변경신청(supplement)을 제출할 때, 전략에서 요구할 때, 그리고 의약품의 유익성이 위해성보다 크도록 보장하거나 전략 준수에 따른 보건의료 전달 체계의 부담을 최소화하기 위해 전략을 변경하여야 하는지 평가할 필요가 있다고 FDA가 판단할 때에도 REMS 평가가 요구된다.⁹ 요구되는 평가 외에도 신청자는 언제든지 승인된 REMS에 대한 평가를 자발적으로 제출할 수 있다.¹⁰

With limited exceptions, REMS assessments are also required when submitting a supplemental application for a new indication for use, when required by the strategy, and whenever FDA determines that an assessment is needed to evaluate whether the strategy should be modified to ensure the benefits of the drug outweigh the risks or to minimize the burden on the healthcare delivery system of complying with the strategy.⁹ In addition to the required assessments, an applicant may voluntarily submit an assessment of an approved REMS at any time.¹⁰

FD&C법 505-1(g)(3)항은 REMS 평가에 전략의 각 목표와 관련하여, 요소를 포함한 승인된 전략이 목표를 어느 정도 달성하고 있는지 또는 목표나 요소를 변경하여야 하는지에 대한 평가가 포함되어야 한다고 규정한다. FD&C법은 신청자가 이 평가를 어떻게 수행하여야 하는지 구체적으로 설명하지 않는다.

Section 505-1(g)(3) of the FD&C Act specifies that a REMS assessment shall include, with respect to each goal in the strategy, an assessment of the extent to which the approved strategy, including the elements, is meeting the goal or whether the goal or elements should be modified. The FD&C Act does not specifically describe how an applicant should conduct this assessment.

FDA는 REMS가 목표를 달성하고 있는지 평가하기 위해 REMS 평가 보고서¹¹를 검토한다. 평가 보고서는 신청자가 제출하는 문서로, REMS 평가 계획에 제시된 지표를 분석하여 얻은 정보를 담으며, REMS 평가 계획은 신청자가 REMS 프로그램이 위험 완화 목표와 세부 목표를 달성하는 성과를 어떻게 평가할 것인지를 명시한다.¹²

FDA reviews REMS Assessment Reports¹¹ to evaluate whether the REMS is meeting its goals. The Assessment Report is the document applicants submit that contains information generated from the analysis of the metrics outlined in the REMS Assessment Plan, which specifies how the applicant intends to assess the performance of the REMS program in meeting its risk mitigation goals and objectives¹².

많은 REMS에는 의약품과 관련된 중대한 위해성과 안전한 사용에 대해 환자와 보건의료인(즉, 의약품을 처방·조제 또는 투여하는 사람)에게 알리거나 교육하는 것과 같은 지식 관련 목표¹³가 포함되어 있다. 이러한 지식 목표가 REMS에 포함되면, REMS 평가 계획에는 일반적으로 필요에 따라 의약품과 관련된 중대한 위해성과 안전한 사용에 대한 환자와 보건의료인의 이해^{14, 15}를 평가하는 설문조사가 포함된다.

Many REMS include a goal related to knowledge,¹³ such as to inform or educate patients and healthcare providers (i.e., those who prescribe, dispense, or administer drugs) about the serious risks associated with and safe use of a drug. When such knowledge goals are part of a REMS, the REMS assessment plan generally includes, as appropriate, a survey to evaluate patients’ and healthcare providers’ understanding^{14, 15} of the serious risks associated with, and safe use of, the drug.

대부분의 신청자는 REMS 지식 목표를 평가하기 위해 자사 의약품과 관련된 중대한 위해성과 안전한 사용에 대한 환자와 보건의료인의 이해를 설문조사로 평가한다. 설문조사가 이러한 유형의 목표를 평가하는 유일한 수단은 아니지만, 이 가이던스는 REMS 평가 지식 설문조사의 설계, 수행, 결과 자료 분석에 관한 모범 사례를 설명한다.

The majority of applicants use surveys to evaluate patients’ and healthcare providers’ understanding of the serious risks associated with, and safe use of, their drugs to assess REMS knowledge goals. Though surveys are not the only means to assess these types of goals, this guidance describes best practices for the design, conduct, and data analysis of the results of REMS assessment knowledge surveys.

이 가이던스는 2012년 6월 7일 「REMS 평가: 지식 관련 목표를 평가하기 위한 사회과학 방법론(REMS Assessments: Social Science Methodologies to Assess Goals Related to Knowledge)」이라는 제목의 공개 워크숍¹⁶에서 얻은 의견과, 워크숍과 관련하여 개설된 공개 의견 수렴 문서번호(docket)에 제출된 워크숍 및 함께 발표된 FDA 쟁점 문서에 대한 의견을 반영하였다.

It incorporates input obtained from the June 7, 2012, public workshop entitled “REMS Assessments: Social Science Methodologies to Assess Goals Related to Knowledge,”¹⁶ and the comments regarding the public workshop and accompanying FDA issue paper, submitted to the docket opened in association with the workshop.

REMS 평가 지식 설문조사를 설계하고 수행할 때에는 다음이 중요하다.

When designing and conducting a REMS assessment knowledge survey, it is important to:

관심 평가변수는 관심 대상 모집단(예: 환자, 처방자, 조제자 또는 필요에 따라 기타 대상)에서 REMS 핵심 메시지에 대한 지식을 측정한 값이다. 대상자 수준에서 지식 평가변수는 대상자가 핵심 메시지를 아는지 모르는지를 나타내는 이분형 결과이다. 대상 모집단에서 평가변수는 REMS 핵심 메시지의 인지율(knowledge rate)이다. 인지율은 전체 대상자 중 핵심 메시지를 아는 대상자의 비율이며, 대상 모집단의 어느 한 대상자가 핵심 메시지를 알 확률이기도 하다.

The endpoints of interest are measurements of knowledge of the REMS key messages in a target population of interest (e.g., patients, prescribers, dispensers, or others, as appropriate). At the subject level, the knowledge endpoint is a binary outcome indicating whether the subject knows or does not know the key message. In a target population, the endpoint is the knowledge rate of a REMS key message. The knowledge rate is the proportion of subjects who know the key message out of all subjects; it is also the chance that a given subject in the target population knows the key message.

대부분의 경우 전수조사로 대상 모집단 전원의 지식을 평가하는 것은 실현 가능하지 않다. 따라서 III.B항에서는 대상 모집단의 인지율을 추정하기 위해 적절한 표본추출틀에서 선정한 확률 무작위 표본을 사용하도록 권고한다. 대상자의 REMS 핵심 메시지 지식을 평가하기 위해, III.F항에서는 각 REMS 핵심 메시지마다 적어도 한 문항을 둔 잘 설계된 조사 도구를 사용하도록 권고한다. 한 REMS 핵심 메시지 영역 안에 여러 질문이나 문항이 있으면, 그 REMS 핵심 메시지에 대한 대상자의 지식은 그 문항들의 응답에 근거한 종합 점수이다. 연구 계획서에는 각 REMS 핵심 메시지 영역의 평가변수를 조사 문항에서 어떻게 계산하는지 명확히 명시하여야 한다.

Assessing the knowledge of everyone in the target population through a census is not feasible in most cases. Therefore, we recommend in section III.B using a probability random sample selected from an appropriate sampling frame to estimate the target population knowledge rate. To assess a subject’s knowledge of REMS key messages, we recommend in section III.F using a well-designed survey instrument with at least one item for each REMS key message. When multiple questions or items are within a REMS key message domain, then a subject’s knowledge of that REMS key message is a composite score based on the answers to those items. The study protocol should clearly specify how the endpoint for each REMS key message domain is calculated from the survey items.

조사 방법론과 도구를 개발할 때에는 대상 모집단에 대한 REMS 핵심 메시지와 관련된 평가변수를 정하는 것이 중요하다. 예를 들어, 처방자 의무 교육과 의약품과 관련된 특정 중대한 위해성과 안전한 사용에 대해 처방자에게 알린다는 목표를 포함하는 REMS가 있는 의약품을 생각해 보자. 처방자 교육 자료에 담긴 세 가지 REMS 핵심 메시지는 (1) 중대한 위해성, (2) 그 위해성 완화와 관련된 용량·투여 고려 사항, (3) 환자 모니터링 요건이다. 따라서 관심 평가변수는 다음 인지율이 된다.

It is important to identify the endpoints pertaining to the REMS key messages for the target population when developing the survey methodology and instruments. Consider, for example, a drug that has a REMS which includes mandatory prescriber training and a goal of informing prescribers about certain serious risks and safe use associated with the drug. The three REMS key messages conveyed in the prescriber educational materials are (1) the serious risk, (2) the dosing and administration considerations related to mitigating that risk, and (3) patient monitoring requirements. Thus, the endpoints of interest would be the following knowledge rates:

처방자 확률 표본에서 세 REMS 핵심 메시지에 관한 질문의 응답을 분석하면 이 평가변수들의 추정값과 신뢰구간을 얻는다.

Analyzing answers to questions about the three REMS key messages from a probability sample of prescribers provides estimates and confidence intervals of these endpoints.

처방자 조사 도구에는 다른 관심 평가변수(예: 적절한 환자 선정 기준, 적절한 상담 권고 사항, 환자에게 제공할 지침에 대한 처방자의 지식)를 평가하는 질문을 넣을 수 있다. 환자 조사 도구에는 환자의 지식(예: 중대한 위해성, 안전한 사용, 상담 지침, 모니터링 요건, 어떤 증상이 나타나면 처방자에게 연락하여야 하는지에 대한 지식)을 평가하는 질문을 넣을 수 있다.

A prescriber survey instrument could include questions to assess other endpoints of interest (e.g., the prescriber’s knowledge of appropriate patient selection criteria, appropriate counseling recommendations, and instructions to provide to patients). A patient survey instrument could include questions to assess a patient’s knowledge (e.g., of the serious risks, safe use, counseling instructions, monitoring requirements, and which symptoms would necessitate contacting the prescriber).

REMS 평가 지식 설문조사를 수행하기 전에 연구 계획서에 성과 기준값을 제안하고 그 근거를 제시하는 것이 중요하다. 이 기준값은 달성되면 REMS가 REMS 핵심 메시지를 전달하는 목표를 달성했음을 나타내는 최소 인지율이다(즉, 조사 표본의 REMS 핵심 메시지 인지율이 기준값 이상이면 이 REMS 핵심 메시지 전달은 성공한 것으로 본다). 또한 인지율이 미리 정한 기준값보다 낮으면, 원하는 인지율을 달성하기 위한 조치(예: REMS 교육 자료나 홍보 활동 강화)를 제안하는 것이 중요하다.

Before conducting a REMS assessment knowledge survey, it is important to propose and provide justification for a performance threshold in the study protocol. This threshold is the minimum knowledge rate that, if achieved, indicates the REMS met the goal of communicating the REMS key messages (i.e., if the surveyed sample’s knowledge rates of the REMS key messages meet or exceed the threshold, then communicating this REMS key message would be considered successful). In addition, if the knowledge rates are below the prespecified threshold, it is important to propose steps to achieve the desired knowledge rates (e.g., by enhancing REMS educational materials or outreach activities).

각 설문조사의 성과 기준값은 사례별로 정하여야 한다. 미리 정하는 기준값은 REMS 핵심 메시지에 대한 지식 부족이 공중보건에 미치는 영향을 고려하여 선택하여야 하며, 이 영향은 다시 효능·효과, 안전성 우려의 중대성과 빈도, 대상 모집단에 따라 달라진다. 모든 REMS 프로그램에 일반적으로 통용되는 표준 지식 성과 기준값은 없지만, 대부분의 경우 각 REMS 핵심 메시지 영역에 대해 80% 이상이어야 한다.

The performance threshold for each survey should be determined on a case-by-case basis. The choice of the prespecified threshold should be informed by the public health implications of a lack of knowledge of a REMS key message, which in turn depends on the indication, the severity and prevalence of the safety concerns, and the target population. Although there is no standard knowledge performance threshold that is generally accepted for all REMS programs, in most cases it should be 80 percent or higher for each REMS key message domain.

의약품을 복용하는 사람이나 의약품을 처방 또는 조제하는 사람으로 이루어진 대상 모집단 전체를 조사하는 것은 거의 불가능하므로, 대상 모집단에서 표본을 추출하는 것이 더 실현 가능하다. REMS 평가 지식 설문조사는 표본의 결과를 대상 모집단으로 일반화하는 통계적 추론 원칙에 근거하여야 한다.¹⁷ 조사 결과를 대상 모집단으로 일반화할 수 있는지는 표본이 대상 모집단을 얼마나 대표하는지에 달려 있다.

Since it is rarely possible to survey the entire target population of those who take a drug, or those who prescribe or dispense a drug, sampling of the target population is more feasible. REMS assessment knowledge surveys should be based on the principle of statistical inference, which generalizes findings from a sample to a target population.¹⁷ The generalizability of the survey results to the target population is based on how representative the sample is of the target population.

설문조사 설계의 첫 단계는 대상 모집단의 표본추출틀을 정하는 것이다. 즉, 표본을 선정할 수 있는 대상 모집단 구성원의 명단이다. REMS 대상 모집단의 표본추출틀의 예로는 REMS에서 의무화한 환자 등록부, 환자 등록 데이터베이스, 처방자 또는 약국 등록 데이터베이스에 있는 개인이 있다. REMS에 의무 데이터베이스가 없을 때에는 체인 약국, 자발적 환자 등록부 또는 기타 출처가 환자와 보건의료인의 표본추출틀이 될 수 있다. 대상 모집단에 대한 표본추출틀의 대표성을 고려하여 선택한 표본추출틀의 선택 근거를 제시하는 것이 중요하다. 조사 표본이 대상 모집단을 대표하는지 평가하려면 표본의 인구학적·임상적 특성을 파악하여 모집단의 알려진 특성과 비교한다.

An initial step in designing the survey is identifying a sampling frame of the target population. That is, a list of those in the target population from which the sample can be selected. Examples of sampling frames for a REMS target population include individuals in a REMS-mandated patient registry, patient enrollment database, or prescriber or pharmacy enrollment database. When a REMS does not include mandatory databases, possible sampling frames of patients and healthcare providers could be chain pharmacies, voluntary patient registries, or other sources. It is important to provide the rationale for choosing the selected sampling frame that takes into consideration the representativeness of the sampling frame relative to the target population. Evaluating representativeness of a survey sample of the target population includes identifying the demographic and clinical characteristics of the sample and comparing them to known characteristics in the population.

선택한 표본추출틀에서 표본을 추출할 때에는 확률 무작위 표본을 사용하도록 권고한다. 확률 무작위 표본추출은 표본추출틀의 모든 구성원이 표본에 선정될 확률이 알려져 있고 0이 아니라고 가정하며, 알려지거나 알려지지 않은, 측정되거나 측정되지 않은 모든 특성에 대해 표본이 표본추출틀을 대표하도록 보장한다. 이로써 표본은 선택 편향을 받지 않는다. 확률 무작위 표본추출 설계가 무응답 편향을 막아 주지는 않지만, 무응답 때문에 편향이 있을 때 확률 무작위 표본추출을 하면 이 편향의 크기를 정량화하여 주요 결과에 미치는 영향을 평가할 수 있다.¹⁸

To sample from the selected frame, we recommend using a probability random sample. Probability random sampling assumes every member of the sampling frame has a known and non-zero chance of selection into the sample and ensures the sample is representative of the frame with respect to all characteristics, known or unknown, measured or unmeasured. This ensures the sample is not subject to selection bias. Probability random sampling design does not protect against nonresponse bias; however, when a bias exists because of nonresponse, probability random sampling gives the ability to quantify the magnitude of this bias to assess its impact on the main findings.¹⁸

단순무작위표본(SRS)은 표본추출틀의 각 구성원이 표본에 선정될 확률이 같은 확률 무작위 표본이다. 층화무작위표본, 과대표집을 적용한 층화무작위표본, (층화를 적용하거나 적용하지 않은) 집락표본은 더 정교한 확률 무작위 표본이며, 이 항의 나머지 부분에서 다룬다. 표본추출틀에서 SRS를 선정하는 것이 더 정교한 표본추출 설계보다 쉬울 수 있지만, 더 정교한 설계가 수행 용이성 면에서 SRS보다 유리할 수 있다.

A simple random sample (SRS) is a probability random sample in which each member in the sampling frame has the same probability of selection into the sample. Stratified random samples, stratified random samples with oversampling, and cluster samples (with or without stratification) are more elaborate probability random samples, discussed in the remainder of this section. Although selecting an SRS from a frame may be easier than more elaborate sampling designs, a more elaborate design may have advantages over an SRS in ease of conduct.

층화무작위표본에서는 먼저 모집단을 동질적인 층(예: 성별, 민족, 사회경제적 지위)으로 나눈 다음, 각 층에서 단순무작위표본을 추출한다.^19,20 이 표본추출 설계는 층 간에 예상되는 지식의 변동이 각 층 안에서 예상되는 변동보다 클 때 유용하다. 이 경우 추정된 전체 모집단 인지율의 정밀도는 같은 크기의 SRS보다 층화 설계에서 더 높을 것으로 예상된다. 따라서 전체 지식 추정값과 그 표준오차를 계산할 때 층화 표본추출 설계를 반영하는 것이 중요하다.²¹

In a stratified random sample, the population is first divided into homogeneous strata (e.g., sex, ethnicity, or socioeconomic status), then a simple random sample is taken from each stratum.^19,20 This sampling design is useful when the expected variation in knowledge between strata is larger than the expected variation within each stratum. In that case, we expect the precision of the estimated overall population knowledge rate to be higher in a stratified design than in an SRS of the same size. Therefore, it is important to account for the stratified sampling design in the calculation of the overall knowledge estimates and their standard errors.²¹

SRS 표본에서 특정 특성(예: 성별, 인종)을 가진 개인의 분포는 대상 모집단의 분포에 대략 비례하여야 하지만, 지식 추정의 근거가 되는 표본 크기를 충분히 확보하기 위해 특정 특성에 대해 불균형 표본을 두는 것이 필요할 때도 있다. 층화무작위표본 설계에서 관심 있는 일부 하위집단을 과대표집(oversampling)하면 그 하위집단에서 더 정밀한 지식 추정값을 얻는다. 관심 하위집단에 대한 과대표집의 예는 다음과 같다.

Although the distribution of individuals with a particular characteristic (e.g., sex, race) in the SRS sample should be approximately proportional to the distribution in the target population, occasionally it may be of interest to have disproportionate samples with respect to certain characteristics to ensure adequate sample sizes upon which knowledge estimates are based. Oversampling some subgroups of interest in a stratified random sample design leads to more precise knowledge estimates in those subgroups. Examples of oversampling for subgroups of interest include:

집락표본은 집락의 무작위 표본에서 대상자 전원 또는 대상자의 무작위 표본으로 구성된다. 집락의 예로는 의원이나 병원이 있다. 집락 조사는 일반적으로 소수의 집락 단위에서 더 많은 대상자 표본을 필요로 하며, SRS보다 더 복잡한 표본추출 설계와 분석이 필요하다. 그러나 집락 설계로 설문조사를 수행하는 것이 SRS 설계로 수행하는 것보다 더 실현 가능할 수 있다.²² 예를 들어, 환자에 대한 2단계 집락 조사 설계는 1단계에서 의원을 무작위로 선정한 다음 2단계에서 표본으로 뽑힌 의원 안에서 환자를 무작위로 선정하는 방식으로 구성할 수 있다. 이 예에서는 소수의 의원에서 더 많은 환자를 조사하는 것이, 환자 수는 더 적을 수 있지만 전국에 흩어진 훨씬 많은 의원에서 뽑은 SRS 표본을 조사하는 것보다 운영상 더 쉬울 수 있다.

A cluster sample consists of all or a random sample of subjects from a random sample of clusters. Example of a cluster is a clinic or a hospital. A cluster survey typically requires a larger sample of subjects from a few clusters of entities, and requires a more complex sampling design and analysis than an SRS. However, conducting a survey using a cluster design may be more feasible than conducting the survey with an SRS design.²² For example, a two-stage cluster survey design of patients can consist of selecting clinics at random in the first stage then selecting patients at random within sampled clinics in the second stage. In the example, surveying more patients from a few clinics may be logistically easier than surveying a SRS sample which may have fewer patients but from many more clinics scattered across the country.

그러나 집락 설계에서는 지식 추정값의 정밀도를 정할 때 집락 크기, 그리고 동일 집락 내 대상자 간 지식의 상관을 고려하여야 하므로, 집락 조사 결과는 SRS 결과보다 분석이 더 복잡하다. 추정값의 정밀도를 계산할 때 집락 표본추출을 반영하는 것이 중요하다.

However, results from cluster surveys are more complex to analyze than results from an SRS because in a cluster design, cluster size and correlations of knowledge among subjects in the same cluster should be taken into account in determining precision of estimates of knowledge. It is important to account for the cluster sampling in calculating precision of estimates.

신청자가 확률 무작위 표본 사용이 실현 가능하지 않음을 입증하면, 신청자는 지식을 평가하기 위해 다른 유형의 설문조사를 사용하는 것을 FDA와 논의하여야 한다.

If an applicant demonstrates that using a probability random sample is not feasible, then the applicant should discuss using other types of surveys to assess knowledge with the Agency.

이 항에서 표본 크기는 관심 모집단에서의 설문조사 참여자 수를 말한다. 설문조사 참여에 초대하는 대상자 수는 무응답을 고려하여 목표 표본 크기보다 커야 한다.

In this section, sample size refers to the number of survey participants in a population of interest. The number of subjects invited to participate in a survey should be larger than the target sample size to account for nonresponse.

주어진 대상 모집단에 대해, 그 모집단의 인지율을 정밀하게 추정할 수 있을 만큼 표본이 커야 한다고 권고한다. 표본 크기 계산은 두 가지 중요한 요소, 즉 표본추출 설계(위 III.B항 참조)와 추정 인지율의 정밀도를 고려한다. 이 가이던스는 SRS, 집락표본, 층화무작위표본의 세 가지 표본추출 설계를 다룬다.

For a given target population, we recommend that the sample be large enough to precisely estimate the knowledge rate in that population. Sample size calculation considers two important elements: sampling design (see section III.B, above) and precision of the estimated knowledge rate. This guidance discusses three sampling designs: SRS, cluster sample, and stratified random sample.

정밀도는 표본추출 불확실성의 척도이다. 이 가이던스에서 정밀도는 표본 추정값과 이 추정값의 양측 95% 신뢰구간 하한 사이의 절대 차이이다. 표본 크기 계산에서 정밀도는 5%포인트 이하로 관리하도록 권고한다. 이 5%포인트는 절대값이며 인지율에 대한 상대값이 아니다.

Precision is a measure of sampling uncertainty. In this guidance, precision is the absolute difference of the sample estimate and the lower bound of the two-sided 95 percent confidence interval of this estimate. We recommend it be controlled at 5 percentage points or less in the sample size calculation. This 5 percentage points represents an absolute value and is not relative to the knowledge rate.

표본 크기 계산에 들어갈 수 있는 다른 요소는 대상 모집단의 크기와 가정 인지율이다.

Other elements that may enter in the sample size calculation are the target population’s size and assumed knowledge rate:

적절한 표본 크기를 정하는 것은 집락표본이나 층화무작위표본보다 SRS 조사에서 더 쉽다. 표 1은 목표 정밀도 4%에서 가정 인지율과 대상 모집단 크기에 따라 추정한 표본 크기를 보여 준다. 또한 목표 정밀도 4%인 SRS 조사의 적절한 표본 크기는 가정 인지율이 50%에 가까워질수록 커지고, SRS 조사의 적절한 표본 크기는 대상 모집단 크기가 클 때보다 작을 때 줄어든다는 것을 보여 준다. 예를 들어, 목표 정밀도 4%, 가정 인지율 50%, 큰 대상 모집단 크기가 주어지면 적절한 표본 크기는 601이다.

Determining the appropriate sample size is easier for an SRS survey than for a cluster sample or stratified random sample. Table 1 presents the estimated sample sizes with a target precision of 4 percent for different assumed knowledge rates and target population sizes. It also shows how the appropriate sample size for an SRS survey with 4 percent target precision increases as the assumed knowledge rate approaches 50 percent, and the appropriate sample size for an SRS survey decreases from large target population sizes to small target population sizes. For example, given a target precision of 4 percent, an assumed knowledge rate of 50 percent, and a large target population size, the appropriate sample size is 601.

집락 설계, 층화무작위표본 또는 기타 복잡한 설계에서는 일정한 정밀도를 달성하기 위한 표본 크기가 SRS의 표본 크기와 설계효과(design effect) 계수만큼 다르다.²³ 어떤 조사 설계의 설계효과는 그 설계에서 얻은 추정값의 분산을 같은 크기의 SRS에서 얻은 추정값의 분산으로 나눈 비이다. 예를 들어, 설계효과가 2이면 같은 목표 정밀도를 달성하기 위해 표본 크기가 SRS 조사의 두 배여야 한다. 반대로 설계효과가 0.5이면 같은 목표 정밀도를 달성하기 위한 표본 크기는 SRS 조사의 절반이어도 된다.

For a clustered design, a stratified random sample, or other complex designs, the sample size to achieve a certain precision differs from the sample size in a SRS by the design effect factor.²³ The design effect of a survey design is the ratio of the variance of estimates from that design, divided by the variance of estimates from an SRS of the same size. For example, when the design effect is 2, the sample size should be twice as large as an SRS survey to achieve the same target precision. Conversely, when the design effect is 0.5, the sample size can be half the size of an SRS survey to achieve the same target precision.

집락 설계에서는 추정값의 분산이 SRS보다 크므로(즉, 설계효과 계수 > 1), 일정한 정밀도를 달성하기 위한 적절한 표본 크기가 SRS보다 설계효과 계수만큼 크다.²⁴ 집락 설계의 설계효과는 각 집락의 대상자 수와 집락내 상관계수(ICC)²⁵가 클수록 커진다.

The appropriate sample size to achieve a certain precision is higher in a cluster design than in an SRS by the design effect factor because the variance of estimates in the cluster design is higher than in an SRS (i.e., design effect factor > 1).²⁴ The design effect in a cluster design increases with the number of subjects in each cluster and with intra-cluster correlation coefficients (ICC)²⁵.

층화 설계에서는 추정값의 분산이 SRS보다 작으므로(즉, 설계효과 계수 ≤ 1), 일정한 정밀도를 달성하기 위한 적절한 표본 크기가 일반적으로 SRS보다 설계효과 계수만큼 작다.²⁶ 층화 설계의 분산은 층 내 변동성과 층별 배분 비율 또는 가중치를 반영한다.

The appropriate sample size to achieve a certain precision is generally lower in a stratified design than in an SRS by the design effect factor because the variance of estimates in a stratified design is lower than for an SRS (i.e., design effect factor ≤ 1).²⁶ The variance in a stratified design takes into account within stratum variability and allocation proportions or weights for the strata.

REMS 핵심 메시지가 여러 개일 때 각 REMS 핵심 위해성 메시지마다 95% 신뢰구간을 독립적으로 제시하면, 다중성 때문에 모든 REMS 핵심 메시지에 대한 전체 신뢰수준이 95%보다 훨씬 낮아지므로 정밀도에 대해 잘못된 인상을 줄 수 있다. 따라서 REMS 핵심 메시지 영역은 가능한 한 적게 두도록 권고한다. REMS 핵심 메시지 영역은 의미 있는 방식으로 구성하여야 한다.

When there are multiple REMS key messages, presenting a 95 percent confidence interval for each REMS key risk message independently can give a false sense of precision, as the overall confidence level for all REMS key messages is much less than 95 percent due to multiplicity. Therefore, we recommend having as few REMS key message domains as possible. Any REMS key message domains should be constructed in a meaningful way.

REMS 평가 지식 설문조사의 참여자를 모집하는 일은 어려울 수 있다. 의약품이 처방·조제되는 방식과 환자 모집단이 다양하므로, 이러한 설문조사의 참여자를 모집하는 단 하나의 최선의 방법은 없다. 일반적으로 참여자 모집에는 다중 방식 접근(예: 미국 우편, 이메일, 전화로 설문조사 초대장 발송)을 사용하도록 권고한다.²⁷

Recruiting participants for REMS assessment knowledge surveys can be challenging. There is no single best way to recruit participants for these surveys because of the variation in how drugs are prescribed and dispensed and in patient populations. In general, we recommend a multimodal approach be used to recruit participants (e.g., sending survey invitations via U.S. mail, email, and phone).²⁷

조사 계획서에는 모집 출처에 대한 설명과 그 모집 출처를 선택한 근거를 제시하여야 한다. 잠재적 조사 참여자의 출처를 여러 개 결합하면 표본추출틀에서 관심 환자 또는 보건의료인 모집단의 더 넓은 단면을 확보하고, 무응답을 낮추는 견고한 접근 방법을 제공하며, 목표 표본 크기를 충족하고, 잠재적 무응답 편향을 낮출 수 있다. 조사 참여자에게 설문조사 참여가 자발적임을 알려야 한다.

A description of the recruitment sources and justification for selecting the recruitment sources should be provided in the survey protocol. Combining several sources of potential survey participants may ensure a broader cross section of the patient or healthcare provider population of interest in the sampling frame, provide a robust approach to lower nonresponse, meet the target sample size, and lower potential nonresponse bias. Survey participants should be made aware that taking part in the survey is voluntary.

여러 모집 출처를 사용하더라도 추가 모집 방법을 쓰지 않으면 응답률이 낮을 수 있다. 무응답자에게 처음 연락할 때와 다른 방식으로 후속 연락을 하면 모집 중 응답률을 높일 수 있다.²⁸ 사회적 확인(social validation)을 활용하는 것은 무응답자 후속 연락에서 특히 유용하다. 예를 들어, 다른 사람들이 설문조사를 완료했다고 무응답자에게 알리면 응답을 독려할 수 있다.²⁹

Using multiple recruitment sources might still result in a low response rate unless additional recruitment methods are employed. Follow-up contact to nonrespondents using a different mode than what was used to make initial contact can increase response rates during recruiting.²⁸ Using social validation is especially useful in nonrespondent follow-up. For example, informing nonrespondents that others have completed the survey can encourage them to respond to the survey.²⁹

끝으로, 집락표본과 다단계 조사 표본추출은 참여자 접근을 쉽게 하고 응답률을 높일 수 있다.

Finally, cluster samples and multi-stage survey sampling can make reaching participants easier and increase response rates.

다중 방식 접근과 기타 연구 설계를 사용하면 무응답률을 줄일 뿐 아니라 무응답 편향도 줄일 수 있는데, 설문조사에 응답하기로 한 대상자의 핵심 메시지 지식이 응답하지 않기로 한 대상자의 지식과 다를 수 있으므로 무응답 편향은 확률 조사에서도 생길 수 있다. 따라서 높은 무응답은 설문조사의 타당성을 위협한다. 응답률을 높이면 설문조사와 추정 인지율을 대상 모집단으로 더 잘 일반화할 수 있다.

Using multimodal approaches and other study designs can not only reduce nonresponse rates, it can also reduce nonresponse bias, which is possible even in probability surveys because knowledge of key messages of subjects who chose to respond to a survey may be different from knowledge of those subjects who chose not to respond to a survey. Thus, high nonresponse threatens the validity of a survey. By increasing response rate, the survey and estimated knowledge rate are more generalizable to the target population.

REMS 평가 지식 설문조사에 참여하는 대상 모집단에 대해 적절한 선정 기준과 제외 기준을 고려하고, 선택한 기준에 대한 적절한 설명을 계획서에 제시하는 것이 중요하다. 선정 또는 제외의 각 단계에서 조사 참여자의 처리 현황은 REMS 평가 보고서에 제시하여야 한다.

It is important to consider appropriate inclusion and exclusion criteria for the target population participating in REMS assessment knowledge surveys and provide an appropriate explanation in the protocol for the criteria selected. The disposition of survey participants at various stages of inclusion or exclusion should be provided in the REMS assessment report.

일반적으로 적격 환자 참여자는 다음에 해당하여야 한다.

In general, eligible patient participants should:

일반적으로 적격 처방자와 약사 참여자는 다음에 해당하여야 한다.

In general, eligible prescriber and pharmacist participants should:

잠재적 조사 참여자에게 참여는 자발적이고, 설문조사 도중 언제든지 참여를 중단할 수 있으며, 참여에 관한 질문이나 우려가 있으면 연구 의뢰자에게 연락할 수 있음을 알리는 것이 중요하다. 잠재적 참여자에게 그들의 응답이 의약품을 처방·조제하거나 투여받는 데 영향을 주지 않는다는 것을 알려야 한다.

It is important to inform potential survey participants that their participation is voluntary, they can cease their participation at any time in the course of taking the survey, and they can contact the study sponsor with questions or concerns about their participation. Potential participants should be informed that their answers will not affect their ability to prescribe, dispense, or receive the drug.

REMS 지식 평가 설문조사의 목적은 의약품의 중대한 위해성과 안전한 사용에 관한 대상 모집단의 지식 유지 정도를 평가하는 것이며, 조사 시점에 교육 자료를 읽고 이해하는 능력을 평가하는 것이 아니다. 따라서 설문조사 과정에서 응답자에게 환자용 의약품 안내서, 처방정보 또는 기타 REMS 관련 교육 자료를 읽거나 볼 기회를 주어서는 안 된다. 조사 응답자에게 이러한 REMS 관련 교육 자료가 무엇인지 상기시키기 위해, 관련 조사 질문에서 환자용 의약품 안내서에 대한 텍스트 설명과 이 자료들을 알아볼 수 없게 처리한 이미지를 제공할 수 있다.

The purpose of the REMS knowledge assessment survey is to evaluate the target populations’ knowledge retention about the serious risks and safe use of the drug, not to evaluate their ability to read and comprehend the educational materials at the time of the survey. Therefore, respondents should not be offered an opportunity to read or see the Medication Guide, prescribing information, or any other REMS-related educational materials as part of the survey process. To remind the survey respondents what these REMS-related educational materials are, respondents may be provided a text description of the Medication Guide and illegible rendition of these materials for relevant survey questions.

설문조사를 실시하고 조사 자료를 수집하는 방법으로 각각 장단점이 있는 두 가지 일반적인 방법을 고려하여야 한다. 즉, 자기기입식(우편 또는 인터넷 조사)과 훈련된 면접원을 통한 질문(예: 개인 또는 집단 면접, 대면 또는 전화 면접)이다. 설문조사 실시 방식은 연구 질문과 대상 모집단, 그리고 다음 추가 요인을 바탕으로 정하여야 한다.

Two general methods should be considered to administer the survey and collect survey data, each with its own advantages and disadvantages: self-administration (mail or Internet survey) and use of a trained interviewer (e.g., individual or group interviews, in-person or telephone interviews) to ask the questions. Survey administration modality should be decided based on the study question and target population, as well as the following additional factors:

이상적으로는 조사 참여자가 REMS 설문조사를 완료할 수 있도록 여러 가지 실시 방식(예: 우편, 전화, 인터넷, 대면)을 제공하여야 한다. 여러 조사 방식을 제공하면 다음과 같은 효과가 있을 수 있다.

Ideally, survey participants should be offered multiple survey administration modalities for completing REMS surveys (e.g., mail, telephone, Internet, in person). Offering multiple survey modalities may:

설문지는 REMS 핵심 메시지에 대한 응답자의 이해를 정확히 포착하고 수집한 정보의 타당성을 최적화하도록 설계하여야 한다. 표현, 질문 구조, 질문 순서는 수집한 자료의 타당성과 해석 가능성에 크게 영향을 줄 수 있다. 설문지를 설계할 때에는 설문지 설계 전문가가 참여하여야 한다. 신청자는 제안한 조사 도구의 신뢰도와 타당도를 시험하고 그 결과가 허용 가능하도록 하여야 한다.

The survey questionnaire should be designed to accurately capture respondents’ understanding of the REMS key messages and optimize the validity of the information collected. Wording, question structure, and question sequences can significantly affect the validity and interpretability of the data collected. Experts in questionnaire design should be involved when designing the questionnaire. Applicants should ensure that the proposed survey instrument’s reliability and validity are tested and the results are acceptable.

설문지를 설계할 때에는 다음 권고 사항을 특히 고려할 만하다.

The following recommendations merit particular consideration when designing the survey questionnaire:

긍정문 질문의 예(권장 형식):

Examples of positively worded questions (recommended format):

부정문 질문의 예:

Examples of negatively worded questions:

환자의 지식을 평가하는 설문지에는 환자 대상 REMS 자료에 담긴 특정 위해성이나 안전성 정보(예: 이상사례 증상을 알아보는 방법과 증상이 나타나면 해야 할 일)에 관한 질문을 넣어야 한다. 다음은 환자 설문지를 설계할 때 권장되는 고려 사항이다.

Questionnaires for assessing patient knowledge should include questions about the specific risks or safety information conveyed in the patient-directed REMS materials (e.g., how to recognize and what to do if they experience symptoms of an adverse event). The following list includes some recommended considerations when designing a patient questionnaire:

예:

Example:

지금부터 의약품 X와 함께 받으셨을 수 있는 환자용 의약품 안내서에 대해 몇 가지 질문을 드리겠습니다. 환자용 의약품 안내서는 의약품 X 사용과 관련된 위해성과 의약품 X를 안전하게 사용하는 방법에 관한 중요한 정보를 담은 종이 안내문입니다. 환자용 의약품 안내서에는 항상 Medication Guide라는 제목이 있고, 그 뒤에 Drug X라는 단어와 그 발음이 적혀 있습니다. 환자용 의약품 안내서에는 보통 「의약품 X에 대해 꼭 알아야 할 가장 중요한 정보는 무엇입니까?」, 「의약품 X는 무엇입니까?」, 「누가 의약품 X를 복용하면 안 됩니까?」라는 제목의 부분이 있습니다.

Now we are going to ask you some questions about the Medication Guide you may have received with Drug X. The Medication Guide is a paper handout that contains important information about the risks associated with use of Drug X and how to use Drug X safely. Medication Guides always include the title Medication Guide, followed by the word Drug X and its pronunciation. The Medication Guide usually has sections titled What is the most important information I should know about Drug X?, What is Drug X?, and Who should not take Drug X?.

보건의료인 설문조사에는 REMS 목표와 REMS 교육 자료에 담긴 특정 위해성과 안전성 정보에 관한 질문 부분이 있어야 한다. 다음은 보건의료인 설문지를 설계할 때 권장되는 고려 사항이다.

The healthcare provider survey should include a section with questions about the specific risks and safety information conveyed in the REMS goals and REMS educational materials. The following list includes some recommended considerations when designing a healthcare provider questionnaire:

예: 처방정보에 따르면 의약품 X는 다음 중 어떤 중대한 부작용을 일으킬 수 있습니까? (해당하는 것을 모두 선택하십시오.)

Example: According to the Prescribing Information, Drug X can cause which of the following serious side effects? (Select all that apply.)

예: 오늘 이전에, 의약품 X와 관련하여 다음 교육 자료 중 어떤 것을 알고 있었고, 받았으며, 읽거나 보았습니까? (해당하는 것을 모두 선택하십시오.)

Example: Before today, which of the following educational materials were you aware of, did you receive, and did you read/view with regard to Drug X? (Select all that apply.)

예:

Example:

설문조사가 끝나면 결과의 분석과 제시는 조사 계획서에 기술한 사전 규정 통계 분석 계획을 따라야 한다. REMS 평가 보고서에는 자료 관리 정보, 연구 대상자의 특성, 평가 지식 설문조사 결과를 제시하여야 한다.

When the survey is completed, analyses and presentations of results should follow the prespecified statistical analysis plan described in the survey protocol. The REMS assessment report should provide data management information, characteristics of study subjects, and assessment knowledge survey results.

REMS 평가 보고서에는 평균, 표준편차, 중앙값, 최솟값과 최댓값(연속형 변수), 사분위범위, 빈도분포(명목형 또는 순서형 변수) 등 다양한 기술통계를 사용하여 연구 대상자의 특성을 포함하여야 한다. 표본이 대상 모집단을 대표함을 보이기 위해, 신청자는 표본의 특성을 표본추출틀과 대상 모집단의 알려진 특성과 비교하고, 차이가 있으면 그 이유와 그 차이가 표본에서 얻은 추론의 타당성에 미칠 수 있는 영향을 논의하여야 한다. 신청자는 또한 무응답자에 대해 알려진 정보를 응답자의 정보와 비교하고, 무응답자 편향이 연구 결과에 미칠 수 있는 영향을 논의하여야 한다.

The REMS assessment report should include study subjects’ characteristics using a range of descriptive statistics, including means, standard deviations, medians, minimum and maximum values (for continuous variables), interquartile range, and frequency distributions (for nominal or ordinal variables). To demonstrate that the sample is representative of the target population, applicants should compare the characteristics of the sample to the known characteristics of the sampling frame and target population and discuss the reasons for any discrepancy and its potential influence on the validity of the inference from the sample. Applicants should also compare known information about nonresponders to that of responders and discuss the potential impact of nonresponder bias on the study results.

또한 REMS 평가 보고서에는 각 질문과 각 REMS 핵심 메시지 영역에 대한 인지율 추정값과 그 95% 신뢰구간을 포함하여야 한다. 여러 질문과 답으로 측정하는 REMS 핵심 메시지 영역에 대해서는, 미리 정하고 적절하며 의미 있게 구성한 종합 점수를 사용하여 각 영역에 관한 결과를 제시할 수 있다.

In addition, the REMS assessment report should include knowledge rate estimates and their 95 percent confidence interval for each question and each REMS key message domain. For REMS key message domains measured by multiple questions and answers, prespecified and appropriately and meaningfully constructed composite scores can be used to present the findings regarding each domain.

층화무작위표본 조사나 집락표본 조사와 같은 복잡한 조사 설계에서는 전체 모집단에서 핵심 메시지의 인지율을 여러 집락 또는 층의 인지율의 가중 평균으로 추정하여야 하며, 가중치는 표본추출 설계와 중요할 수 있는 무응답 보정에 따라 달라진다. 인지율 추정값과 그에 따른 정밀도 추정값은 모두 연구에 사용한 확률 표본추출 설계를 반영하여야 한다. 점추정값과 그 정밀도에 적절한 분석 방법은 설계에 따라 달라지므로 미리 정하여야 한다. 사후 층화와 가중치 부여로 잘못 설계된 설문조사나 잘못 수집된 자료를 바로잡을 수는 없다.

For complex survey designs, such as stratified random sample or cluster sample surveys, the knowledge rate of a key message in the overall population should be estimated from a weighted average of knowledge rates in different clusters or strata, where the weights depend on the sampling design and any nonresponse adjustments that may be important. Both the knowledge rate estimates and the associated precision estimates should reflect the probability sampling design used for the study. Because the appropriate analysis methods for the point estimates and their precision depend on the design, they should be prespecified. Post hoc stratification and weighting cannot salvage a poorly designed survey or poorly collected data.

REMS 평가 보고서에는 보고 기간 동안의 모든 조사 응답자 자료에 대한 분석도 포함하여야 한다. 완료된 설문지가 예상보다 많이 접수되면, 완료된 설문조사의 모든 자료를 분석과 보고에 포함하여야 하며, 보고서에서 조사 응답자 중 일부를 표본추출하거나 선택해서는 안 된다.

The REMS assessment report should also include analyses of data from all survey respondents during the reporting period. When the number of completed survey questionnaires received is higher than expected, all data from completed surveys should be included in the analysis and report; the report should not sample or select from the survey respondents.

회수되거나 완료된 설문지에 답하지 않은 문항이 있으면, 답하지 않은 질문은 오답이 아니라 결측으로 보아야 한다. 결과 보고는 통계 분석 계획에 미리 정한 결측값 처리 방법을 따라야 한다.

When a returned or completed questionnaire contains unanswered items, unanswered questions should be considered as missing, not wrong. Results reporting should follow methods to handle missing values prespecified in the statistical analysis plan.

각 조사 질문에 대해 제시하는 결과에는 적어도 각 선택지를 고른 응답자의 총수, 어떤 답도 고르지 않은 수, 그리고 전체 응답자에 대한 해당 백분율이 포함되어야 한다.

For each survey question, the results presented should include at least the total number of respondents that selected each answer choice, the number that did not select any answer, and the corresponding percentages of total respondents.

예: 참 또는 거짓: 처방정보에 따르면 [중대한 위해성]은 의약품 X의 사용과 관련되어 있습니까?

Example: True or False: According to the Prescribing Information, [Serious Risk] is associated with the use of Drug X?

끝으로, 통계 분석 계획에 중요한 하위집단을 미리 정해 두었다면 REMS 평가 보고서에 하위집단 분석을 포함하여야 한다. 관심 하위집단의 예로는 환자용 의약품 안내서를 읽은 환자와 읽지 않은 환자, 가장 최근에 의약품을 처방받은 환자, 또는 얼마 동안 복용해 온 환자가 있다. 그 밖의 예로는 사회경제적 또는 민족적 배경이나 고위험 의학적 상태에 따른 하위집단이 있다. FDA는 하위집단 분석을 신중하게 보고하는 것을 지지한다. 그러나 REMS 지식 평가 설문조사에서 일차적인 관심은 전체 조사 표본에 근거한 결론이다. 자료의 일부에 근거하여 대상 모집단에 대한 결론을 내리는 것은 부적절한 관행으로 본다.³⁶ 부분 분석을 주요 결과로 제시하면 설문조사의 결론이 왜곡될 수 있다.

Finally, the REMS assessment report should include subgroup analyses when important subgroups are prespecified in the statistical analysis plan. Examples of possible subgroups of interest are those patients who read or did not read the Medication Guide, those patients who have most recently been prescribed a drug, or those who have been taking it for some time. Additional examples are subgroups based on socioeconomic or ethnic background or high-risk medical conditions. FDA supports judicious reporting of subgroup analyses. However, conclusions based on the whole survey sample are the primary interest in a REMS knowledge assessment survey. Basing conclusions for the target population on a subset of the data is considered an inappropriate practice.³⁶ Presentation of a partial analysis as the main finding can distort the conclusion from the survey.

조사 계획서를 개발하고 REMS 평가 지식 설문조사의 방법론과 결과를 제시하는 데 도움이 되도록, 제안 조사 계획서³⁷와 REMS 평가 보고서를 제출할 때 해당하는 경우 다음의 상세 정보를 포함하여야 한다.

To assist in developing survey protocol and presenting REMS assessment knowledge survey methodology and results, the following detailed information should be included in the submissions of proposed survey protocol³⁷ and REMS assessment report, as applicable: