Оценка.

Из: T.Rundall. Evaluation. In: Public Health & Preventive Medicine. Ed by R.B.Wallace. Appleton & Lange, Stamford, 1998. 1291 p.

Цель оценки.
Фокус оценивания.
Модели для оценки.
Литература


Оценка программ здравоохранения и политика в области здравоохранения, являются фундаментальными для общественного здоровья (1,2). Построение и поддержание эффективной системы здравоохранения требует, чтобы программы и политические решения, направленные на улучшение здоровья и предотвращение заболеваний, выполнялись самым эффективным способом. Оценка - это процесс, который специально разрабатывается для того, чтобы собрать и проанализировать информацию, и определить, как программа выполняется и при необходимости, улучшить ее. Этот процесс включает различные концепции, методы и аналитические схемы для того, чтобы определить, насколько данная программа необходима, насколько вероятно, что она будет использована, насколько вероятно, что она адекватно разработана для того, чтобы выполнить, поставленные перед ней задачи, насколько программа осуществляется в соответствии с планами и действительно ли, программа помогает людям, которые нуждаются в этой помощи за достаточно разумную стоимость, без нежелательных побочных эффектов (3). Поэтому оценки используется для того, чтобы помочь при планировании программ здравоохранения, для контроля качества программ, для улучшения их, и для разработки политики в области здравоохранения. При планировании оценки, человек, проводящий оценку, вместе с другими сотрудниками решает: (а) какова цель оценки; (в) что будет являться фокусом оценки; и (с) какие специфические модели для оценки, будут руководить сбором данных и их анализом.

Цель оценки.

Оценка может быть проведена в форме текущей или окончательной (4). Текущая оценка, в основном, проводится для того, чтобы обеспечить персонал программы информацией для того, чтобы привнести изменения в программу и увеличить вероятность достижения желаемого результата. Первичной целью окончательной оценки является предоставление информации для лиц, принимающих решение, по отношению к тому, находится ли программа в своей финальной форме, является ли она лучше, чем существующие альтернативы для того, чтобы оправдать определение ресурсов на ее продолжение и/или ее использование в других местах.

Текущая оценка наиболее эффективна во время разработки новой программы, или как способ повторной оценки программы, которая требует модификации. Текущая оценка, обычно, имеет три основных компонента: (а) оценка удовлетворенности участников и персонала данной программы, в ее соответствии потребностям и в ясности информации, в структуре программы, квалификации и навыков персонала, а также межличностной динамики среди участников и персонала; (в) оценка краткосрочных, когнитивных (знание и понимание), аффективных (отношение мотивации и веры), или поведенческих эффектов программы; и (с) оценка возможности продолжения существования программы, включая оценку текущего и будущего уровня участия в программе, и анализ, требуемых ресурсов. Финальная (или суммационная) оценка дает информацию об эффективности программы здравоохранения на протяжении некоего периода времени внутри определенной популяции, в одном или разных местах. Люди, принимающие решения, затем могут использовать эту информацию для того, чтобы решить необходимо ли прекратить эту программу, продолжить ее, или распространить ее на новые условия. Подобная оценка может быть выполнена только тогда, когда руководители программы удовлетворены тем, что программа функционирует как предполагалось, и она адекватно воздействует на своих участников.

Фокус оценивания.

Оценка может фокусироваться на выявлении воздействия программы на процесс, результаты, или воздействие (5). В то время, как эти термины иногда трактуются по разному, нижеследующее обсуждение дает, наиболее широко распространенное, толкование каждого типа оценки.

Оценка процессов документирует факты, которые происходят в программе и оценивает сильные и слабые стороны программы и активности, которая совершается в рамках этой программы. Оценка процессов может включать описание характеристик тех, кто использует программу и как они используют эту программу, характеристику мест, где эта программа выполняется, удовлетворенность участников и персонала этой программой, а также степень, с которой компоненты активности программы, соответствуют целям. Оценка процессов наиболее адекватна, как часть текущей оценки. Однако, оценка процессов также может оказаться полезной в завершающей оценке, помогая лицу, проводящему оценку, понять, почему определенные эффекты наблюдались, или, наоборот, на наблюдались.

Оценка результатов анализирует эффективность программы в появлении желательных, когнитивных, аффективных и поведенческих изменений в целевой популяции. В то время, как она наиболее часто выполняется в рамках суммационной оценки, или окончательной оценки, краткосрочная оценка результатов может быть также использована и в текущем оценивании. Оценка влияния изучает эффект программы на более отдаленные цели, такие как изменение статуса здоровья, ощущаемого качества помощи, и качества жизни. Поскольку изменения в этих типах результатов требуют очень большого времени для того, чтобы их достичь и для того, чтобы их измерить, использование оценки результатов, обычно ограничено, завершающими формами оценки. Хотя прояснение вопроса, проводится ли оценивание для текущих, или окончательных задач (для формативных или суммативных целей) и фокусируется ли оно на процессах, результатах или воздействии программы, тем не менее остается еще один фундаментальный вопрос, на который необходимо ответить: какая модель оценки наиболее адекватна для изучаемой программы?

Модели для оценки.

Современная эра оценки программ в Соединенных Штатах началась в начале 1960-х годов, когда политики начали искать данные, которые описали бы им эффект громадных федеральных инвестиций, которые были сделаны в здравоохранение, образование и социальные программы. С этого времени было разработано большое количество подходов к оценке. Ниже описаны четыре основные модели, разработанные за это время. Каждая из этих моделей подчеркивает важный аспект оценивания. Специфические вопросы, которые поднимаются оценщиком, возможности и ограничения, существующие в рамках каждой программы, будут определять какая модель, или комбинация моделей, является подходящей (6).

Модель исследования в социальных науках.

В попытке разработать жесткую методологию оценки специалисты, которые начинали заниматься оценкой программ, очень многое позаимствовали из методов и дизайна исследований, используемых учеными в социальных науках для установления причинно-следственной связи между независимыми переменными и зависимой переменной. Оценка программы рассматривается как специализированная форма исследования в социальных науках. С этой точки зрения успех программы определяется формированием двух рандомизированных групп, с предоставлением лечения или некой услуги одной группе, и использованием второй группы в качестве контроля. В некоторых случаях используются более сложные экспериментальные и квазиэкспериментальные дизайны для того, чтобы контролировать возможные угрозы внешней и внутренней валидности (7,8). После осуществления программы, данные об определенной зависимой переменной собираются от каждого члена каждой группы. К этим данным применяются обычные статистические тесты, разработанные для базовых наук. Если различия между контрольной группой и группой вмешательства на выбранных показателях результата, идут в указанном направлении и статистически значимы - программа рассматривается, как успешная. Если средние значения статистически не значимы - программа рассматривается, как провалившаяся. В то время, как положительная сторона этого подхода для определения причинных факторов, широко принята на протяжении длительного периода времени, многие заказчики критиковали этот подход по разным причинам. Например, указывалось, что подход в социальных науках является: настолько требовательным ко времени, что нельзя закончить исследование к тому времени, когда необходимо принимать бюджетные и политические решения о программе, которая оценивается; что эти методы сложно реально использовать, поскольку рандомизация во многих случаях за пределами клиники не возможна; что они слишком фокусируются на небольшом количестве измеряемых результатов; что они слишком сильно полагаются на статистические тесты для того, чтобы определить эффективность программ; что они могут неправильно интерпретироваться; не способны предоставлять информацию, полезную для менеджера, по отношению к улучшению качества; и то, что они слишком дорогостоящи (9).

Оценка на основании цели.

В попытке сделать оценки более чувствительными к различным результатам программы, оценщики очень часто работают с персоналом программы для того, чтобы четко определить цели и задачи программы и измерить степень, с которой эти результаты были достигнуты. Этот подход предоставляет лицам, планирующим программы , возможность установить критерии и стандарты, которые могут использоваться для определения - достигла ли программа успеха. Более того, качественные цели и задачи могут быть описаны, четко включая качественные методы, в исследования по оценке. Этот подход, однако, имеет свои недостатки. Он слишком фокусируется на задачах программы и, поэтому, оценщики иногда не могут понять, почему программа смогла, или не смогла, достигнуть поставленных целей. Более того, оценка, базирующаяся на цели, очень часто не способна принять во внимание не предусмотренные положительные, или отрицательные эффекты данной программы.

Оценка, свободная от целей.

Для того, чтобы избежать недостатков оценки по целям, оценщик может не строить дизайн самой оценки и стратегий для измерения целей, указанных в программе. В исследованиях по оценке, свободных от целей, активности программы, персонал, клиенты, места, где программа анализируется и записи - все документируют положительные и отрицательные эффекты программы, вне зависимости от описанных задач программы. Информация, затем, передается персоналу программы, клиентам, финансирующим агентствам и другим участникам, которые решают, насколько найденные результаты, сопоставимы с целями программы и определяют, какая корректировка должна быть сделана для того, чтобы улучшить данную программу.

Натуралистическая оценка.

Оценка, которая пытается понять внедрение и эффективность программы, наблюдая за ее "естественным" состоянием, называется натуралистической оценкой. Подобная оценка не базируется на определенном исследовательском дизайне, или внешних стратегиях сбора данных, но пытается собрать данные о результатах программы наименее навязчивым путем, который возможен. Подобные оценки очень часто качественные, они используют для сбора информации интервью группы наблюдения, стенограммы. Натуралистическая оценка обычно включает широкое описание программы и их участников. Некоторое оценщики, использующие этот метод, строят свое исследование на допущении того, что реальность определяется социально (10) . С этой точки зрения оценка - это процесс конструирования общего понимания эффективности программы. Более того, эта точка зрения подчеркивает делегирование и усиление относительно слабых участников таким образом, что они могут принимать участие в оценке на равных основаниях. Множественные раунды сбора данных, предоставление информации участникам и оценка понимания участниками того, что происходит в программах, выполняется до тех пор, пока не появляется, удовлетворяющее всех понимание результатов деятельности программы, в тот момент, когда проводится оценка.

Нет ни одного идеального способа, для того чтобы правильно проводить оценку. Люди, которые успешно проводят оценку, адаптируют оценку к вопросам, которые важны для организаторов программы и учитывают возможности и ограничения, которые имеются в тех местах, где программа внедряется. Указания на цель фокусирования, способы сбора данных и анализ данных во время оценки, должны эволюционировать от момента планирования оценки, до того времени, когда оценщик получит информацию, необходимую для полного дизайна исследования. Имеются шесть основных шагов данного процесса: (а) идентификация людей, которые заинтересованы в данной программе; (в) определение наиболее важных проблем в каждой группе, заинтересованных в этой программе; (с) оценка возможности оценивания программы (имеется ли достаточная степень согласия среди лиц, заинтересованных в программе в том, для чего она выполняется в том, для чего выполняется, оценка потенциала изменения в программе, и оправдывает ли вообще все это выполнение данной оценки?; (d) анализ литературы; (е) определение методологии, которая используется, включая дизайн исследований, формирование выборки, отбор критериев, сбор данных и тип статистического анализа; и (f) написание письменной заявки (11).

Особый случай оценки программ в общинах. Программы укрепления здоровья и профилактики заболеваний, которые распространяются на целые общины, являются основной целью общественного здравоохранения. Эти типы программ направлены на модификацию риска для здоровья, и условий, которые приводят к появлению этих рисков, и подкрепляют их существование. Эти активности, обычно, включают программы образования в области здоровья, а также действия, направленные на изменения законов или других регуляторных актов, в тех областях, которые воздействуют на здоровье. Внедрение на уровне целой общины являются сложными, используют множественные теории изменения и множественные каналы коммуникаций, и очень часто направлены на здоровых людей, а также на тех, кому необходимы эти вмешательства. Специфической характеристикой подобных вмешательств является то, что они пытаются улучшить характеристики, связанные со здоровьем всей общины в целом. Эти вмешательства, обычно, проводятся на протяжении нескольких лет, по причине чего становится вероятным, что факты не связанные с программами, такие как какие-то исторические события, иммиграция в данную общину, эмиграция из этой общины, окажут воздействие на результаты программы. Эти аспекты профилактических вмешательств приводят к тому, что их очень сложно оценивать. Последние несколько лет стали разрабатываться специальные исследовательские подходы для того, чтобы оценивать общинные вмешательства, включая случайное разделение большого количества общин в группы контроля и лечения, комбинирование одномоментных и когортных исследовательских дизайнов внутри общин, широкое мониторирование процесса внедрения, измерение различных показателей внешней среды и использование множественных методов сбора данных (12, 16).

Оценка - это больше, чем просто исследование. Это фундаментальный метод хорошего управления и является необходимой частью процесса разработки, посвященной политике здравоохранения. Это достаточно сложное мероприятие, которое требует от исследователей балансировки, строгости их исследовательских стратегий и понимания управленцами и политиками важности их работы. Проблема, которая стоит перед исследователем, выполняющим оценку, заключается в необходимости понимания возможностей и ограничений, связанных с данной программой, и необходимость использования концепций и методов, описанных выше для того, чтобы приспособить оценку к исследуемой ситуации таким образом, чтобы получить наиболее адекватную и защищаемую оценку качества программы.

 

Литература

1. Institute of Medicine Committee for the Study of the Future of Public Health: The Future of Public Health. Washington, DC: National Academy Press, 1988 

2. American Public Health Association: APHA's vision: public health a reformed health care system. The Nation's Health 23(6):9-11 1993 

3. Posavac EJ, Carey RG: Program Evaluation. 4th ed. Englewood Cliffs, NJ: Prentice Hall, 1992, p 1 

4. Scriven M: The Logic of Evaluation. Inverness, CA: Edgepress, 1980 

5. Rossi PH, Freeman HE: Evaluation: A Systematic Approach, 5th ed. Newbury Park, CA: Sage Publications, 1993 

6. Shadish WR, Cook TD, Leviton LC: Foundations of Program Evaluation. Newbury Park, CA: Sage Publications, 1991 

7. Campbell DT, Stanley JC: Experimental and Quasi-experimental Designs for Research. Chicago: Rand-McNally, 1963 

8. Cook TD, Campbell DT: Quasi-experimentation. Chicago: Rand-McNally, 1979 

9. Posavac EJ, Carey RG: Program Evaluation. 4th ed. Englewood Cliffs, NJ: Prentice Hall, 1992, p 25 

10. Guba EG, Lincoln YS: Fourth Generation Evaluation. Newbury Park, CA: Sage Publications, 1989 

11. Posavac EJ, Carey RG: Program Evaluation. 4th ed. Englewood Cliffs, NJ: Prentice Hall, 1992, pp 28-36 

12. Jackson C, Altman DG, Howard-Pitney B, Farquhar TW: Evaluating community-level health promotion and disease prevention interventions. New Directions for Program Evaluation 43:19-33, 1989 

13. Mattson MA, Cummings KM, Lynn WR, Giffen C, Corie D, Pechacek T: Evaluation plan for the Community Intervention Trial for Smoking Cessation (COMMIT). Int Q Community Health Educ 11(3):271-290, 1990-91 

14. Wickizer TM, Von Korff M, Cheadle A., Maeser J, Wagner EH, Pearson D, Beery W, Psaty BM: Activating communities for health promotion: a process evaluation method. Am J Public Health 83(4): 561-567,1993 

15. The COMMIT Research Group: Community Intervention Trial for Smoking Cessation (COMMIT): I. Cohort results from a four-year community intervention. Am J Public Health 85(2): 183-192,1995 

16. The COMMIT Research Group: Community Intervention Trial for Smoking Cessation (COMMIT): II. Changes in adult cigarette smoking prevalence. Am J Public Health 85(2): 193-200, 1995