Позитивные измененияРепортаж

«Если ты используешь оценку, то принимаешь решения лучше и помогаешь людям больше»

Интервью с Майклом Пэттоном

Майкл Куинн Пэттон — один из наиболее известных экспертов в мире в области оценки проектов и программ¹. В этой сфере он работает с 1970-х годов, когда оценка в некоммерческом секторе была относительно новым явлением. Доктор Пэттон — автор известных концепций оценки, которые используют специалисты по всему миру, обладатель нескольких международных премий за выдающийся вклад в развитие этой области, автор 18 книг по различным вопросам практического использования оценки². В интервью главному редактору журнала Майкл Пэттон рассказал о взглядах на профессию оценщика³, импакте профессии, трендах развития сферы оценки, «золотом стандарте» методологии проведения оценки, а также о том, какое будущее ждет эту сферу.

1. Здесь и далее под оценкой понимается «систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее». Источник: Patton, M. Q. (2008). Utilization-focused evaluation (4th ed.). Thousand Oaks: Sage Publications.

2. Wikipedia. (2022). Michael Quinn Patton. Retrieved from: https://en.wikipedia.org/wiki/Michael_Quinn_Patton.

3. Здесь и далее под оценщиком понимается специалист по оценке.

Какие наиболее значимые изменения в сфере оценки проектов и программ вы можете отметить за свой долгий путь в профессии?

Я уже больше 50 лет в оценке. За эти годы данная сфера стала очень разнообразной. Подобно тому, как существует множество программ, существует множество видов оценки. И самая сложная задача — согласовать их между собой.

Изменилось ли за это время восприятие профессии специалиста по оценке проектов и программ?

Я надеюсь, что в общественном восприятии эта область стала более профессиональной, ведь сейчас существует более 100 национальных организаций, таких как сообщество оценщиков в России, Европейская ассоциация оценщиков и другие. У них есть стандарты, программы обучения, публикации. По нашим данным, в мире сейчас насчитывается около 75 000 специалистов по оценке программ. Конечно, все это говорит о том, что сфера профессионализируется.

А изменились ли требования к специалистам по оценке? Каковы сейчас требования к профессиональным оценщикам?

В большинстве стран отсутствует сертификация специалистов по оценке. В Канаде существует программа сертификации через Канадское общество оценки. В Новой Зеландии и Японии есть ряд сертификационных программ. Американская ассоциация оценки не имеет официальной программы сертификации.

Проверять квалификацию и определять, обладает ли оценщик необходимыми навыками, приходится тем, кто нанимает оценщиков.

Если брать пример Канады, есть ли в этой стране программа высшего образования (например, магистратуры) или это сертификация профессиональной ассоциации? Каков процесс получения сертификата?

Канадское общество оценки организует тренинги. Люди участвуют в них, завершают обучение, представляют примеры сделанных ими работ по оценке. Получая сертификат Канадского общества оценки, они становятся так называемыми сертифицированными оценщиками.

По вашему мнению, какой вариант лучше — сертификация или отсутствие сертификации, когда заказчик решает, является ли конкретный оценщик наилучшим специалистом для этого конкретного проекта?

Я думаю, что иметь сертификат полезно, потому что это позволяет людям, которые не очень глубоко разбираются в оценке, понимать, что перед ними человек, прошедший подготовку. Однако область оценки в США и в Европе настолько разнообразна, что до сих пор не удалось прийти к общему пониманию, в чем заключаются азы профессии. В Канаде смогли договориться о базовых понятиях, которые оценщик обязан знать, поэтому там возможна сертификация оценщиков. Маловероятно, что это случится в США, потому что там эта сфера слишком разнообразна.

Поговорим о методологии оценки. Произошли ли какие-то изменения в этой сфере?

Конечно. Появился искусственный интеллект (ИИ), большие данные и их источники. Пандемия принесла с собой большие перемены: благодаря онлайн-ресурсам стало возможным проводить интервью и фокус-группы онлайн. По-новому стали использоваться спутниковые снимки. Например, благодаря спутникам теперь не нужно ехать куда-то в поля, чтобы проверить, используется ли там новая сельскохозяйственная техника. Если мы хотим узнать, сколько детей находится в школе в развивающейся стране, опять же можно использовать спутниковые снимки.

Дистанционный сбор данных, ИИ, big data, интернет, большее количество методик визуализации данных позволяют лучше коммуницировать. Стало проще распространять результаты оценки благодаря развитию интернета и социальным сетям, находить людей для интервью, следить за человеком в социальных сетях. Все эти технологические новинки проникают в сферу оценки.

Столько изменений и столько возможностей. Должен ли каждый специалист по оценке знать обо всех этих новинках? Каковы важнейшие качества хорошего оценщика и требования к нему, и можно ли говорить о «золотом стандарте» оценщика?

Как мне кажется, мы решили, что «золотым стандартом» является способность делать правильную оценку программы, соответствовать потребностям конкретной программы. Не существует методологического «золотого стандарта». Я не считаю, во всяком случае, что рандомизированные контролируемые исследования лучше других методик, потому что главное заключается в потребностях программы, и потому что такие явления, как пандемия, изменение климата, политическая нестабильность в мире, рост числа беженцев, голод и засуха, скорость изменения мира вокруг нас, рождают необходимость в таких подходах к оценке, которые могут быстро адаптироваться к новым условиям, подобно тому, что потребовала пандемия.

Должны меняться программы и должна меняться оценка. Не существует одного метода, который являлся бы «золотым стандартом». Главная задача и сложность — это адаптивность и уместность. Нужно понять, что необходимо для конкретной программы в конкретный момент времени.

Если, например, оценка предполагает использование продвинутого социологического инструментария, а у меня как оценщика таких знаний, предположим, нет, я ведь не смогу провести оценку на должном уровне?

Именно так. Отчасти поэтому так важны профессиональные ассоциации. Сегодня благодаря им, социальным сетям, нетворкингу можно найти кого-то, кто поможет тебе освоить эти методы. Сегодня множество оценок проводится коллективно, поэтому ни один оценщик не будет владеть всеми необходимыми методиками и навыками. Но если вы можете находить нужных людей через ассоциацию, интернет и соцсети, вы сможете найти оценщиков, обладающих этими навыками.

Можно ли сказать, что сегодня большинству клиентов требуется использование продвинутых методов социологического анализа?

Им необходимо иметь возможность получить обратную связь от благополучателей, если вы это имеете в виду под социологическим анализом. Программы должны иметь хорошие возможности для получения высококачественных реальных данных от участников программ, чтобы можно было выяснить, что происходит на самом деле. Возможно, самое важное и самое распространенное заключается в том, что оценщики получают прямую, независимую и настоящую обратную связь от целевых аудиторий, вовлеченных в программу — насколько хорошо работает эта программа, получают ли они помощь, что можно улучшить.

Для этого нужно быть хорошим интервьюером, уметь делать опросы, пользоваться соцсетями, получать данные напрямую от людей.

Вы профессиональный социолог. По вашему опыту, широко ли распространено среди оценщиков наличие социологического или психологического образования, профессиональное владение SPSS и аналогичными программами, или это на самом деле необязательно?

К счастью, существует дополнительная подготовка. Значительная часть моего социологического образования была очень академичной, и мне пришлось учиться оценке на практике. Когда я начинал, не существовало никаких курсов, никаких семинаров. Мне пришлось взять социологические методы интервьюирования и опросов и адаптировать их к оценке, психологам приходилось делать то же самое с тестами, а экономистам — с анализом экономической эффективности. Работа в оценке требует умения адаптировать эти академические исследовательские методики. Это ключевой навык.

Поговорим о так называемых «мягких навыках» («soft skills»). Действительно ли они важны для оценщика?

Это хороший вопрос. Американская ассоциация оценки закрепила набор компетенций, которыми должен обладать оценщик. Разумеется, там есть методологическая компетентность, управление проектами, знание профессионально-этических стандартов.

А есть еще межличностные компетенции. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам. Относиться к людям с уважением. Уметь устанавливать связи, хорошо коммуницировать, решать проблемы и управлять конфликтами.

Одна из моих последних книг посвящена соответствующим навыкам: как работать с заинтересованными лицами различных уровней. Это важное изменение, сегодня оценка — это не только методики, но еще и межличностные отношения.

В некоторых публикациях вы упоминали концепцию оценочного мышления, и вы предлагаете делиться этим типом мышления с рабочей группой проекта, с клиентом. Не угрожает ли это существованию профессии оценщика? Не станет ли оценка всего лишь управленческой функцией?

Я не думаю, что такая опасность существует. Вы очень хорошо описали ситуацию, но оценочное мышление в управлении означает лишь то, что у вас улучшается коммуникация, потому что вы говорите на одном языке. Люди понимают концепции логических моделей, теорий изменений, SMART-целей, различных видов оценки для различных целей, но для того, чтобы провести собственно оценку, необходим свежий взгляд, необходимы люди, которые могут посмотреть на вещи по-другому.

Когда люди действительно имеют оценочное мышление, то они начинают ценить наличие специалиста, который помогает им посмотреть на происходящее глазами человека со стороны. Это то, что я часто делаю. Как специалист по оценке, я помогаю управленцам и сотрудникам, и даже участникам, понять, как оценщики думают, как определить критерии, как интерпретировать данные, как делать выводы — но им все равно нужен оценщик, чтобы это было проще делать, необходима еще одна пара глаз, чтобы посмотреть на вещи с другой точки зрения. Помогать думать оценочно — это про улучшение коммуникаций и понимание происходящего.

То есть вы не считаете, что оценка станет лишь частью менеджмента, так как специалист по оценке имеет иные функции помимо того, что позволяет понимать, что происходит на самом деле.

Да. Оценщики также дают дополнительную точку зрения. Даже там, где есть внутренние оценщики в составе руководства, их задача — проводить оценку и обеспечивать наличие хороших данных и убедиться, что люди тратят время на их интерпретацию. Я считаю, что функция оценщика сохранится, но чем лучше менеджмент понимает оценку, тем лучше будет коммуникация и использование результатов оценки.

В статье «Будущее оценки программ», опубликованной в 2009 г., вы писали, что в следующие десятилетия будет активно обсуждаться «золотой стандарт» методик оценки. Можем ли мы говорить о существенных изменениях в ответе на этот вопрос сегодня? Или у нас все тот же лидер — рандомизированные контролируемые исследования?

Споры продолжаются, но становится все более ясно, что в быстро меняющемся мире нужны методики с быстрым оборотом, позволяющие получить реальные данные в режиме реального времени. Рандомизированные контролируемые исследования на самом деле не очень полезны в сложном, динамичном, быстро меняющемся мире. Они лучше всего работают в стабильной ситуации, когда имеются четкие фиксированные вмешательства.

Если вам нужно работать с темами пандемии, изменения климата или гражданских волнений, когда все быстро меняется, то рандомизированные контролируемые исследования не подходят, они слишком жестки и требуют слишком много времени.

Скорость изменений означает, что оценка должна позволять получать результаты быстро, в режиме реального времени, и так же быстро предоставлять их людям, которым надо принимать решения в условиях ограниченного времени.

Профессия оценщика меняется в ответ на происходящее вокруг, но и сами оценщики меняют мир. Что эта профессия, на ваш взгляд, уже дала миру?

Мне кажется, мы живем во времена, когда во всем мире идет битва между подходами, основанными на доказательствах, фактах и науке, и той частью мира, которая их игнорирует и лишь стремится продвигать идеологию. Оценка является частью таких всемирных данных. Оценка показала, что если ты пользуешься данными, то принимаешь решения лучше и помогаешь людям больше.

Мы видели, как это работает с людьми, отказывавшимися от вакцинации против COVID, не верящих данным о пандемии и вакцинации. В так называемом мире постправды или антинауки, где люди могут говорить что угодно, во что они верят, и считать, что это правда, оценщики помогают людям ценить важность доказательств, смотреть на реальность и работать с ней, а не с субъективными представлениями и убеждениями. В этом наш вклад.

Вы автор множества концепций оценки программ, используемых оценщиками по всему миру. Мы хотели бы обсудить некоторые из них. Первый вопрос касается концепции оценки с ориентацией на использование. В ней вы подчеркиваете роль клиента и его интерес, его желание участвовать в использовании результатов оценки. В настоящее время инвесторы социальных проектов и даже государство (как, например, в модели облигаций социального воздействия, SIB), часто становятся клиентами оценки. Они не вовлечены в сам проект, но являются ее заказчиками. Возможно ли использовать принцип оценки с упором на использование в этой ситуации? Есть ли особенности ее применения в этом случае?

Это важный вопрос. Оценка с упором на использование требует учитывать различные уровни и различные типы заинтересованных лиц — мы называем их предполагаемыми пользователями. Для кого предназначена оценка? Если предполагаемые пользователи — это инвесторы в социальные проекты, то я захочу привлечь их к определению критериев, которые они ищут. Что они хотят узнать, чтобы лучше вложить свои инвестиции?

Когда я работаю с социальными инвесторами, отчасти я помогаю им понять как клиентам, что есть разные способы проведения оценки, потому что существует много разных видов программ. Например, когда я работаю с советами директоров, инвестирующих в социальные проекты, или благотворительными фондами, я делаю с ними такое упражнение. Я составляю список разных видов финансовых инструментов: акции голубых фишек, быстрорастущие акции, недооцененные акции, то есть акции компаний, находящихся в переходном периоде или испытывающих сложности, долгосрочные облигации, краткосрочные облигации, паевые инвестиционные фонды. Эти люди хорошо знают различные виды финансовых инструментов и их отличия в доходности. Затем я беру набор проектов и провожу параллели между разными видами проектов и разными видами финансовых инструментов.

Голубые фишки — это очень хорошо известные программы вроде Всемирной продовольственной программы или ЮНИСЕФ, они известны, стабильны и обладают хорошей репутацией. Эквивалентом быстрорастущей акции финансового рынка является программа, стремящаяся к масштабированию, к распространению на другие территории внутри страны или за ее пределами.

Недооцененная акция — это программа, находящаяся в переходном периоде и нуждающаяся в помощи, чтобы пройти его и адаптироваться. Долгосрочные облигации — это эквиваленты операционной поддержки программы без уточнения, какой конкретный проект программа будет реализовывать.

Это упражнение помогает инвесторам социальных проектов понять, что они оценивают различные финансовые инструменты по-разному. Они смотрят на разные виды акций, инвестиционных фондов, облигаций, используя различные критерии, и мы тоже оцениваем различные программы при помощи различных критериев в зависимости от характера программы и характера инвестиций. Использование логики оценки финансовых инструментов помогает им понять логику оценки программ.

У инвесторов социальных проектов тоже есть внутренние сети и они тоже разработали ряд методологических подходов. Например, они очень любят метод социального возврата на инвестиции (SROI). Иногда он даже принимается как единственно возможный и безальтернативный для оценки любых результатов любого проекта. Это выглядит несколько противоречиво со взглядами специалистов по оценке — если опять же, исходить из концепции оценки, ориентированной на использование.

Социальную эффективность инвестиций все равно нужно интерпретировать и адаптировать, смотреть, идет ли речь о долгосрочной социальной эффективности инвестиций или краткосрочной, об инновационных высокорискованных программах, высокорискованных программах с высоким потенциалом эффективности или программах с низким риском и низкой отдачей. Когда я говорю о параллелях между различными видами финансовых инструментов и различными видами программ, я говорю о том, какой объем риска инвесторы социальных проектов готовы брать на себя, насколько инновационными они хотят быть, каков временной горизонт инвестиций и отдачи, ищут ли они несколько разных показателей или только один показатель успеха.

Здесь много о чем нужно договариваться и многое адаптировать, даже при общем критерии инвестирования в социальные проекты. Еще нужно определить, что означает инвестирование в социальные проекты и эффективность таких инвестиций в конкретной ситуации. И здесь как раз нужна оценка с упором на использование, потому что она обеспечивает диалог с клиентами и помогает им сформулировать сроки, критерии, степень риска, которую они готовы принять, и требуемый уровень отдачи инвестиций.

Следующий вопрос касается теории трансформации. В чем разница между предложенным вами термином «теория трансформации» и теорией изменений?

Отличный вопрос. Идею теории изменений предложила в 1995 году социолог Кэрол Вайс, которая наблюдала, как фонды начали реализовывать программы, не зная, какие данные об эффективности показывали исследования. Они не знали о достижениях социальных наук, о том, как бороться с бедностью или с наркозависимостью.

Теперь мы перешли к попыткам изменить целые системы (климатические, сельскохозяйственные, продовольственные, здравоохранения). Когда вы начинаете изменять систему, вы выходите за рамки одного конкретного проекта.

Теория изменений рассматривает индивидуальный проект или программу, а теория трансформации, пытающаяся изменять системы, должна состоять из множества различных теорий изменений. Например, в кампании по борьбе с курением не одна теория изменений. Вам нужно просвещать людей о вреде курения, работать с рекламой и маркетингом, со здравоохранением. Вам нужны нормативно-правовые акты и стимулирующие меры, активная работа с производителями табачной продукции, с молодежью, с пожилыми людьми.

Существует много разных подходов к борьбе с курением, каждый из которых имеет собственную теорию изменений, а теория трансформации пытается интегрировать все эти разные теории изменений, чтобы добиться общего системного воздействия.

Мне кажется, это касается и концепции Blue Marble⁴, над которой вы сейчас работаете. Не могли бы вы кратко описать основные идеи этой концепции?

4. The Blue Marble — фотография планеты Земля, сделанная 7 декабря 1972 года экипажем космического корабля «Аполлон-17» с расстояния примерно в 29 тыс. км от поверхности Земли. Для астронавтов Земля имела размер и вид голубого марбла (игрушки, обычно представляющей собой цветной стеклянный шарик).

Оценка Blue Marble связана с теорией трансформации: как только мы начинаем иметь дело с крупными системами, мы имеем дело с глобальными воздействиями. Например, на состояние сельского хозяйства в любой стране влияют изменение климата, мировые рынки, политика правительства, политика международных агентств, торговля, транспорт. Идея оценки Blue Marble заключается в том, что мы должны понимать не только то, что происходит в конкретной локальной программе, но и как на эту программу влияют глобальные и международные тенденции, например, пандемия или изменения климата.

Концепция оценки Blue Marble соединяет локальное с глобальным. В английском для этого есть слово «glocal», сочетающее слова «local» и «global», «локальный» и «глобальный». Оно означает поиск взаимодействий и взаимосвязей локального и глобального, таким образом наше понимание на глобальном уровне основано на понимании локальных процессов, а понимание происходящего на локальном уровне обусловлено пониманием глобальных тенденций.

Давайте поговорим о реализации этой концепции в практической работе оценщиков. Например, если оценщик решает использовать концепцию оценки Blue Marble в своей работе, с чего ему надо начинать?

Давайте в качестве примера снова возьмем инвестирование в социальные проекты. Для любой инвестиции в социальный проект важно рассмотреть конкретный проект, в который будут вкладываться средства, однако с точки зрения Blue Marble оценщики также должны знать, чем занимаются другие инвесторы социальных проектов. Что происходит в других странах? Каковы мировые тенденции в инвестировании в социальные проекты? Какие сети задействованы? Чем больше денег поступает в социальные проекты на глобальном уровне, тем важнее применять к каждому конкретному проекту глобальные тенденции и шаблоны.

Работа оценщика в этом случае включает не только разработку оценки конкретного социального воздействия, но и знание глобального контекста, что происходит в других проектах оценки социального воздействия, чему можно у них научиться, какие там показатели, как это связано с целями устойчивого развития. Например, связана ли конкретная инвестиция в социальный проект с одной целью устойчивого развития или несколькими целями устойчивого развития? Конкретно это означает, что оценщику необходимо научиться помещать отдельный проект в широкий глобальный контекст.

Есть ли у вас руководство или список вопросов, которые специалист по оценке должен задать? Например, чтобы не забыть про климат и другие глобальные вопросы.

Да, такой список вопросов есть. Как вы предположили, первая часть вопросов относится к климату — как проект соотносится с устойчивым развитием, восстановлением, смягчением последствий изменения климата? Потому что мы находимся в чрезвычайной климатической ситуации, и любые наши действия могут оказать на нее влияние.

Еще одна группа вопросов касается социальной справедливости, потому что разрыв между богатыми и бедными людьми, между более богатыми и более бедными странами не прекращает увеличиваться. Есть этический критерий — как конкретный проект поддерживает гендерное и социально-экономическое равенство, расовую справедливость. Таким образом, вопросы социальной справедливости и равенства и вопросы воздействия на изменение климата стали универсальными, они должны учитываться во всех оценках программ.

Мой последний вопрос — о будущем. Если попытаться заглянуть в ближайшее будущее оценки программ, какие изменения мы можем ожидать?

Я думаю, будет больше сетей оценщиков, обменивающихся данными и коммуницирующих друг с другом, потому что мы занимаемся системными изменениями. Например, я работаю с Глобальным альянсом за будущее продовольствия, это 30 благотворительных фондов на 4 континентах. Это фонды из Северной Америки, Европы, Южной Америки и Азии.

Для решения глобальных проблем и отслеживания системных изменений требуется совместная работа команды оценщиков из разных стран, говорящих на разных языках и имеющих разные методологические навыки. В прошлом году я с командой оценщиков Blue Marble участвовал в оценке Cаммита ООН по продовольственным системам.

Сейчас я работаю с новой академией международной оценки, и у нас есть участники из всех стран мира, я вхожу в российское общество оценщиков и оказываю содействие Международной организации по сотрудничеству и оценке. Международные и глобальные сети и группы оценщиков станут частью нашего будущего.

Наталья Гладких, к. психол. н., ведущий эксперт Института социально-экономического проектирования НИУ ВШЭ

“If You Use Evaluation You Make Better Decisions and Help People More.”

Interview with Michael Patton

Michael Quinn Patton is one of the world’s most renowned experts in project and program evaluation¹. He has been working in this field since the 1970s, when evaluation in the nonprofit sector was a relatively new phenomenon. Dr. Patton is the creator of well-known evaluation concepts that are used by specialists around the world. He received several international awards for outstanding contributions to the field, and he wrote 18 books on various issues related to practical use of evaluation². In an interview with our Editor-in-Chief, Michael Patton shared his views on the profession of an evaluator³, the impact of the profession, trends in evaluation, the “gold standard” of evaluation methodology, and what the future holds for this field.

1. Hereinafter, evaluation is understood as “the systematic collection of information about the activities, characteristics, and outcomes of programs to make judgments about the program, improve program effectiveness, and/or inform decisions about future programming.” Source: Patton, M. Q. (2008). Utilization-focused evaluation (4th ed.). Thousand Oaks: Sage Publications.

2. Wikipedia. (2022). Michael Quinn Patton. Retrieved  from: https://en.wikipedia.org/wiki/Michael_Quinn_Patton.

3. Hereinafter, an evaluator is defined as an evaluation specialis.

What are the most significant changes in project and program evaluation over your long professional journey?

I’ve been in evaluation for over 50 years. The field has grown very diverse in this time period. Just as there are many programs, there are many types of evaluation. And the most difficult task is to coordinate them with each other.

Has the perception of the profession of project and program evaluator changed during this time?

I hope that this area has become more professional in the public perception, because there are now more than 100 national organizations, such as the Association of Specialists in Program and Policy Evaluation in Russia, the European Association of Evaluators, etc. They have established standards, training programs, publications. According to our data, there are now about 75,000 program evaluators worldwide. Of course, all these facts suggest that the field is getting more professional.

Have the requirements to evaluators changed over time? What are the requirements to professional evaluators today?

Most countries do not certify evaluators. Canada has a certification program through the Canadian Evaluation Society. There are a number of certification programs in New Zealand and Japan.

The American Evaluation Association has no formal certification program. It is up to those who hire evaluators to verify their qualifications and determine if the evaluator has the necessary skills.

If we take Canada as an example, does this country have a higher education program (such as a master’s degree), or is it a certification program run by a professional association? What is the process for obtaining a certificate?

The Canadian Evaluation Society organizes trainings. People attend the trainings, complete the curriculum, and present examples of past evaluation work. By acquiring certification from the Canadian Evaluation Society, they become certified evaluators.

In your opinion, when a customer decides whether a particular evaluator is the best person for their particular project, which option is better — certification or no certification?

I think having a certificate helps, because it allows customers, who may not be very proficient in evaluation, to understand they are dealing with someone who has been trained. But the field of evaluation in the United States and in Europe is so diverse that it has not been possible so far to achieve a common understanding of the basics of this profession. In Canada, we were able to agree on the basic concepts that an evaluator must be familiar with, that is why certification is possible there. It is unlikely to happen in the U.S. because the field is too diverse there.

Let’s talk about evaluation methodology. Have there been any changes in this area?

Of course. Artificial intelligence (AI), big data and its sources have emerged. The pandemic brought forth great changes: online services have enabled conducting interviews and focus groups remotely. Satellite imagery has been used in new ways. For example, thanks to satellites, it is no longer necessary to go somewhere in the field to check whether new agricultural equipment is being used there. If we want to know how many children attend a school in a developing country, we can use satellite imagery again.

Remote data collection, AI, big data, the Internet, and new data visualization techniques allow for better communication. It has become easier to distribute evaluation results thanks to the development of the Internet and social media, to find people to interview, to follow a person on social networks. All of these technological advances are making their way into the field of evaluation.

So many changes and so many possibilities. Does every evaluator need to be familiar with all these new products? What are the most important qualities and requirements for a good evaluator, and can we talk about the “gold standard” of an evaluator?

The way I see it, we have defined the “gold standard” as the ability to evaluate a program in the proper way, which meets the needs of that specific program. Methodologically, there is no “gold standard.” In any case, I do not believe that randomized controlled trials are better than other methodologies, because the program needs are the key, and because such phenomena as the pandemic, climate change, global political instability, growing numbers of refugees, famine and drought, the speed of change in the world around us, create the need for evaluation approaches that can adapt quickly to new conditions, similar to those caused by the pandemic.

Programs need to change, and so does evaluation. There is no single method that would represent the “gold standard.” The main challenge and difficulty is adaptability and appropriateness. You need to understand what a particular program needs at a particular point in time.

If an evaluation involves, for example, the use of advanced sociological tools, which I am not familiar with as an evaluator, I would not be able to conduct an evaluation at the proper level, would I?

Absolutely. This is partly why it is so important to have professional associations. Today, thanks to them, to social media, to networking, you can always find someone to help you learn these methods. Many evaluations these days are done collectively, so no single evaluator would have all the necessary techniques and skills. However, if you can find the right people through an association, the Internet, or social media, you can find evaluators with all those skills.

Would you say that most clients today require the use of advanced sociological analysis methods?

They need to be able to get feedback from the beneficiaries, if that’s what you mean by sociological analysis. Programs should have good opportunities to get high-quality, real-world data from program participants, so they can find out what is really going on. Perhaps the most important and most common thing is that evaluators get direct, independent and real feedback from the target audiences involved in the program — how well the program is working, whether they are getting the help they need, and what can be improved.

You need to be a good interviewer, to know how to do surveys, use social networks, and get data directly from people.

You are a professional sociologist. In your experience, is it common for evaluators to have a background in sociology or psychology, a professional mastery of SPSS and similar programs, or is it really not necessary?

Fortunately, there is additional training available. Much of my sociological education was strictly academic, and I had to learn evaluation by doing. When I started, there were no courses, no seminars. I had to take interviews and surveys as sociological methods and adapt them to evaluation. Psychologists had to do the same with tests, and economists with cost-benefit analysis. Working in evaluation requires the ability to adapt these academic research methodologies. This is a key skill.

Let’s talk about the so-called “soft skills.” Are they really important to the evaluator?

That’s a good question. The American Evaluation Association has established a set of competencies that are essential to an evaluator. Of course, these include methodological competence, project management, knowledge of professional and ethical standards.

And then there are interpersonal competencies. Evaluators must be good listeners, able to work with people from different cultures. They must treat people with respect. Be able to make connections, communicate well, solve problems and manage conflicts.

One of my recent books focuses on the relevant skills for working with stakeholders at various levels. This is an important change, as evaluation today is not only about techniques, but also about interpersonal relationships.

In some of your publications, you mentioned the concept of evaluative thinking and suggested sharing this type of thinking with the project team, with the client. Doesn’t this threaten the existence of the evaluators as a profession? Wouldn’t evaluation become just a management function?

I don’t consider this a danger. You described the situation very well, but evaluative thinking in management only means that you have better communication because you speak the same language. People understand the concepts of logical frameworks, theories of change, SMART goals, different types of evaluation for different purposes, but in order to do the actual evaluation, you still need a fresh perspective, you still need people who can look at things differently.

When people do have an evaluative mindset, they begin to appreciate having a specialist who helps them look at things through the eyes of an outsider. It is something I do often. As an evaluator, I help managers, employees and even shareholders understand how evaluators think, how they define criteria and interpret data, how they draw conclusions — but they would still need an evaluator to make their job easier, to have another pair of eyes to look at things from a different perspective. Helping to think in an evaluative way is about improving communication and understanding of what’s going on.

So you don’t think that evaluation will become just a part of management, because the evaluator has other functions besides allowing you to understand what’s really going on.

Yes, that’s right. Evaluators also give an additional point of view. Even where there are internal evaluators in the management, their job is to do the evaluation and make sure there’s good data and make sure people take the time to interpret it. I believe the evaluator function will remain, but the better management understands evaluation, the better communication and use of evaluation results will be.

In your 2009 article, “The Future of Program Evaluation,” you wrote that the “gold standard” of evaluation methodologies would be hotly debated over the next few decades. Can we say that the answer to this question has changed significantly since then? Or do we still have the same leader — randomized controlled trials?

The debate continues, but it’s becoming increasingly clear that in a rapidly changing world, we need fast-turnaround techniques that produce real data in real time. Randomized controlled trials are really not very useful in a complex, dynamic, rapidly changing world. They work best in a stable situation where there are clear fixed interventions.

If you have to work on topics like pandemics, climate change, or civil unrest when things are changing rapidly, randomized controlled trials are not appropriate — they are too rigid and too time-consuming.

The speed of change means that the evaluation must produce results quickly, in real time, and provide them just as quickly to people who need to make decisions in a time-constrained environment.

The evaluator’s profession is changing in response to what is going on, but evaluators themselves are also changing the world. What do you think this profession has already given to the world?

I think we are living in a time of a worldwide battle between approaches based on evidence, facts, and science, on the one hand, and a part of the world that ignores them and only seeks to promote ideology. Evaluation is part of this worldwide data. Evaluation proves that if you use data, you make better decisions and help people more.

We’ve seen it work with people who refused COVID vaccination, who don’t believe the pandemic and vaccination data. In the so-called post-truth or anti-science world, where people can say whatever they believe and assume it to be true, evaluators help people appreciate the importance of evidence, looking at reality and working with it rather than with subjective perceptions and beliefs. This is our contribution.

You are the author of many program evaluation concepts used by evaluators around the world. We would like to discuss some of them. The first question concerns the concept of utilization-focused evaluation. In it, you emphasize the client’s role and interest, their desire to participate in the use of the evaluation results. Nowadays, investors in social projects and even the state (as in the social impact bond model, SIB), often become the evaluators’ clients. They are not involved in the project itself, but are its customers. Is it possible to use the evaluation principle with an emphasis on its use in this specific situation? Are there any peculiarities of its application in this case?

This is an important question. Utilization-focused evaluation requires considering different levels and different types of stakeholders — we call them intended users. Who is this evaluation for? If the intended users are social investors, then I would want to engage them in defining the criteria they are seeking. What do they want to know to make a better investment?

When I work with social investors, part of what I do is help them understand as clients that there are different ways to do evaluation, because there are many different types of programs. For example, when I work with boards of directors investing in social projects or charitable foundations, I do an exercise with them. I make a list of different types of financial instruments: blue chip stocks, high growth stocks, undervalued stocks, that is, stocks of companies in transition or struggling, long-term bonds, short-term bonds, mutual funds. These people are well aware of the different types of financial instruments and the differences in their profitability. Then I take a set of projects and draw parallels between different kinds of projects and different kinds of financial instruments.

Blue chips are well known programs like the World Food Program or UNICEF; they are world-famous, stable, and have a good reputation. A program that seeks to scale, to enter other territories within or outside the country is the equivalent of high-growing stock in the financial market.

Undervalued stock is a program that is in transition and needs help to get through and adapt to change. Long-term bonds are the equivalent of operating support for a program without specifying what specific project the program will implement.

This exercise helps social investors understand that they value different financial instruments differently. They look at different types of stocks, investment funds or bonds using different criteria, and we also evaluate different programs using different criteria depending on the nature of the program and the nature of the investment. Using the logic of evaluating financial instruments helps them understand the logic of evaluating programs.

Investors in social projects also have internal networks and have developed a number of methodological approaches. For example, they are very fond of the social return on investment (SROI) method. Sometimes it is even taken as the only possible, no-alternative method for evaluating the results of any project. This seems to go at odds with the evaluation specialists’ views — again, based on the utilization-focused evaluation concept.

The social effectiveness of investments still needs to be interpreted and adapted, depending on whether we are talking about long-term or short-term social effectiveness of investments, about innovative high-risk programs, high-risk programs with high performance potential, or low-risk, low-return programs. When I talk about parallels between different kinds of financial instruments and different kinds of programs, I’m talking about how much risk social project investors are willing to take, how innovative they want to be, what the time span is for investment and return, whether they are looking for several different indicators or just one measure of success.

There is a lot to negotiate and a lot to adapt, even with the general criteria of investing in social projects. It is also necessary to determine what it means to invest in social projects and the effectiveness of such investments in a particular situation. And this is where utilization-focused evaluation is needed, because it provides a dialogue with clients and helps them articulate the timing, the criteria, the degree of risk they are willing to accept, and the required level of return on investment.

The next question concerns the theory of transformation. What is the difference between your proposed term “theory of transformation” and theory of change?

That’s a great question! Theory of change was a concept suggested in 1995 by sociologist Carol Weiss, who observed how foundations began to implement programs without knowing what data on effectiveness the studies showed. They didn’t know about advances in social sciences, about how to fight poverty or drug addiction.

Now we have moved on to trying to change entire systems (climate, agriculture, food, healthcare). When you start changing the system, you go beyond one particular project.

The theory of change looks at an individual project or program, while the theory of transformation, trying to change systems, must consist of many different theories of change. For example, the anti-smoking campaign has more than one theory of change. You need to educate people about the dangers of smoking, work with advertising and marketing, with healthcare. You need regulations and incentives, active work with tobacco manufacturers, with young people, with the elderly.

There are many different approaches to fighting smoking, each with their own theory of change, and the theory of transformation attempts to integrate all of these different theories of change to achieve an overall systemic impact.

I think this also applies to the Blue Marble concept⁴ that you’re working on right now. Could you briefly describe the main ideas of this concept?

4. The Blue Marble is a photograph of Planet Earth taken on December 7, 1972 by the crew of Apollo 17 spacecraft from a distance of around 29,000 kilometers from the planet’s surface. For the astronauts, Earth was the size and appearance of a blue marble (a colored glass ball toy).

The Blue Marble evaluation is related to the theory of transformation: once we start dealing with large systems, we are dealing with global impacts. For example, the state of agriculture in any country is affected by climate change, world markets, government policies, the policies of international agencies, trade, and transportation. The idea behind the Blue Marble evaluation is that we need to understand not only what is happening in a particular local program, but also how that program is affected by global and international trends, such as pandemics or climate change.

The Blue Marble evaluation concept connects the local with the global. The English word for this is “glocal,” which is a portmanteau of “local” and “global.” It means looking for interactions and interconnections between the local and the global, so that our understanding at the global level is based on an understanding of local processes, and our understanding of what is happening at the local level is conditioned by an understanding of global trends.

Let’s talk about the implementation of this concept in the evaluators’ practical work. For example, if an evaluator decides to use the Blue Marble concept in his work, where should they begin?

Let’s take investing in social projects as an example again. For any social project investment, it is important to consider the specific project towards which the funds will be invested, but from the Blue Marble perspective, evaluators also need to know what other social project investors are doing. What is happening in other countries? What are the global trends in social project investment? What networks are involved? The more money goes into social projects on a global level, the more important it is to apply global trends and patterns to each specific project.

The work of the evaluator in this case includes not only developing a specific social impact evaluation, but also knowing the global context, what is going on in other social impact evaluation projects, what can be learned from them, what the indicators are, and how this relates to the sustainable development goals. For example, is a particular social project investment linked to one sustainability goal or several sustainability goals? Specifically, this means that the evaluator needs to learn how to place the individual project in a broader global context.

Do you have a manual or a list of questions that the evaluator should ask? Like not forgetting climate change and other global issues, for example.

Yes, I do have such a list of questions. As you suggested, the first part relates to climate — how does the project relate to sustainable development, recovery, climate change mitigation? The thing is that we are living in a climate emergency, and any action we take can have an impact on it.

Another set of questions concerns social justice, because the gap between rich people and poor people, between richer and poorer countries, keeps growing endlessly. There is an ethical criterion for how a particular project supports gender, social and economic equality and racial justice. Thus, social justice and equity issues and climate change impacts have become universal aspects to be considered in all program evaluations.

My final question is about the future. If we try to look into the near future of program evaluation, what changes can we expect?

I think there will be more networks of evaluators exchanging data and communicating with each other, because we are dealing with systemic change. For example, I work with the Global Alliance for the Future of Food, which combines 30 charities on four continents. This includes foundations from North America, Europe, South America and Asia.

Solving global problems and tracking systemic change requires a collaborative team of evaluators from different countries, speaking different languages and with different methodological skills. Last year, me and a team of Blue Marble evaluators participated in the evaluation of the UN Food Systems Summit.

Currently I am working with the new International Evaluation Academy, which has participants from all over the world. I am part of the Russian Association of Specialists in Program and Policy Evaluation, and I’m assisting the International Organization for Cooperation and Evaluation. International and global networks and evaluation teams are definitely part of our future.

Natalia Gladkikh, PhD in Psychology, Leading Expert Institute of Social and Economic Design at the Higher School of Economics

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl