Позитивные измененияБизнес

«Сделай сам»: как НКО оценивать проекты своими силами

Многие эксперты считают, что самооценивание — одна из ключевых тенденций развития оценки. Между внешней оценкой и самооцениванием есть и сходство, и существенные различия. В статье обсуждается значение принципов для проведения оценки, а также даются рекомендации для ситуации самооценивания НКО.

История одного предсказания

В 2012 году американский специалист по оценке Джон Гаргани, который чуть позже стал президентом Американской ассоциации оценки, назвал в своем блоге 10 предсказаний относительно будущего оценки программ и проектов. Первое из них звучало так: «Оценки, по большей части, станут внутренними» (Gargani, 2012).

О чем здесь шла речь?

Начнем с того, что оценка программы (проекта) состоит в «систематическом сборе информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее» (Patton, 2008).

Предположим, что некая организация выполняет проект. Оценка этого проекта может проводиться силами внешних по отношению к организации специалистов. Такую оценку называют внешней. Оценка проекта также может быть произведена силами специалистов самой организации. В этом случае её принято называть внутренней. Иногда во внутренней оценке особо выделяют самооценивание, когда проект оценивают те же люди, которые его реализуют.

Оценка проектов и программ социальной направленности начала активно развиваться в США в 60-е годы прошлого века. Требование проводить оценку было «спущено» сверху поначалу в учреждения образования, а затем и в другие сферы. Это было нововведением, и проведение оценки было исключительно уделом внешних консультантов, обладавших соответствующими компетенциями.

Вскоре стало понятно, что организациям следует развивать собственный потенциал в области оценки. В течение 10-15 лет накопился соответствующий практический опыт. На конференции Американской ассоциации оценки 1982 года развитие практики внутренней оценки стало одной из центральных тем (McClintock, 1983).

Канадец Арнольд Лав (A. J. Love, 1983) отмечал, что внутренняя оценка выполняет две основные функции: во-первых, она позволяет получить релевантную и своевременную информацию для принятия управленческих решений; а во-вторых, сам процесс проведения внутренней оценки положительно влияет и на принятие решений, и на качество работы организации. Лав предполагал, что «в течение следующих нескольких лет мы можем ожидать продолжения роста и изменений во внутренней функции оценки» (A. J. Love, 1983). Кстати, этот прогноз был опубликован за 30 лет до предсказания Джона Гаргани.

Примерно в то же время Эрнест Хаус (House, 1986) заметил, что в практике государственных организаций в США происходит переход от внешних оценок, которые проводились преимущественно университетами и частными компаниями, к внутренним оценкам, проводимым специально созданными для этого подразделениями. При этом большая часть имевшихся на тот момент публикаций относилась именно к внешней оценке. Потому выход в свет книги А. Лава «Внутренняя оценка: построение организаций изнутри» (A. J. Love, 1991) стал заметным событием. Автор этой книги является одним из самых цитируемых и по сей день, когда речь идет о внутренней оценке.

Прошло 20 лет, и в серии «Новые направления в оценке»¹ вышел сборник под названием «Внутренняя оценка в 21 веке». Такое вот новое старое направление…

1. Издание Американской ассоциации оценки.

В интервью с редактором сборника (Volkov, 2011) Арнольд Лав вспоминает, что в 90-е годы до 60% оценок, проводившихся в США, были внутренними. При этом в разных странах внутренняя оценка развивалась по-разному. В частности, в Канаде федеральное правительство еще в конце 70-х приняло решение о том, что оценки государственных программ должны быть преимущественно внутренними, а Японское общество оценивания в 2006 году сообщило, что в их стране 99% оценок — внутренние.

Несмотря на то, что внутренняя оценка активно внедряется во всем мире, число исследований и публикаций на эту тему и во второй декаде 21 века по-прежнему весьма ограничено (Volkov & Baron, 2011). Однако вопросы развития внутренней оценки в небольших организациях с ограниченными ресурсами обсуждаются все чаще (Baron, 2011; Rogers, McCoy, & Kelly, 2019).

Практика показывает, что внутренняя оценка благополучно сосуществует с внешней оценкой, и большинство специалистов сегодня сходится во мнении, что это не взаимоисключающие, а взаимодополняющие подходы (см. Таблицу 1).

Теперь вернемся к предсказанию Джона Гаргани (Gargani, 2012). Он предположил, что внутренняя оценка в США в течение 10 лет должна в значительной мере вытеснить внешнюю оценку. Таким образом, в 2022 году оценки программ и проектов в США по большей части должны были бы стать внутренними. Судя по всему, этого пока не произошло, но можно определенно констатировать, что внутренняя оценка развивается и в государственных, и в негосударственных организациях США, Канады, Японии и многих других стран. Не стала исключением и Россия.

Внутренняя оценка в России

Не вдаваясь в исторические детали, отметим, что, в России всё началось с внешней оценки, которую «импортировали» к нам в начале 90-х вместе с программами международной помощи многочисленные зарубежные организации (Kuzmin et al., 2007). Постепенно оценку стали осваивать и российские специалисты. При этом развитие оценки шло по двум направлениям: формировался рынок услуг по проведению внешней оценки и развивалась функция внутренней оценки.

Необходимость развития собственного потенциала российских НКО в сфере оценки была продиктована, как минимум, двумя факторами: 1) требованиями финансирующих организаций и 2) необходимостью выстраивания систем управленческого контроля в связи с усложнением деятельности НКО и расширением ее масштабов (Кузьмин, 2020). Однако развитие компетенций в сфере оценки на протяжении длительного времени не было приоритетом для большинства российских НКО. Ситуация стала меняться лишь в последние годы:

• заметно вырос спрос на обучение руководителей и сотрудников НКО в сфере оценки;
• НКО научились намного эффективнее собирать и обрабатывать данные;
• в целом ряде НКО появился успешный опыт проведения внутренней оценки;
• финансирующие организации все чаще требуют от НКО предоставления аналитических отчетов;
• на ежегодных конференциях Ассоциации специалистов по оценке программ и политик (АСОПП)² заметен рост числа выступлений об опыте развития внутренней оценки и ее значении для качественного управления организацией.

2. Ассоциация специалистов по оценке программ и политик. (2023). Режим доступа: www.eval.ru. (дата доступа: 14.02.2023).

Шесть лет тому назад, наблюдая эти процессы и сравнивая их с происходящим за рубежом, я предположил, что к 2026 году в России будет отмечаться «рост потенциала различных организаций в сфере оценки, развитие внутренней оценки и самооценивания» (Кузьмин, 2016). Похоже, что этот прогноз сбывается. Еще одно подтверждение тому — создание в 2021 году Альянса PROОЦЕНКУ³ и открытие одноименного онлайнового клуба, ориентированного преимущественно на развитие внутренней оценки и самооценивания:

«Клуб PROОЦЕНКУ — это постоянно действующая онлайновая дискуссионная площадка для всех, кто интересуется оценкой. Лозунг клуба: «Интересная беседа в хорошей компании». Задача клуба — поддерживать сообщество практиков, занимающихся внедрением оценки в деятельность социально-ориентированных организаций. Для участия в заседаниях не требуется ничего кроме желания. Образование, уровень подготовки в сфере оценки, опыт практической деятельности не имеют значения»⁴.

3. Создатели Альянса — Архангельский Центр социальных технологий «Гарант», компания «Процесс Консалтинг» (Москва) и Сибирский Центр поддержки общественных инициатив (Новосибирск).

4. Альянс #PROОЦЕНКУ. (2022). Режим доступа: http://www.proocenku.club/. (дата доступа: 14.02.2023).

Принципы самооценивания программ и проектов в НКО

АСОПП разработала и опубликовала ряд важных для развития профессии специалиста по оценке материалов. В их числе «Принципы оценки программ и политик» (АСОПП, 2017).

Принципы профессиональной деятельности рождаются из практики и определяют, как следует себя вести представителям профессии в ситуациях сложного выбора. Принципы нельзя придумать до того, как будет накоплен реальный опыт: это естественный эволюционный процесс. Когда профессия достигает определенного уровня зрелости и формируется профессиональное сообщество (ассоциация), это сообщество приходит к согласию относительно принципов. Поэтому принципы оценки программ и политик, принятые АСОПП, важны не только как руководство к действию, но и как свидетельство становления профессии специалиста по оценке в России.

Эти «принципы разработаны с учетом того, что в оценке — в общем случае — могут принимать участие три стороны:

• Заказчик — представитель организации, которая инициирует оценку, ставит задачу на ее проведение и будет основным пользователем ее результатов.
• Специалист по оценке — человек, который привлекается заказчиком для ее проведения.
• Участники оценки — люди, которые в ходе оценки предоставляют информацию, и зачастую являются сотрудниками или руководителями программ, являющихся объектом оценки (АСОПП, 2017).

АСОПП предлагает руководствоваться при проведении оценки следующими принципами:

1. Ориентация на практическое использование результатов.

2. Компетентность исполнителей.

3. Корректность методологии.

4. Открытость.

5. Безопасность.

6. Адаптивность.

«Общий случай», для которого разработаны принципы АСОПП, представляет собой внешнюю оценку (см. Рис. 1).

Самооценивание программы (проекта) — это систематический сбор информации о деятельности в рамках программы (проекта), ее характеристиках и результатах, который проводится командой программы (проекта) для того, чтобы вынести суждение о программе (проекте), повысить эффективность программы (проекта) и/или разработать планы на будущее. Отличие этого определения от общего обозначения оценки, приведенного в начале статьи, выделено курсивом: здесь все делает сама команда проекта. Люди, реализующие проект, сами ставят задачу на проведение оценки, сами планируют проведение оценки, сами собирают данные (будучи при этом еще и важными источниками информации), сами анализируют эти данные, формулируют результаты оценки и используют их. Получается, что при самооценивании команда проекта является и заказчиком, и исполнителем, и участником оценки (см. Рис. 1).

Применимы ли принципы оценки АСОПП в ситуации самооценивания?

В 2022 году в рамках заседаний клуба PROОЦЕНКУ⁵ мы провели серию обсуждений этого вопроса. В них приняли участие, в общей сложности, более 40 человек, представляющих в основном некоммерческие организации из многих регионов России.

5. Видеозаписи и материалы заседаний можно найти на сайте клуба http://www.proocenku.club/

Итоги этих обсуждений можно сформулировать так:

1. Принципы оценки, предложенные АСОПП, применимы для самооценивания НКО.

2. Краткие формулировки этих принципов также применимы для ситуации самооценивания.

3. Рекомендации по использованию принципов в практике самооценивания требуют существенной корректировки и упрощения.

Мы разработали и обсудили рекомендации для ситуации самооценивания. Так появились «Принципы самооценивания программ и проектов в НКО» (Альянс PROОЦЕНКУ, 2023). Текст этих принципов с рекомендациями по их применению приводится ниже. Полагаю, он может быть полезен любым НКО вне зависимости от их специализации.

Принцип 1. Ориентация на практическое использование результатов.

Весь процесс самооценивания должен быть ориентирован на получение полезной для вас информации.

Рекомендации:

Надо максимально конкретно для самих себя определить, зачем вы затеваете самооценивание. Хорошо продумайте и обсудите постановку задачи на проведение самооценивания. Сформулируйте вопросы, на которые вам нужно получить ответы, а также обсудите, кто и каким образом эти ответы будет использовать.

• Если непонятно, кто и как станет использовать ответы на какие-то из предлагаемых вопросов, исключите эти вопросы из задания.
• Включайте в задание только такие вопросы, ответы на которые вам неизвестны или, по крайней мере, для вас неочевидны.
• Проверьте, нельзя ли получить ответы на интересующие вас вопросы более простым способом, чем проведение самооценивания.
• Постарайтесь свести число вопросов задания к минимуму. Оставьте только самые важные для вас.
• По завершении самооценивания проведите совещание по обсуждению его результатов и планированию действий по использованию этих результатов (со сроками и ответственными).
• Подумайте о том, могут ли какие-то из результатов вашего самооценивания пригодиться кому-то еще кроме вас.

Принцип 2. Компетентность исполнителей.

Сотрудники НКО, проводящие самооценивание, должны обладать необходимыми и достаточными для этого знаниями и умениями.

Рекомендации:

• Самооценивание проводится по определенным правилам. Вам не обязательно становиться экспертами в сфере оценки, но знать основы необходимо. Для этого можно почитать специальную литературу или направить кого-то из сотрудников на курсы повышения квалификации.
• Имейте в виду, что всегда есть возможность консультаций со специалистами в тех сферах, где собственных знаний и умений вам не хватает. Например, можно обратиться в местный университет либо в профессиональное объединение специалистов по оценке.
• Рассматривайте самооценивание как возможность обучения через практику. Обсуждайте приобретаемый опыт и извлекайте из него уроки.

Принцип 3. Корректность методологии.

Выбор общего подхода к самооцениванию и методов его проведения должны быть хорошо обоснованы с учетом имеющихся ограничений. Использование различных методов должно осуществляться с соблюдением соответствующих процедур и стандартов.

Рекомендации:

• При планировании самооценивания учитывайте ограничения, касающиеся имеющихся ресурсов и времени. Принимайте во внимание, что в сфере оценки вы знаете и умеете не всё.
• Важно иметь представление о сильных сторонах и ограничениях различных подходов к проведению оценки проектов и программ.
• При выборе методов и инструментов самооценивания следует исходить из того, что лучше сделать просто и правильно, чем сложно и неправильно.
• Если у вас возникают сомнения в возможности либо правильности использования того или иного инструмента, необходимо проконсультироваться со специалистом либо отказаться от использования этого инструмента.
• Помните, что известность и распространенность методик не гарантируют, что они подойдут для самооценивания конкретного проекта в заданных условиях.
• От ошибок никто не гарантирован. Важно извлекать из них уроки и не повторять.

Принцип 4. Открытость.

Самооценивание осуществляется открыто: все стороны, участвующие в нём, должны быть информированы о целях, методологии и планируемом использовании его результатов.

Рекомендации:

• Позаботьтесь о том, чтобы все участники процесса самооценивания имели достаточную информацию о нём и соглашались предоставлять данные добровольно (соблюдение принципа «информированного согласия»).
• Результаты самооценивания предназначены только для вас. Для всех остальных они могут быть либо открыты частично (по вашему решению), либо полностью закрыты.
• Нужно учитывать вероятность вашей предвзятости по отношению к собственному проекту и утраты свежести восприятия проекта («замыливание» взгляда): эти вопросы должны открыто обсуждаться участниками самооценивания.
• Поскольку вы проводите самооценивание для себя, а не для кого-то другого, вы заинтересованы в том, чтобы увидеть свой проект таким, какой он есть. В такой ситуации приукрашивание попросту не имеет смысла. Поэтому не следует рассматривать ситуацию самооценивания как потенциальный конфликт интересов и беспокоиться по этому поводу.

Принцип 5. Безопасность.

Самооценивание должно проводиться с уважением достоинства всех его участников независимо от их роли, социального статуса и индивидуальных особенностей. При проведении самооценивания следует учитывать возможные негативные последствия, которые оно может иметь как для отдельных людей, так и для организаций. Риск возможных негативных последствий должен быть сведен к минимуму, а участники самооценивания должны быть о них проинформированы.

Рекомендации:

• Обсудите, может ли получиться так, что самооценивание навредит кому-то. Если такая возможность существует, пусть даже теоретически, все участники должны об этом знать.
• Обсудите, как можно свести риск негативных последствий самооценивания к минимуму. Сделайте все возможное, чтобы избежать таких последствий.
• Следует проводить самооценивание, когда сотрудники НКО находятся в ресурсном состоянии, то есть имеют достаточно эмоциональных, физических, душевных сил и энергии для этого. Участие в проведении самооценивания является дополнительной нагрузкой для сотрудников, и это необходимо принимать во внимание при планировании их работы во избежание выгорания.
• Самооценивание — часть деятельности вашей организации, поэтому при его проведении необходимо строго соблюдать этические нормы, относящиеся к сфере деятельности вашей НКО.

Принцип 6. Адаптивность.

Необходимо предусматривать возможность адаптации методологии самооценивания к каждому конкретному случаю, а также к изменяющимся условиям.

Рекомендации:

• Есть много разных подходов к проведению оценки проектов и программ. Нужно подобрать оптимальный именно для вашего проекта в заданных условиях. Даже то, что хорошо подошло для оценки ваших проектов в прошлом, совсем не обязательно подойдёт для оценки текущего проекта.
• В процессе работы проявляйте гибкость и — по необходимости — корректируйте план, методы и инструменты проведения самооценивания с учетом изменяющихся условий или вновь возникающих факторов.
• На всякий случай проверьте себя: не является ли решение проявить «гибкость» оправданием для недобросовестного проведения самооценивания, и не может ли оно привести к негативным последствиям?

Принципы самооценивания и развитие потенциала в сфере оценки

Самооценивание предполагает развитие собственного потенциала в сфере оценки. В связи с этим НКО может быть полезно иметь в виду следующую «формулу» (Kuzmin, 2009):

Согласно этой «формуле», если вы умеете проводить оценку, но не делаете этого, потенциал равен нулю. Аналогичным образом, если вы проводите оценку, но не умеете этого делать, потенциал тоже равен нулю.

Другими словами, развитие потенциала в сфере оценки предполагает сбалансированное решение двух взаимосвязанных задач: надо и учиться, и применять полученные знания и навыки на практике. Принципы самооценивания учитывают и то, и другое.

Алексей Кузьмин, PhD, генеральный директор ООО «Компания «Процесс Консалтинг», Член Совета Международной Академии оценки

“Do it yourself:” How NGOs Evaluate Projects Using Their Own Resources

Many experts believe that self-evaluation is one of the key trends in the development of evaluation in general. Self-evaluation is similar to external evaluation, but it has its peculiarities. The authors of this article discuss the importance of evaluation principles, and provide recommendations for NGO self-evaluation situations.

The story of one prediction

In 2012, American evaluator John Gargani, who later became president of the American Evaluation Association, posted 10 predictions in his blog about the future of program and project evaluation. The first point was worded as follows: “Most evaluations will be internal.” (Gargani, 2012).

What is it about?

To begin with, program (project) evaluation is “the systematic collection of information about the activities, characteristics, and outcomes of programs to make judgments about the program, improve program effectiveness, and/ or inform decisions about future programming.” (Patton, 2008).

Suppose an organization is implementing a project. The project can be evaluated by specialists external to the organization. This is external evaluation. Alternatively, the project can be evaluated by the specialists within the organization itself. This case is referred to as internal evaluation. Sometimes self-evaluation is singled out from internal evaluation, when the project is evaluated by the very same people who implement it.

Active development of the evaluation of socially oriented projects and programs in the United States started in the 1960s. The requirement to conduct an evaluation was part of the “top-down” approach, utilized first in the educational institutions, and then in other areas. This was an innovation at the time, and the evaluation was solely the domain of external consultants with the appropriate competencies.

It soon became clear that organizations should develop their own evaluation capabilities. The relevant practical experience was accumulated over the course of 10 to 15 years. The development of internal evaluation practices was one of the central topics at the 1982 American Evaluation Association conference (McClintock, 1983).

Arnold Love, Canada (A. J. Love, 1983), noted that internal evaluation serves two basic functions: first, it provides relevant and timely information for management decision-making; and second, the internal evaluation process in itself has a positive effect on both decision-making and the organizational performance. Love suggested that “over the next few years we can expect the internal evaluation function to continue growing and changing” (A. J. Love, 1983). By the way, this prediction was published 30 years before the one made by John Gargani.

Around the same time, Ernest House (1986) observed that the practice of public organizations in the United States was shifting from external evaluations, conducted primarily by universities and private companies, to internal evaluations conducted by specially created units. At the same time, most of the publications available at the time referred specifically to external evaluation. That is why the publication of A. J. Love’s book, “Internal Evaluation: Building Organizations from Within” (A. J. Love, 1991) became a remarkable event. The author of this book remains one of the most quoted authors to this day, when it comes to internal evaluation.

20 years later, the “New Directions in Evaluation” series1 publishes a collection of works titled “Internal Evaluation in the 21st Century.” Isn’t it somewhat old for a new direction?

In an interview with the book’s editor (Volkov, 2011), Arnold Love recalls that in the 1990s up to 60 percent of all evaluations in the United States were conducted internally. At the same time, internal evaluation was developing differently from country to country. In Canada, for example, the federal government decided back in late 1970s that evaluations of government programs should be primarily internal, while the Japan Evaluation Society reported in 2006 that 99% of evaluations in their country were internal.

Even though internal evaluation is being actively implemented all over the world, the number of studies and publications on this topic in the second decade of the 21st century is still very limited (Volkov & Baron, 2011). However, the issues of developing internal evaluation in smaller organizations with limited resources are increasingly coming into spotlight (Baron, 2011; Rogers, McCoy, & Kelly, 2019).

Practice shows that internal evaluation can coexist happily with external evaluation, and most experts now agree that these are not mutually exclusive, but complementary approaches (see Table 1).

Now back to John Gargani’s prediction (Gargani, 2012). He suggested that internal evaluation in the U.S. would largely replace external evaluation within 10 years. Thus, most program and project evaluations in the United States would be internal by 2022. Apparently, this has not happened yet, but we can definitely state that internal evaluation is developing in both government and non-government organizations in the United States, Canada, Japan, and many other countries. Russia is no exception.

Internal evaluation in Russia

Without going too much into historical detail, we should note that in Russia everything started with external evaluation, which was “imported” to us in the early 1990s along with the international assistance programs by numerous foreign organizations (Kuzmin et al., 2007). Gradually, local evaluators started appearing as well. At the same time, evaluation developed in two directions: the market for external evaluation services was being established alongside the development of internal evaluation function.

The Russian NGOs needed to develop their own evaluation capacity for at least two reasons: 1) donor organizations’ requirements, and 2) the need to build management control systems due to increasingly complex and expanding NGO activities (Kuzmin, 2020). However, the majority of Russian NGOs failed to pay attention to developing evaluation competencies for quite some time.

The situation has only started in recent years:

• there has been a marked increase in the demand for training for NGO managers and staff in the field of evaluation;
• NGOs have learned to collect and process data much more efficiently;
• a number of NGOs have acquired successful internal evaluation experience;
• donor organizations increasingly require NGOs to submit analytical reports;
• at the annual conferences of the Association of Specialists in Program and Policy Evaluation (ASPPE)², there has been a noticeable increase in the number of presentations on experiences in developing internal evaluation and its importance for high-quality organization management.

2. Association of Program and Policy Evaluators. (2023). Retrieved from: www.eval.ru. (accessed: 14.02.2023).

Six years ago, as I was observing these processes and comparing them to what was happening abroad, I suggested that by 2026 Russia would see “an increase in the evaluation capacity of various organizations, the development of internal evaluation and self-evaluation” (Kuzmin, 2016). Looks like this prediction is coming true. Another proof of this is the creation of the PROOCENKU Alliance³ in 2021 and the opening of an online discussion club of the same name, focused mainly on the development of internal evaluation and self-evaluation:

“The PROOCENKU Club is an ongoing online discussion platform for anyone interested in evaluation. The Club’s slogan goes as follows: “An interesting conversation in a good company.” The Club’s mission is to support a community of practitioners dedicated to integrating evaluation into the work of socially oriented organizations. Nothing is required to participate in the meetings, other than the desire. Education, level of training in evaluation, and practical experience are not important.”⁴

3. The founders of the Alliance are Arkhangelsk Center of Social Technologies “Garant”, Process Consulting Company (Moscow), and the Siberian Civic Initiatives Support Center (SCISC, Novosibirsk).

4. #PROOCENKU Alliance. (2022). Retrieved from: http://www.proocenku.club/. (accessed: 14.02.2023).

Principles of self-evaluation of ngo programs and projects asppe

has developed and published a number of important works on the professional development of professional evaluators. These include the Principles of Program and Policy Evaluation (ASPPE, 2017).

Professional principles are born out of practice and determine how members of the profession should behave in situations of difficult choices. Principles cannot be invented before real experience has been accumulated: it is a natural evolutionary process. When a profession reaches a certain level of maturity and a professional community (association) has been established, that community comes together to agree on the principles. Therefore, the principles of program and policy evaluation adopted by ASPPE are important not only as guidelines for action, but also as evidence of the emerging evaluation profession in Russia.

These principles are designed to take into account the fact that, generally, three parties can participate in the evaluation:

• The Customer is a representative of the organization that initiates the evaluation, orders the task to be implemented, and will be the main user of the evaluation results.
• An evaluator — a specialist hired by the Customer to perform the evaluation.
• Evaluation participants — the people who provide the information for the evaluation; these are usually employees or managers of the programs being evaluated (ASPPE, 2017).

ASPPE suggests that evaluation must be guided by the following principles:

1. Focus on practical use of the results.

2. Competence of the performers.

3. Appropriate methodology.

4. Transparency.

5. Safety.

6. Flexibility.

The “general case,” for which ASPPE principles were developed, is an external evaluation (see Figure 1).

A program (project) self-evaluation is the systematic collection of information about the activities of the program (project), its characteristics and outcomes, which is performed by the program (project) team to make judgments about the program (project), improve the effectiveness of the program (project), and/or inform decisions about future programming. The difference between this definition and the generic definition given at the beginning of the article is all in the italicized text: here, everything is done by the project team itself. The people implementing the project also set the evaluation task, plan the evaluation, collect the data (while also serving as important sources of information), analyze the data, formulate the evaluation results, and use them — all on their own. It turns out that in self-evaluation, the project team acts as the customer, the contractor, and the evaluation participants (see Figure 1).

Do the ASPPE evaluation principles apply in a self-evaluation situation?

We had a series of discussions on this issue as part of the 2022 PROOCENKU Club meetings5 . They were attended by more than 40 people, mostly coming from non-profit organizations from many regions of Russia.

The outcome of these discussions can be summarized as follows:

1. The evaluation principles proposed by ASPPE are applicable to NGO self-evaluation.

2. Short definitions of these principles also apply to the self-evaluation situation.

3. However, recommendations for the use of these principles in self-evaluation practice require significant adjustment and simplification.

We have developed and discussed guidelines for a self-evaluation situation. This is how the Principles of Self-Evaluation of NGO Programs and Projects have appeared (PROOCENKU Alliance, 2023). These principles, with recommendations for their application, are presented below. I believe it can be useful to any NGO, regardless of its specialization.

Principle 1. Focus on practical use of the results.

The whole self-evaluation process should be focused on getting information that is useful to you.

Recommendations:

• You need to be as specific as possible as to why you are doing self-evaluation. Think carefully and discuss the scope of work for self-evaluation. Formulate the questions you want answered, and discuss who will use those answers and how.
• If it is not clear who and how will use the answers to any of the suggested questions, exclude these questions from the scope.
• Include only those questions where answers are not known or at least not obvious to you.
• See if there is a simpler way to answer these questions, rather than performing a self-evaluation.
• Try to keep the number of questions to a minimum. Leave only those of most importance to you.
• At the end of self-evaluation, hold a meeting to discuss the results and plan actions required to use those results (with timelines and responsibilities).
• Think about whether some of the results of your self-evaluation can be useful to someone else besides you.

Principle 2. Competence of the performers.

NGO employees who conduct self-evaluation must have the necessary and sufficient knowledge and skills to do so.

Recommendations:

• Self-evaluation is carried out according to certain rules. You don’t have to become an expert evaluator, but you do need to know the basics. To do this, you can read special literature or send some of your employees to a training.
• Keep in mind that it is always possible to consult with experts in areas where your own knowledge and skills are lacking. For example, your local university or professional evaluators association.
• Consider self-evaluation an opportunity to learn through practice. Discuss the experience and learn from it.

Principle 3. Appropriate methodology.

The choice of the general approach to self-evaluation and the methods of conducting it should be well justified, considering the limitations. Various evaluation methods must be used, following appropriate procedures and standards.

Recommendations:

• When planning self-evaluation, consider the limitations of available resources and time. Remember that you do not have all the necessary knowledge and skills for evaluation.
• It is important to have an understanding of the strengths and limitations of different approaches to project and program evaluation.
• When choosing self-evaluation methods and tools, it is better to do simple things right than to do complicated things wrong.
• If you have any doubts about the capabilities or appropriateness of a particular tool, you should consult with an expert or refrain from using that tool.
• Remember that the familiarity and prevalence of techniques do not guarantee that they will be appropriate for self-evaluation of a particular project in a given setting.
• Everyone can make mistakes, and it is important to learn from them and avoid their repeating.

Principle 4. Transparency.

Self-evaluation is a transparent process: all parties involved must be informed about the goals, methodology and intended use of its results.

Recommendations:

• Make sure that everyone involved in self-evaluation has sufficient information about the process and agrees to provide data voluntarily (respecting the principle of “informed consent”).
• Full results of the self-evaluation are only intended for you. For everyone else, they can either be partially open (at your discretion) or completely closed.
• You need to consider that you may have a bias towards your own project and be suffering from having lost the fresh perception of the project (“blurred view”): these issues should be openly discussed by the self-evaluation participants.
• Since you are performing the self-evaluation for yourself, not for someone else, you are interested in seeing your project for what it is. In this situation, embellishing simply makes no sense. Therefore, you should not view the self-evaluation situation as a potential conflict of interest or be concerned about it.

Principle 5. Safety.

Self-evaluation should be conducted with respect for the dignity of all its participants, regardless of their role, social status and individual characteristics. When conducting a self-evaluation, you should consider the possible negative effects it can have on both individuals and organizations. The risk of possible negative consequences should be minimized, and participants in the self-evaluation should be informed about them.

Recommendations:

• Discuss whether or not self-evaluation could result in harming someone. If this is a possibility, even in theory, all participants should be made aware about it.
• Discuss how you can minimize the risk of negative consequences of self-evaluation. Do your best to avoid such consequences.
• Self-evaluation should be conducted when NGO employees are in a resourceful state; that is, when they have enough emotional, physical, mental strength and energy to do so. Participating in self-evaluations is an additional burden for the employees, and this should be considered when planning their work, to avoid burnout.
• Self-evaluations are part of your organization’s activities, so they must be conducted in strict compliance with the ethical standards relevant to your NGO’s scope of work.

Principle 6. Flexibility.

It is necessary to provide for the possibility of adapting the self-evaluation methodology to each specific case, as well as to changing conditions.

Recommendations:

• There are many different approaches to evaluating projects and programs. You should choose the one that is best for your project, given the conditions. Even if something has worked well for evaluating your projects in the past, it does not necessarily mean it will work for your current project.
• In the process, be flexible and adjust the plan, methods, and tools of self-evaluation as needed to accommodate changing conditions or newly emerging factors.
• Just in case, check yourself: isn’t the decision to be “flexible” an excuse for not conducting self-evaluation in good faith, and could it lead to negative consequences?

Principles of self-evaluation and capacity building in evaluation

Self-evaluation involves building one’s capacity for evaluation. In this regard, it may be useful for NGOs to keep in mind the following “formula” (Kuzmin, 2009):

According to this “formula,” if you know how to do an evaluation but don’t do it, the capacity is zero. Similarly, if you do an evaluation but don’t know how to do it, the result is still zero.

In other words, capacity development in evaluation involves balancing two interrelated tasks: one must both learn and apply the knowledge and skills gained in practice. The principles of self-evaluation take both factors into account.

Alexey Kuzmin, PhD, Director General, Process Consulting Company, Council Member, International Evaluation Academy

References: 1. Baron, M. E. (2011). Designing internal evaluation for a small organization with limited resources. Internal evaluation in the 21st century. New Directions for Evaluation, 132, 87–99. 2. Gargani, J. (2012). The future of evaluation: 10 predictions. Retrieved from: https://evalblog.com/2012/01/30/ the-future-of-evaluation-10-predictions/ 3. House, E. R. (1986). Internal Evaluation. Evaluation Practice, 7(1), 63-64. Retrieved from: https://journals.sagepub.com/doi/ abs/10.1177/109821408600700105. 4. Kuzmin, A. (2009). Use of evaluation training in evaluation capacity building. In M. Segone (Ed.), From policies to results: Developing capacities for country monitoring and evaluation systems. New York: UNICEF. 5. Kuzmin, A., Karimov, A., Borovykh, A., Abdykadyrova, A., Efendiev, D., Greshnova, E., ... Balakirev, V. (2007). Program Evaluation Development in the Newly Independent States. Journal of MultiDisciplinary Evaluation, 4(7), 84-91. Retrieved from: https://journals.sfu.ca/jmde/index.php/ jmde_1/article/view/14/29. 6. Love, A. J. (1983). The organizational context and the development of internal evaluation. New Directions for Program Evaluation, 20, 5-22. 7. Love, A. J. (1991). Internal Evaluation: Building Organizations from Within: SAGE Publications. 8. McClintock, C. (1983). Internal Evaluation: The New Challenge. American Journal of Evaluation, 4, 61-62. 9. Patton, M. Q. (2008). Utilization-focused evaluation (4th ed.). Thousand Oaks: Sage Publications. 10. Rogers, A., McCoy, A., & Kelly, L. M. (2019). Evaluation Literacy: Perspectives of Internal Evaluators in Non-Government Organizations Canadian Journal of Program Evaluation / La Revue canadienne d’évaluation de programme, 34(1), 1-20. Retrieved from: https://journalhosting. ucalgary.ca/index.php/cjpe/article/view/42190. 11. Volkov, B. B. (2011). Internal evaluation a quarter-century later: A conversation with Arnold J. Love. New Directions for Evaluation (132), 5-12. 12. Volkov, B. B., & Baron, M. E. (2011). Issues in internal evaluation: Implications for practice, training, and research. In B. B. Volkov & M. E. Baron (Eds.), Internal evaluation in the 21st century. New Directions for Evaluation. (Vol. 132, pp. 101–111). 13. Альянс PROОЦЕНКУ. (2023). Принципы самооценивания программ и проектов в НКО. Режим доступа: https://www.processconsulting. ru/attach_files/menu__21_12_22__19.pdf. PROOCENKU Alliance (2023). Principles of self-evaluation of NGO programs and projects. Retrieved from: https://www.processconsulting.ru/ attach_files/menu__21_12_22__19.pdf. 14. АСОПП. (2017). Принципы оценки программ и политик. (05.02.2023). Режим доступа: https://eval.ru/attach_files/file_menu_78.pdf. ASPPE. (2017). Principles of program and policy evaluation. (05.02.2023). Retrieved from: https://eval.ru/attach_files/file_menu_78.pdf. 15. Кузьмин, А. И. (2016). Будущее оценки. Режим доступа: https://evaluationconsulting.blogspot. com/2016/06/blog-post_14.html. Kuzmin, A. I. (2016). The Future of Evaluation. Retrieved from: https://evaluationconsulting. blogspot.com/2016/06/blog-post_14.html. 16. Кузьмин, А. И. (2020). История развития мониторинга и оценки в Сети СЦПОИ. Начало. Режим доступа: https://evaluationconsulting. blogspot.com/2020/04/blog-post.html. Kuzmin, A. I. (2020). History of the development of monitoring and evaluation in the SCISC Network. Beginning. Retrieved from: https:// evaluationconsulting.blogspot.com/2020/04/blogpost.html.

DOI 10.55140/2782-5817-2023-3-1-34-43 

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl