Возможности использования методологии контрибутивной оценки на примере проекта «Чистые игры»
Проект «Чистые игры» начался с простой волонтерской инициативы в Санкт-Петербурге в 2014 году. Руководитель проекта Дмитрий Иоффе с друзьями отправился в поход по озеру Вуокса, но его отдых был испорчен свалкой на одном из островов. Так первое соревнование по сбору отходов за 8 лет переросло в эко-квесты, которые объединяют 90 тысяч игроков в 26 странах. За одну игру участники собирают до 5 тонн мусора, большая часть которого направляется на переработку. Организаторы проекта поставили перед собой амбициозную цель: увеличить осведомлённость и вовлечённость граждан в тематику экологической повестки. Как оценить социальное воздействие «Чистых игр» и то, что цель достигнута? Для этого можно использовать качественный исследовательский подход, в русле методологии контрибутивной оценки.
Общий взгляд на социальный проект
«Чистые игры» — это командные соревнования по очистке природных территорий от мусора и разделению отходов, проходящие ежегодно в десятках городов России и мира (Вайнер & Низаметдинова, 2019). Волонтёры проводят всероссийские и международные турниры по сбору мусора — весенний и осенний Кубки Чистоты. Проект охватывает более полутора сотен волонтёров и несколько десятков тысяч участников.
«Чистые игры» стали экофраншизой: сообщества организаторов в регионах могут пройти бесплатное обучение и узнать методику проекта после подписания некоммерческого соглашения. В 2020 году команда проекта привлекла 25 млн 217 тыс. рублей за счет грантов и субсидий, корпоративных заказов, государственных контрактов, пожертвований от юридических и физических лиц.
Как отмечают организаторы проекта, его миссия — дать возможность людям через игру увидеть проблемы загрязнения окружающей среды и привлечь широкую общественность к вопросам экологии. Методика проекта позволяет участникам увидеть проблемы загрязнения окружающей среды и пользу от раздельного сбора отходов и вторичной переработки. Через игру люди учатся сортировать отходы и начинают задумываться об экологической повестке.
В качестве своих ключевых показателей эффективности организаторы проекта называют количество участников и волонтёров, количество проведённых мероприятий, охват социальных сетей, активность публикаций в СМИ, размер привлечённых средств (Вайнер, 2021). Представляется, что данные показатели полезны для оценки операционной деятельности проекта, но лишь отчасти связаны с оценкой достижения поставленной цели в виде увеличения осведомлённости и вовлечённости граждан в тематику экологической повестки.
Опыт участников и организаторов проекта «Чистые игры»: мотивы, установки, ожидания
В 2021 году Центр оценки общественных инициатив ИППИ НИУ ВШЭ провёл проект-исследование «Мотивы и экологические установки волонтеров проекта Чистые игры», результатом которого стал аналитический отчет.
Среди опрошенных респондентов — участников «Чистых игр» — более двух третей имели опыт волонтёрства и до участия в проекте, однако, как отмечается, это было событийное волонтёрство и адресная помощь. Более половины участвовали в проекте в первый раз. Как указывают исследователи, судя по вовлечённости окружения, участие в «Чистых играх» стало одобряемой деятельностью, о которой стремятся рассказать близким.
Региональные организаторы проекта выступили в качестве интервьюируемых. Они в гораздо большей степени относятся к полю экологического активизма: у всех был опыт проектного участия в социальной деятельности и их всех беспокоят проблемы окружающей среды.
Однако в собранных в рамках пилотного исследования данных есть особенность: опрос невозможно интерпретировать в статистических категориях из-за малой и нерепрезентативной выборки. Причем, проведение репрезентативного опроса для генеральной совокупности в виде всех участников «Чистых игр» представляется чрезвычайно трудозатратным (размеры выборки были бы сопоставимы с общероссийскими, а выборка бы предполагала районирование по командам-участникам). Представления об экологической повестке также требуют серьёзной методики с «удорожанием» опроса для прохождения респондентом. Поэтому одним из самых рациональных способов использования качественных данных является их вторичный анализ в рамках методологии контрибутивной оценки.
Анализ вклада
В центре исследовательского дизайна, основанного на контрибутивной оценке, ставится агент изменений с описанием истории изменений от самого информанта. Через взаимодействие с интервьюером выясняется, какое значение имело вмешательство для объекта социального воздействия.
Внутри методологии контрибутивной оценки существует метод протокола качественной оценки воздействия (Центр технологических инноваций, Институт социально-экономического проектирования НИУ ВШЭ, 2020). Его суть заключается в том, чтобы спросить у информанта о том, какие изменения в его жизни произошли за время проведения проекта, но без акцентирования внимания на самом проекте и его содержании. Так, через биографическую информацию достигается доступ к причинно-следственным связям в представлениях информанта, которые используются для качественного описания социального воздействия. Например, этот метод использовался во время оценки проектов развития в сельскохозяйственных сообществах Африки.
Наряду с протоколом качественной оценки воздействия существует метод «наиболее значимых изменений». Это партиципаторный качественный метод, который, в частности, использовался командой (Polet et al., 2015) исследователей для оценки социального воздействия программ доступной медицины в Филиппинах, Палестине, Демократической Республике Конго и Сальвадоре. Метод состоит в сборе персональных историй участников программ, где они не анонимно, от своего имени, высказываются о своём восприятии проекта, своей роли в нём. Это позволяет наполнить контекстом формальные показатели, поняв социальное значение и воспринимаемый смысл проведённого вмешательства.
Наиболее значимые изменения «Чистых игр»
Результаты проведённого проекта-исследования «Мотивы и экологические установки волонтеров проекта «Чистые игры» можно использовать для демонстрации логики контрибутивной оценки. Среди мотиваций организаторов авторы отчёта выделяют игровой формат, масштаб и известность проекта, волонтерство как способ развлечения. И только часть опрошенных говорит о своём желании развить экологическое просвещение в своём регионе.
Дополнительно, повторный взгляд на интервью показывает, что большая часть опрошенных региональных организаторов не знает о мотивах других организаторов, отмечая, что эти мотивы могут быть разными. Социальная значимость, в представлениях организаторов, сводится к собственно уборке мусора как таковой, без внимания к культурному аспекту. При этом, при обращении к теме «экопросвещения», опрошенные в большинстве своём начинали говорить о других проектах, а не о «Чистых играх». Наиболее приближенное к предполагаемому результату представление о том, какую просветительскую роль играют «Чистые игры» сформулировано так:
«[Это] можно назвать таким агрессивным просвещением. То есть человека вытаскивают на место, показывают, что есть антропогенный мусор. Вот, пожалуйста, убирайте — это не стыдно».
После такого описания образовательной задачи остаётся вопрос — какие ценностные установки, помимо важности уборки мусора, предлагается усвоить участнику проекта?
Организаторы выделяют следующий набор мотиваций для присоединения к проекту: интересное занятие, которое приносит пользу, получение призов/баллов, желание самореализоваться, харизматичный организатор. Эта информация является показательной на двух уровнях. Само по себе отсутствие осознания важности участия в экологических проектах среди причин участия говорит о проблеме со стороны «спроса» — установки участников не включают эту мотивацию. Однако это же характеризует ситуацию со стороны «предложения» — по-видимому, исходя из таких установок, организаторы не позиционируют проект для участников как возможность быть вовлечённым в экологическую повестку и сами воспринимают эту возможность не как первостепенную причину для участия.
В рамках внутреннего опроса региональных организаторов при ответе на вопрос «Что вы любите в «Чистых Играх?» только 14 человек из 93 опрошенных (15%) указали социальную значимость проекта. Например, были даны образцовые ответы для ответственного экоактивиста:
«Чистые Игры учат детей бережно относиться к природе, учат основам раздельного сбора мусора. Есть категории людей, которых уже не научить. Чистые Игры позволяют достучаться до детей, молодежи, привить им любовь к месту, где они живут. И я все-таки, надеюсь, что те люди, которые в них поиграли, будут более ответственными за свое поведение»
«Благодаря Чистым Играм меняется отношение и мышление людей к экологии и экологическим проблемам и всё это в игровой и увлекательной форме»
В основном ответы на этот вопрос несли отсылку к игровой форме, соревновательности, командообразованию — без упоминания экологических тематик. Например:
«Азарт, праздник и позитивное настроение и общение, которое люди начинают ощущать в процессе»
«Интересный формат. Чувствую себя организатором большого и важного события»
«Дело хорошее. Позволяете почувствовать причастность к большому полезному делу».
Однако целью проекта заявлено не просто убрать мусор или провести развлекательное мероприятие для горожан, но и увеличить осведомлённость и вовлечённость людей в проблемы заботы об окружающей среде. И если на уровне организаторов преимуществами проекта называются не социальный эффект, а опосредующие качества вроде формата и атмосферы, то получается, что социальное воздействие остаётся лишь второстепенным фактором.
Логика контрибутивной оценки состоит в том, чтобы посмотреть на ситуацию глазами участника проекта и через его нарратив увидеть фактор изменений его установок. И на основании имеющихся данных представляется затруднительным констатировать сам факт того, что организаторы проекта на местах осознают его в терминах социального воздействия. А потому при отсутствии наблюдаемого позитивного эффекта в установках, выявление его причины становится нецелесообразным.
Таким образом, несмотря на ограниченное количество и качество данных, имеющихся выводов достаточно для того, чтобы констатировать неполное соответствие полученных результатов заявленным целям проекта социального воздействия.
Перспективы использования методологии контрибутивной оценки в кейсе «Чистых игр»
Что можно сделать для более глубокой оценки социального воздействия проекта средствами контрибутивной оценки?
В соответствии с методом «наиболее значимых изменений» (Davies & Dart, 2005), применительно к рассматриваемому кейсу, исследовательский дизайн мог бы выглядеть следующим образом:
1. Концептуализация «осведомлённости и вовлечённости людей в проблемы заботы об окружающей среде» как предмета изменения.
2. Разработка гайда качественного опроса для региональных организаторов и для участников, с целью исследования восприятия предмета изменения и роли респондента в этом изменении.
3. Определение отчетного периода, в рамках которого предполагается достичь изменений.
4. Неанонимные интервью об опыте участия в проекте собираются, как минимум, в двух точках — до участия в проекте и после него. В них участники проговаривают своё восприятие к предмету изменения, а исследователь старается зафиксировать изменения в этом восприятии, произошедшие в ходе проекта.
5. Отбор «наиболее значимых историй» — тех, в которых позитивные изменения проекта были наибольшими, и которые были бы выражением общих тенденций.
6. Обратная связь с участниками для уточнения деталей историй.
7. Контент-анализ материалов интервью в соответствии с полученными из историй кодами. Предполагается, что значимые истории изменят понимание самого проекта приведут к формулировке новых концептов, которые используются для интерпретации опыта участников.
8. Внесение организационных изменений в проект на основании выводов исследования.
Предлагаемый способ использования методологии контрибутивной оценки включает не просто качественную оценку результатов, но дизайн исследования, действие которого (participatory action research) само по себе является инструментом позитивных социальных изменений. Он позволяет и организаторам, и участникам проекта глубже понять свои собственные цели и представления о социальном проекте.
Иван Смекалин, аналитик Фабрики позитивных изменений
Список использованных источников: 1. Вайнер, В. (2021). Новая жизнь издательского проекта «Каталог «Социальное предпринимательство России». Позитивные изменения. № 1. С. 79–117. 2. Вайнер, В., Низаметдинова Н. (2019). Информационно-справочный каталог «Социальное предпринимательство России. 2020». Москва: Wowhouse. 3. Центр технологических инноваций, Институт социально-экономического проектирования НИУ ВШЭ. (2020, октябрь). Исследование современного зарубежного и российского опыта проведения оценки проектной деятельности некоммерческих организаций. 4. Copestake, J. G. (2014). Full guidelines for the Qualitative Impact Protocol (QUIP). (pp. 1–47). Centre for Development Studies, University of Bath. 5. Davies, R. J., & Dart, J. (2005). the ‘Most Significant Change’ (MSC) Technique: a Guide to Its Use. 6. Polet, F., Malaise, G., Mahieu, A., Utrera, E., Montes, J., Tablang, R., Aytin, A., Kambale, E., Luzala, S., Al-Ghoul, D., Darkhawaja, R. A., Rodriguez, R. M., Posada, M., De Ceukelaire, W., & De Vos, P. (2015). Empowerment for the Right to Health: the Use of the «Most Significant Change» Methodology in Monitoring. Health and Human Rights, 17(2), 71–82.
The Use of the Contributive Analysis Methodology on the Case of the «Clean Games» Project
The Clean Games project started in St. Petersburg in 2014 as a simple volunteer initiative. The project leader Dmitry Ioffe once went hiking with his friends on Lake Vuoksa, but his vacation was spoiled by a landfill on one of the islands. That is how he came up with an idea for the first waste collection contest, which over eight years evolved into a series of eco-quests uniting 90,000 players in 26 countries. The participants collect up to 5 tons of waste in one game, most of which is then recycled. The project organizers had an ambitious goal: to raise the awareness and increase public engagement in the environmental agenda. How can one assess the social impact of the Clean Games and whether their ambitious goal has actually been met? One tool that can be used for this purpose is the qualitative approach based on analyzing the participants’ contributions — the contribution analysis method.
An overview of the social project
Clean Games is a team competition that involves the clean-up of natural areas from garbage and the use of waste separation (Vainer & Nizametdinova, 2022). It is held annually in dozens of cities throughout Russia and around the world. Volunteers hold all-Russian and international garbage collection tournaments — the Spring and Fall Clean Cups. More than a hundred and fifty volunteers and tens of thousands of participants are engaged in the project.
The Clean Games have become an eco-franchise, with communities of organizers in the regions receiving free training and learning the project methodology after signing a non-profit agreement. In 2020, the project team raised 25.217 million rubles in grants and subsidies, corporate orders, government contracts, and donations from legal entities and individuals.
The project organizers say their mission is to give people an opportunity to see the problems of environmental pollution and raise the public awareness about environmental issues in game format. The project methodology allows the participants to see the problems of pollution and the benefits of waste separation and recycling. Learning to sort waste through the game, people start thinking about the environmental agenda.
The organizers have defined the following key performance indicators for the project: the number of participants and volunteers, the number of events held, social media coverage, mass media publication activity, and the funds raised (Vainer, 2021). These indicators are deemed to be useful for assessing the operational performance of the project, but they are only partially related to assessing the progress towards the project goal, namely raising awareness and increasing public engagement in the environmental agenda.
The experiences of the participants and organizers of the Clean Games project: motives, attitudes, expectations
In 2021, the Center for Public Initiatives Assessment of the National Research University Higher School of Economics conducted a research project “Motivations and Environmental Attitudes of Volunteers in the Clean Games Project” and published an analytical report.
More than two thirds of the Clean Games participants interviewed had prior volunteering experience, but those were generally one-off volunteer activities and targeted help. For more than a half of the respondents, this was their first experience participating in the project. As the researchers pointed out, the public engagement levels proved that participation in the Clean Games had become a broadly encouraging activity, something the participants were proud of and tended to tell their loved ones about.
The regional project organizers were also interviewed. It turned out they were much more into environmental activism: all of them had past experience in social projects, and all of them were concerned about environmental issues.
However, the data collected in the pilot study could not be interpreted in statistical terms, due to the small and unrepresentative sample. Moreover, conducting a representative survey of all the Clean Games participants appears to be extremely time-consuming (the sample size would be comparable to nationwide surveys and would require zoning by participating teams). Assessing the perception of the environmental agenda also requires a more serious methodology, which drives the survey costs up. Therefore, one of the most rational ways to use qualitative data is through secondary analysis based on the contribution analysis methodology.
Contribution analysis
Designing a study based on contribution analysis requires a focus on the change agent, with a description of the history of changes provided by the research subjects themselves. By interacting with the interviewer, the significance of the intervention for the object of social impact becomes apparent.
The contribution analysis methodology includes a method of logging the qualitative assessment of the impact (Copestake, 2014). The essence is to ask the informant what changes occurred in their life in the course of the project, without focusing on the project itself and its content. This way, the researchers can use biographical information to gain access to causal relationships, as perceived by the informant, which can be used to describe the qualitative effects of the social impact. For example, this method was used during an evaluation of development projects in African agricultural communities.
Along with the qualitative impact assessment protocol, there is also the “most significant change” method. This is a participatory qualitative method that, for example, has been used by the research team (Polet et al., 2015) to assess the social impact of affordable healthcare programs in the Philippines, Palestine, the Democratic Republic of Congo, and El Salvador. The method involves collecting personal stories of program participants, where they speak non-anonymously about their perception of the project and their role in it. This allows us to put the formal indicators in context by understanding the social significance and perceived meaning of the intervention.
The most significant changes of the Clean Games
The results of the study of the Motives and Environmental Attitudes of the Clean Games Project Volunteers can be used to demonstrate the logic of the contribution analysis method. The report`s authors highlight the following key motivations of the project organizers: game format, scale and fame of the project, and volunteering as a way of entertainment. Only a small part of the respondents said their goal was to develop environmental education in their region.
Additionally, a second look at the interviews reveals that most organizers are not aware of the motives of other organizers, noting that those motives could be different. The project’s social significance, in the opinion of the organizers, is limited to the actual garbage cleanup, without any focus on the cultural aspect. At the same time, when the topic of environmental education was mentioned, most respondents started talking about other projects, not about the Clean Games. The response closest to the intended result of the educational role of the Clean Games was formulated as follows:
“[This] could be called an aggressive enlightenment of sorts. That is to say, a person is taken out into the field, shown that there is too much human-caused garbage. Here, please clean it up — there’s no shame in it.”
This description of the educational task, however, leaves the following question: What values is a project participant expected to learn, besides the importance of garbage collection?
The organizers identify the following set of motives for joining the project: an interesting activity that benefits the society, receiving prizes/points, a desire for self-fulfillment, and a charismatic organizer. This information is meaningful on two levels. The lack of awareness of the importance of participating in environmental projects among the reasons for participation suggests a problem on the “demand side” — this motivation is excluded from the participants’ attitudes. However, this also describes the “supply side” situation — apparently, based on such attitudes, the organizers do not position the project as an opportunity for participants to be involved in the environmental agenda and do not themselves perceive this opportunity as the primary reason for participation.
In the organizers’ internal survey, when asked “What do you like about the Clean Games?” only 14 out of 93 respondents (15%) indicated the project’s social significance. Some exemplary answers by a responsible eco-activist are presented below:
“The Clean Games teach children to treat nature with care and introduce the basics of separate garbage collection. Some people can no longer be educated. The Clean Games allow us to reach out to children and young people, make them love the place where they live. Still, I hope that those who have participated in the Clean Games will be more responsible for their behavior.”
“Thanks to the Clean Games, the people change their attitudes and thinking about the environment and environmental issues, and everything is done in a playful and entertaining manner.”
Most of the answers to this question mentioned the game format, competition and team building, leaving aside any environmental topics. For example:
“The excitement, the celebration, and the positive mood and fellowship that people begin to feel in the process.”
“It is an interesting format. I feel like the organizer of a big and important event.”
“It’s a good thing. You make me feel like I’m part of a big, useful cause.”
However, the project goal was not simply cleaning up the garbage or holding an entertainment event for the public, but rather increasing the people’s awareness and engagement in the environmental agenda. When even the organizers miss the social significance of the project and instead talk about its secondary attributes such as the format and atmosphere, it is clear that the social impact remains merely an accessory factor.
The logic of contribution analysis is to look at the situation through the eyes of a project participant and to visualize the change in their attitude through their narrative. Based on the data available, it is hard to say that the project organizers in the field are actually aware of its social impact. Therefore, in the absence of an observable positive effect in attitudes, it makes no sense trying to identify its causes.
Thus, despite the limited quantity and quality of data, the findings are sufficient to say that the results obtained are not fully consistent with the stated social impact goals of the project.
The prospects of using the contribution analysis method in the clean games case
What can be done to improve the assessment of the social impact of a project by means of the contribution analysis method?
According to the most significant changes methodology (Davies & Dart, 2005), for the case in question, the research design might look as follows:
1. Conceptualizing “the public awareness and engagement in the environmental agenda” as the object of change.
2. Developing a qualitative survey guide for organizers and participants to explore perceptions of the subject of change and the respondent’s role in that change.
3. Defining the reporting period during which the change is expected to be achieved.
4. Non–anonymous interviews about the experience of participation in the project are collected at least at two points — before and after participating in the project. In them, the participants pronounce their perception of the subject of change, and the researcher tries to fix the changes in this perception that occurred during the project.
5. Selection of the most significant stories — those in which the positive changes in the project were the greatest, and which would serve as an expression of general trends.
6. Feedback from the participants to clarify the story details.
7. Content analysis of the interview materials based on the codes obtained from the stories. The most meaningful stories are expected to change the understanding of the project itself and lead to the formulation of new concepts that are used to interpret the participants’ experiences.
8. Making organizational changes to the project based on the study findings.
The proposed use of contribution analysis involves more than just a qualitative assessment of its results, but requires designing a participatory action research, which in itself is a tool for positive social change. It allows both the project organizers and its participants to have a better understanding of their own goals and ideas about the social project.
Ivan Smekalin, analyst, Positive Changes Factory
References: 1. Vainer V. (2021). The new life of the Catalog “Social Entrepreneurship of Russia” publishing project. Positive Change. Issue 1, pp. 79-117. (in Russ.) 2. Vainer V., Nizametdinova N. (2019). Information and reference catalogue “Social Entrepreneurship in Russia. 2020”. Moscow: Wowhouse. (in Russ.) 3. The Center for Technological Innovation, Institute of Social and Economic Design, National Research University Higher School of Economics. (2020, October). A study of modern foreign and Russian experience in evaluating the project activities of non-profit organizations. (in Russ.) 4. Copestake, J. G. (2014). Full guidelines for the Qualitative Impact Protocol (QUIP). (pp. 1-47). Centre for Development Studies, University of Bath. 5. Davies, R. J., & Dart, J. (2005). the ‘Most Significant Change’ (MSC) Technique: a Guide to Its Use. 6. Polet, F., Malaise, G., Mahieu, A., Utrera, E., Montes, J., Tablang, R., Aytin, A., Kambale, E., Luzala, S., Al-Ghoul, D., Darkhawaja, R. A., Rodriguez, R. M., Posada, M., De Ceukelaire, W., & De Vos, P. (2015). Empowerment for the Right to Health: the Use of the «Most Significant Change» Methodology in Monitoring. Health and Human Rights, 17(2), 71–82.
DOI 10.55140/2782-5817-2022-2-2-59-66
Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl