ЭКСПЕРТНАЯ ОЦЕНКА В ПРОЕКТНОМ УПРАВЛЕНИИ
Петренко И.В.
Исполнительный директор ООО «ГОРИЗОНТ», Санкт-Петербург
info
@
grznt
.
ru
АННОТАЦИЯ
В статье рассматриваются теоретические аспекты проведения экспертных оценок, а также практические применения в организациях.
Ключевые слова:
экспертная оценка, проектное управление, содержание работ, длительность операций, ресурсы проекта, материалы проекта
В целом управление проектами базируется на оценке. При планировании проекта во всех разделах плана проекта необходимы оценки:
Методология управления проектами PMI говорит о следующих методах оценки:
- Экспертная оценка
- Оценка по аналогам
- Параметрическая оценка
- Оценка по трем точкам
Рассмотрим практическое применение для каждого раздела плана перечисленных методов.
Содержание работ
Содержание работ – перечень работ, которые необходимо выполнить чтобы достичь успеха. Условимся называть структурой работ совокупность содержания, иерархической структуры работ и связей между ними. Строго говоря, структура работ тоже является результатом оценки. В силу того, что структура работ не отражает никаких количественных показателей, то с точки зрения методик оценки, пожалуй, можно применить только экспертную оценку и оценку по аналогам (структуры работ в подобных проектах). Прочие методы работают только с количественными оценками.
Два разных руководителя проекта, составляющие независимо друг от друга структуры работ одного и того же проекта, получат разный результат. В технически сложных проектах руководитель проекта не в состоянии самостоятельно составить содержание работ, поэтому должен привлекать специалистов, в том числе предполагаемых исполнителей. В общем случае структура работ должна в себе отражать следующие составляющие:
- Компоненты получаемого продукта. Например, если проект по строительству дома, то его компонентами будут фундамент, стены, кровля, отделка.
- Технологические процессы, по которым собственно будет получаться конечный продукт. Для строящегося дома – это последовательность технологических операций: Рытье котлована, забивка свай, подготовка армирующих конструкций, заливка бетона. Важна именно последовательность операций и их длительность.
- Управленческие работы. Управленческие работы присутствуют всегда и во всех проектах, но часто их не учитывают в структуре работ, что может привести к неучтенным и не запланированным временным потерям, к отсутствию ключевых лиц в требуемое время. При строительстве дома такими работами могут быть: планерки, заполнение отчетов по выполненным объемам, заполнение заявок на материалы, технику и специалистов, инструктаж исполнителей, контроль качества, составление отчетности.
- Юридические условия. Если проект выполняется для внешнего (относительно организации) заказчика и/или с привлечением подрядных организаций, важно, чтобы в структуре работ было отражение ключевых контрактных этапов. Например, строительство дома может выполняться по договору, с прописанной этапностью: Этап1. Котлован, Этап 2. Фундамент, Этап 3. Стены. Этапность может отражаться в одном договоре, может в различных, но из структуры работ должно быть понятно по каким юридическим условиям работы выполняются.
Все составляющие можно представить в виде иерархических структур
Вариантов как скомпоновать четыре иерархические структуры существует великое множество, но наиболее распространенные из них:
Вариант 1. Основное предназначение – контроль исполнения договора с заказчиком
Вариант 2. Основное предназначение – контроль получаемого продукта/изделия
В идеале, если структуру работ возможно динамически трансформировать к любой иерархической структуре, то решаются задачи контроля всех четырех составляющих. В программном продукте «GORIZONT.Professional» выделены четыре иерархических справочника для каждой составляющей, при формировании структуры работ проекта возможно добавлять составляющие данных справочников, при этом компоненты трансформируются в задачи проекта. Каждую задачу проекта возможно привязать ко всем четырем справочникам. Набором специальных отчетов по каждому разделу плана проекта возможно получить «вывернутую структуру» по нужной составляющей, например, построить план поступления денежных средств по компонентам продукта, оценить прибыльность каждого компонента продукта, оценить трудоемкость каждого элемента технологического цикла в иерархии, оценить трудоемкость управленческих работ и затрат по проектам.
Важно понимать, что в целом подход к построению структуры работ проекта в конкретной организации будет индивидуальный и может отличаться от похожих организаций в той же отрасли. Более того, со временем этот подход должен меняться, так как меняются окружающие условия: накапливается собственная база знаний, появляется опыт хороших решений и ошибок, персонал становится более квалифицированным, приходят новые сотрудники, заказчики более требовательными к отчетам и контролю, конкуренты более эффективными. Рекомендуем периодически пересматривать и корректировать/уточнять подходы к формированию структуры работ.
Если в Вашей организации только планируется начать применять проектный подход, то стоит начать с простой структуры: Этапы работ доходных контрактов-структура изделия. На первом этапе это уже даст колоссальный эффект для понимания того, каким образом будет выполняться проект. Со временем, потребность детализации структуры работ проектов проявится сама собой – нужны будут ответы на более детальные и конкретные запросы:
- Почему произошел срыв сроков, сколько было критических (существенных с точки зрения организации) переделок плана проекта;
- Откуда возникли накладки по срокам при выполнении работ;
- Сколько времени тратится на подготовку отчетности по проекту, как этим управлять;
- Почему фактические затраты не совпали с плановыми, что не учли;
- Сравнить проекты друг с другом по идентичным работам/компонентам;
- И прочее.
Главное правило при построении структуры работ – структура работ должна отражать все важные с точки зрения контроля события и работы. Если событие/работа не значимое, то не нужно его включать в структуру работ. Например, если за выполнение работы отвечает подрядчик, или отдельное структурное подразделение и с точки зрения проекта его услуга получается полностью, то детализировать эту работу до составных частей нет никакого смысла – это только утяжелит структуру работ, добавит необходимость планировать каждую составляющую, вести учет фактических данных по ней. Часто это просто физически невозможно получить от исполнителей задачи.
Контрольные точки(вехи) в структуре работ проекта являются желательными, но не обязательными. В основном контрольные точки нужны для следующих целей:
- Ввести внешние события для проекта. Например, получение документации от заказчика, завершение работы другого проекта, окончание ремонта ключевого оборудования, получение предоплаты от заказчика. После такого события начинаются определенные работы. Планировщик изначально предполагает дату события и от нее строит все зависимые задачи. Если в предполагаемую дату событие не свершилось, то планировщик вводит новую предполагаемую дату на основании внешних данных и пересчитываются сроки всех зависимых задач. Этот метод позволяет удобно и быстро актуализировать сроки задач.
- Контрольное событие по выполнению работ для контроля проекта вышестоящим руководством. Директор или руководитель проектного офиса для регулярного контроля использует вехи как высокоуровневый срез по проекту. Если веха просрочена и не выполнена, то требуется вмешаться и проверить все ли у руководителя проекта в порядке на проекте. Не рекомендуется перегружать структуру проекта контрольными событиями, так как контроль самого верхнего уровня «а успеваем ли сделать проект в срок» и контроль сроков этапов проекта, в принципе, решается сравнением сроков базового (контрактного плана) со сроками текущего плана.
Длительность задач проекта
Оценка длительности задач проекта возможна по всем описанным методикам. Рассмотрим более подробно каждую из них.
Экспертная оценка – классический универсальный метод, когда некий эксперт оценивает длительность операции. В роли эксперта может выступать и руководитель проекта, исполнитель или отдельный сотрудник, выполняющий именно данную функцию. В том, кто именно выполняет экспертную оценку кроется несколько важных моментов:
- Заинтересованность (положительная или отрицательная) эксперта в результатах проекта. Первоначальная оценка - самая важная, так как от нее зависит в принципе быть проекту или нет. Если оценку выполняет лицо, заинтересованное в том, чтобы проект был запущен, то оценка может быть занижена. Аналогична ситуация, если лицо не заинтересовано в запуске проекта или наоборот заинтересовано в увеличении срока проекта– оценка может быть дана завышенная. Могут быть лица, заинтересованные в запуске и невыполнении проекта (по срокам или по финансам), тогда будет дана заниженная оценка в надежде, что проект стартует и будет провален. Причины могут быть различные, но это необходимо учитывать. Нивелировать влияние заинтересованности возможно путем сбора нескольких оценок с разных экспертов. Об этом поговорим в отдельном разделе данной статьи.
- Независимость эксперта. В принципе зависимость/независимость очень похожа на заинтересованность/незаинтересованность, но отличается тем, что эксперт может быть индифферентен к наличию проекта в организации в принципе, но в случае его начала, так сказать, подстраховаться. Как правило, это справедливо к исполнителям, система мотивации которых завязана на их собственные оценки. Возможно при этом сама оценка будет оценкой трудоемкости задачи, но трудоемкость в принципе легко конвертируется в длительность.
- Чистота оценки. Важно понимать, что эксперт при проставлении оценки может учитывать или не учитывать дополнительные издержки на выполнение задачи. Например, если программист оценивает ТЗ, то он может не учитывать время на тестирование, документирование, демонстрацию и сдачу заказчику. Важно понимать, кто делает оценку и заранее оговаривать чистоту оценки. Руководитель проекта может изменить оценку (как правило, в большую сторону), так как учитывает дополнительные трудозатраты и соответственно длительность. При запросе на оценку указывайте оценивающему что включать, а что не включать в оценку или просите расшифровку.
Оценка по аналогам
– в целом мало чем отличается от экспертной, так как сводится к способности эксперта провести аналогии между двумя разными проектами и преобразовать длительности ранее выполнявшегося проекта к планируемому проекту. Нужно помнить, что сравнение проектов в целом и сравнение частей проектов – это не одно и тоже, так как могут быть существенные зависимости между различными частями проектов. Например, если мы строим абсолютно одинаковые дома в одном коттеджном поселке, то сроки постройки коттеджей такого поселка будут схожи, но и проектом это уже назвать сложно, потому что продукт(коттедж) перестает быть уникальным, при этом сам поселок проектом является. Если же мы строим новый поселок, в котором будут разные коттеджи и один из них будет такой же, как и в предыдущем, то сроки его постройки будут похожи, но могут и существенно отличаться из-за логистики, очередности, материалов. Это необходимо учитывать при оценке по аналогам. В целом данный метод хорошо комбинируется с экспертной оценкой – полученные экспертные оценки сравниваются с ранее выполнявшимися аналогичными проектами и в случае существенных отклонений проводится анализ причин.
Параметрическая оценка
– по сути метод также базируется на экспертной оценке, но к которой применяются различные математические операции. Чаще всего применяется в случае получения легко измеримого результата (в метрах, тоннах, штуках) и практически не примеряется, где результат заранее не измерим (документация, программный код, статьи).
Например, операция по рытью котлована 10*10 метров и глубиной 2 метра при производительности ресурса 20 куб. метров в час потребует 10 часов. Собственно, экспертность оценки кроется в оценке производительности ресурса.
Оценка по трем точкам (PERT) – аналогично базируется на экспертной оценке, но оценка осуществляется не в единственном варианте, а в трех:
- Пессимистичная
- Оптимистичная
- Реалистичная
Суть данного метода, по большому счету, сводится к тому, чтобы понять насколько конкретный эксперт, составляющий оценку, предполагает отклонения от своих реалистичных оценок. Однако, необходимо помнить о заинтересованности, независимости, чистоте оценки, которую дает эксперт.
В целом, метод полезен в первую очередь с точки зрения приобщения исполнителей (экспертов) к мышлению критически, к учету различных аспектов выполнения работ, к учету рисков и степени их влияния на ход работ по проекту.
Потребность в трудовых ресурсах
Для выполнения большинства задач проекта необходимы трудовые ресурсы. Собственно, это те, чьими силами выполняется работа, причем это не только сотрудники, но и машины и механизмы, использующиеся для выполнения работ.
Нужно понимать, что любую работу в проекте есть возможность выполнять собственными силами (трудовыми ресурсами организации) или купить у другой организации (отдать на подряд/субподряд). Решение о том делать задачу своими силами или покупать не тривиально и зависит от следующих факторов:
- Возможность выполнять работу своими силами в принципе с точки зрения закона (для лицензируемых видов деятельности);
- Наличие в организации ресурсов (трудовых и оборудования) которые могут выполнить требуемую задачу;
- При наличии ресурсов есть ли их достаточное количество на необходимый период выполнения задачи;
- Рентабельность выполнения задачи собственными силами или на подряде
- Повторяемость такого вида работы (если работа разовая или очень редкая, то выполнять своими силами не выгодно);
- Гарантийные обязательства по работам (как правило, гарантийные работы собственными силами делаются за счет организации, а выполненные подрядчиком – за счет подрядчика);
- Наличие подрядчиков требуемой квалификации;
- Риски работы с подрядчиком (нет оперативного контроля выполнения, его загрузка);
- Сезонные и погодные ограничения на выполнение работы;
- Стратегическая позиция организации на рынке (возможно нельзя отдавать на подряд работу, так как это будет поддержкой конкурентов);
- Прочие условия.
Для того, чтобы оценить потребность в ресурсах на конкретной задаче необходимо определить состав ресурсов и оценить их требуемое количество. Данная задача может иметь не одно, а множество решений, так как может быть несколько ресурсов способных выполнить одну и ту же работу, но с разной производительностью и разной стоимостью.
Оценка количества может быть выражена в различных единицах, но наиболее правильной и удобной единицей является час рабочего времени по следующим причинам:
- Разделение понятий трудоемкости и длительности (80 часов можно сделать за 2 недели 1 человеком при 8 часовом рабочем дне или, если это возможно двумя за 1 неделю). При этом оценка в часах отвязана от календаря и количества ресурсов, которые в момент проведения оценки обычно не известны;
- Возможность конвертации трудоемкости в длительность при заданном количестве ресурсов и рабочем календаре;
- Возможность конвертации в стоимость по норме стоимости 1 часа;
- Возможность применять параметризованную оценку и через производительность выражать также в необходимых часах рабочего времени. При этом производительность выражается в некоторых единицах в час;
- Сбор фактических данных также удобно собирать в часах (удобно с точки зрения табелирования, проверки полученных отчетов и их утверждения), что дополнительно позволяет производить план-фактный анализ плановых трудозатрат
В целом для оценки трудозатрат также можно применять методы и их комбинации:
- Экспертная оценка
- Оценка по аналогам
- Параметрическая оценка
- По длительности задачи, количеству ресурсов и календарю (пока задача длится, столько ресурсы и работают)
- По производительности ресурса, их количеству и требуемому объему выпуска (какой-то измеримой продукции)
- Оценка по трем точкам
Потребность в материалах
Для выполнения некоторых задач проекта могут требоваться материалы, расходуемые на выпуск продукции. Их перечень и оценка объема определяются аналогично трудовым ресурсам. Часть материалов может закупаться под конкретную задачу, а часть может быть уже куплена и храниться на складе, соответственно необходим резерв.
Потребность в материалах является отправной точкой для отела снабжения. На основании потребности осуществляются поиски поставщиков, проведение тендерных процедур, планируются поставки товаров, которые могут доставляться длительное время.
Выбор метода оценки
Идеальный вариант - к каждой задаче применить комбинированный полный подход, то есть сделать оценки различными методами (экспертно, по аналогам, параметрически), выполнить оценку несколькими сотрудниками и каждый из них сделал бы 3 вида оценки (реалистичный, пессимистичный и оптимистичный). Но на практике это крайне затратный вариант
Виды оценок
В зависимости от того на какой фазе находится проект требуются различные виды оценок. Принципиально можно выделить следующие виды:
- Оценка порядка – используется для грубого анализа для принятия принципиального решения интересен ли конкретный проект или по основным параметрам им заниматься не стоит (причем как для исполнителя, так и для заказчика). Лучшим методом для такой оценки – оценка по аналогам, потому что не трудоемкий, но дающий представление о основных параметрах проекта;
- Контрактная оценка – оценка, которая делается для составления коммерческого предложения и в последующем она должна лечь в основу контракта. На ее основе создаются и фиксируются контрактные версии планов проекта. Крайне важная оценка, так как от ее верности и точности зависит в целом успех проекта и прибыльность его для организации. Лучший вариант – комбинация всех методов оценки;
- Оперативная оценка – оценка, которая составляется и уточняется по ходу выполнения работ. На ее основе создаются, актуализируются и фиксируются оперативные планы проекта. Путем сравнения с контрактными планами можно понять отклонения основных параметров проекта (сроки, стоимость, объем ресурсов и материалов).
Заключение
В заключении стоит отметить важность сбора оценок при планировании проектов с исполнителей. В принципе, сама процедура оценки уже несет огромную пользу для организации, потому что исполнители задумываются о том, как они будут выполнять работу, сколько они на это потратят времени и ресурсов. На практике часто оценки не собираются вовсе или оценка проводится только на стадии продажи контракта, но при этом в оценке не принимают участие исполнители. Помните, способность оценивать – это ключевой навык в управлении проектами.
Экспертная оценка педагогического проекта
на соответствие
высшей квалификационной категории
Проблема
Новая модель аттестации руководящих и педагогических работников ОУ основана на компетентностном подходе. В структуре профессиональной компетентности работников одной из ведущих компетенций является владение современными инновационными методами, в частности, проектной технологией.
Успешность свидетельствует о способности педагога действовать в пространстве современных изменений в системе образования, умении преобразовывать педагогическую действительность.
Для того, чтобы грамотно подготовить педагогический проект к защите, необходимо следовать определенным требованиям к составлению плана проекта.
Примерная структура профессионального проекта
- Проблема / тема профессионального проекта педагога. Стратегическая цель профессионального проекта. Задачи профессионального проекта, обеспечивающие достижение его целей. Характеристика условий обеспечения качества образования:
Качество ресурсного обеспечения;
Уровень квалификации аттестуемого.
- Качество проектирования и реализации процесса обучения (управления):
Обоснованность актуальности проблемы профессионального опыта, умение выделить и сформулировать ведущую идею;
Раскрытие путей решения профессиональной проблемы (опора на психолого-педагогические теории, культура использования источников информации; обоснованность отбора предметного содержания; целесообразность педагогического инструментария; обоснование использования элементов технологий, методик, форм, приемов обучения; наличие примеров из авторской практики, иллюстрирующих пути решения профессиональной проблемы);
Аргументированность инновационных преобразований в сфере организации учебно-воспитательного процесса.
- Качественный уровень результативности реализации профессионального проекта (достижения учащихся) в соответствии с заявленной целью и задачами:
Позитивная динамика учебных достижений учащихся, выявленная аттестуемым;
Позитивная динамика учебных достижений учащихся по результатам внешней экспертизы;
Позитивная динамика сформированности социальных компетентностей учащихся.
- Качественный уровень результативности реализации профессионального проекта (достижения аттестуемого):
Уровень мотивации и интереса учеников к обучению;
Обобщение и распространение опыта реализации профессионального проекта;
Активное самообразование и темп повышения квалификации.
Консультационный текст
Проектная разработка должна содержать следующие структурные компоненты:
- Обоснование необходимости проекта. Цели и задачи Проекта. Участники проекта. Описание проекта: стратегия и механизмы достижения поставленных целей. Рабочий план реализации проекта. Прогнозируемые краткосрочные и долгосрочные результаты реализации Проекта. Оценка эффективности реализации Проекта. Оценка рисков. Дальнейшее развитие проекта.
1. Обоснование необходимости проекта
Описание педагогической проблемы включает в себя анализ существующей педагогической ситуации или состояния педагогической системы. В результате анализа выявляются противоречия между имеющимся положением педагогической системы и ее оптимальным состоянием, позволяющим эффективно функционировать на современном этапе. Педагог должен показать несоответствие между требуемым современностью состоянием образовательной системы и реально существующей ситуацией.
На основе такого анализа педагог определяет какие проблемы сможет решить в рамках своего проекта, какие коррективы возможно внести в деятельность образовательного учреждения, в содержание образовательного процесса, в собственную педагогическую деятельность и т. д. Педагог указывает, каким образом выделенные проблемы затрагивают определенные целевые группы, т. е. лиц, которым будет адресована деятельность по проекту. Необходимо кратко охарактеризовать реальные потребности целевой аудитории и условия, которые предполагается изменить в ходе проекта для решения их проблем.
В проекте должна быть убедительно доказана актуальность выделенных проблем, обоснована значимость решения данных проблем для повышения эффективности педагогического процесса. Важно указать значение решения этих проблем для образовательного учреждения, показать, что их решение соответствует государственным приоритетам в системе образования.
Таким образом, описание проблемы предполагает формулирование ответов на два вопроса: почему возникла необходимость в выполнении проекта? почему решение данной проблемы является приоритетной задачей?
Глубокий и всесторонний анализ педагогических проблем позволит грамотно и корректно сформулировать цели, задачи и подобрать методы проекта.
2. Цели и задачи Проекта
Формулирование целей проекта предполагает раскрытие сути задуманного проекта, направленного на решение выявленных проблем.
При постановке задач определяется последовательность шагов по изменению существующей педагогической ситуации в соответствии с целью. Педагог указывает, какие образовательные, воспитательные и социальные задачи будет решать на протяжении реализации проекта. Цель и задачи проекта должны быть достижимы в рамках предусмотренного периода времени.
3. Участники проекта
В этом пункте указывается основная целевая аудитория/участники проекта, а также критерии их отбора. Подробно описывается качественный и количественный состав целевых групп, с которыми педагог будет работать в рамках проекта.
4. Описание проекта: стратегия и механизмы достижения поставленных целей
Деятельность по проекту должна способствовать решению каждой из поставленных задач проекта. При выборе стратегии и подходов достижения поставленной цели необходимо обосновать выбор способов решения проблемы, при этом можно использовать как уже разработанные и апробированные способы решения проблем в различных комбинациях, так и модифицированные способы решения сходных проблем.
По сути, выбор методов предполагает описание мероприятий, которые необходимо организовать и провести для решения задач проекта. Так, педагог определит способы участия в проекте целевой аудитории (учителей, учащихся, родителей, попечителей). Педагог продумывает план организации работы по проекту, определяя логическую цепь своих действий.
Педагог определяет исполнителей деятельности по проекту (тех, кто будет задействован в ее выполнении); благополучателей (тех, кто будет потребителями каждой конкретной услуги). При этом, автор проекта должен оценить наличие необходимых ресурсов (материальных, информационных, кадровых, технических и др.).
Если в проекте запланировано проведение мероприятий - тренингов, семинаров, занятий и т. п., необходимо описать каждое из них, указав, цель и планируемый результат, на сколько человек оно рассчитано, временной формат мероприятия, предполагаемое место проведения, количество тренеров (в том числе и из каких организаций они будут приглашены), приложить предварительную .
5. Рабочий план реализации проекта представляет собой план-график выполнения запланированных мероприятий с обязательным указанием предполагаемых дат и ответственных за их проведение (ниже приведена возможная форма таблицы).
6. Прогнозируемые краткосрочные и долгосрочные результаты реализации Проекта
Краткосрочные результаты - те итоги, которые получают непосредственно по окончанию проекта.
Долгосрочные – результаты, которые могут появиться в перспективе, через некоторое время после завершения проекта.
Уже на стадии написания проекта педагог должен выделить ожидаемые краткосрочные и долгосрочные результаты своего проекта, по которым можно будет судить об успешности его реализации. Результаты планируются путем соотнесения их с поставленной целью и задачами проекта.
Например, к результатам проекта можно отнести:
Количество новых методик или технологий, внедренных в рамках проекта;
кол-во непосредственных получателей услуг (например, участников тренинга);
разработка новых процедур, облегчающих или улучшающих учебно-воспитательный процесс;
Апробирование новых методик и пр.
7. Оценка эффективности реализации Проекта
- описание количественных и качественных показателей достижения результатов и способов диагностики.
При планировании проекта важно выявить свидетельства, данные и показатели, которые подтвердили бы, что поставленная в проекте задача выполнена. При описании показателей повышения эффективности деятельности укажите данные, позволяющие судить о степени эффективности, а также значимости выполнения планируемых работ по проекту (например, предполагаемые технологические достижения; высвобождение времени учащихся для творческого развития личности; снижение конфликтов, рост успеваемости учащихся и т. д.).
- методы оценки успешности/эффективности.
Методы оценки – это способы сбора данных по каждому из ожидаемых результатов проекта, которые позволят определить, в какой степени достигнут ли тот или иной результат проекта. Самым распространенным методом является анкетирование благополучателей/целевой группы до и после обучения или участия в проекте.
Педагог может предложить самостоятельно разработанный диагностический инструментарий для оценки результативности реализации проекта.
8. Оценка рисков и меры, запланированные для минимизации влияния таких факторов риска
Педагог оценивает возможные риски, которые могут повлиять на реализацию проекта. Проводится качественный и количественный анализ рисков и условий их возникновения. Качественная оценка риска определяет степень его важности, количественный анализ позволяет установить вероятность возникновения рисков в проекте. На основе анализа осуществляется выбор процедур и методов по снижению отрицательных последствий рисковых событий.
9. Дальнейшее развитие проекта
По окончании проекта деятельность в выбранном направлении должна быть продолжена, поэтому необходимо предложить механизм продвижения результатов проекта.
Укажите, каким образом результаты проекта могут быть использованы в дальнейшем в образовательном учреждении, другими организациями в регионе, в других городах. Какими способами планируется информировать педагогическое сообщество о результатах деятельности по проекту и как будет учитываться обратная связь.
В качестве критериев оценки педагогического проекта можно выделить:
- значимость и необходимость выполнения педагогического проекта для образовательного учреждения в целом, и учебно-воспитательного процесса в частности; ясность, четкость, достижимость целей и задач педагогического проекта, логичность вытекания задач из проблем, выделенных в проекте; корректность выбора мероприятий проекта, соблюдение последовательности действий, разумность ограничения набора мероприятий; адекватность показателей оценки эффективности проекта; соблюдение логической концепции проекта, наличие логической цепочки: проблема – цель - задачи – метод – результат; значимость проекта для других образовательных учреждений, возможность внедрения результатов проекта в деятельность коллег.
В приложениях к проекту можно представить:
- учебно-тематические планы; структуру раздаточных материалов; тематику /примерную структуру/ тираж/ объем публикаций/печатных материалов; структуру/ перечень разделов, создаваемых интернет-ресурсов; примерную структуру/ объем/ методику/ инструментарий/ исследования; тематику/ примерную программу/ аудиторию конференций/ ; тематику/объем консультаций.
Требования к оформлению проектной разработки
Общий объем проектной разработки должен составлять не более 20 листов компьютерного текста.
Объем приложений не лимитируется, но они должны соответствовать тексту (ссылки на них в тексте обязательны).
Материалы необходимо готовить в текстовом редакторе MS Office Word.
Формат страницы: А-4 (210*297мм).
Формат шрифта: размер -14; Times New Romans; межстрочный интервал - одинарный, красная строка -1,25.
Поля: слева, справа, сверху, снизу - 20 мм.
Литература:
Ерофеева Н. Управление проектами в образовании / Н. Ерофеева // Народное образование. - 2002.- № 5. Ильин Г. Проективное образование и становление личности / Г. Ильин // Высшее образование в России. - 2001. - №4. Инновационный проект развития образования: Учебное книгоиздание / .- М.: Мир кн., 2001. - 143 с. Карпов Е. Проектная работа в школе: это возможно / Е. Карпов // ШЭЖ. -1997.- № 6. Карпов Е. Учебно - в поисках новой педагогической альтернативы / Е. Карпов //Экономика в школе. - 2001. - №2 Колесникова проектирование / , - Сибирская. - М.: Академия, 2005. – 285 с. Моисеев проблем: сущность, назначение, основные характеристики / .- М.: “Российская политическая энциклопедия” (РОССПЭН), 2002. Моисеев идеи (перспективные проекты развития образования) / , . - М.: АПК и ПКРО, 2002. Монахов авторской (собственной) методической системы учителя / , // Школьные технология. - 2001. - № 4 Монахов проектирование: современный инструментарий дидактических исследований / // Школьные технологии. - 2002.- № 5. Новикова эксперимента в образовательных системах. - М.: АПК и ПКРО, 2002. Новикова подходы к технологии экспертизы / //Школьные технологии. - 2002.- № 1. правление становлением проектно - технологической компетентности педагога / Л. Шмелькова // Школа. - 2002. - № 2.
В ходе оценивания педагогического проекта учителя эксперт, использует 5-ти балльную шкалу, отмечает знаком «+» в соответствующей колонке.
5 – очень высокая степень выраженности указанной в утверждении
характеристики. Она проявляется в подавляющем большинстве ситуаций, является устойчивой, полностью соответствует типичным качествам и поведению учителя. Ответ экспертов – «да».
4 – высокая степень выраженности характеристики. Она часто проявляется в педагогических ситуациях. Иногда возникают случаи, когда качества или поведение учителя не соответствуют утверждению. Ответ экспертов – «скорее да, чем нет».
3 – средняя степень выраженности характеристики. В некоторых ситуациях качества и поведение педагога соответствуют утверждению, в некоторых – не соответствуют. Ответ экспертов – «среднее значение».
2 – слабая степень выраженности характеристики. Она редко проявляется в педагогических ситуациях. Поведение и качества педагога лишь иногда соответствуют утверждению. Ответ экспертов – «скорее нет, чем да».
1 - характеристика не представлена в деятельности педагога. Качества и поведение учителя не соответствуют содержанию утверждения. Ответ экспертов – «нет».
При проведении экспертной оценки участвует не менее двух независимых экспертов. В случае существенного несоответствия их оценок проводится дополнительное обсуждение с целью достижения необходимого консенсуса.
Для определения уровня квалификации аттестуемого педагога необходимо подсчитать среднее значение по каждому показателю и компетентности в целом.
Значение показателя уровня квалификации (ПК) учителя от 3,9 баллов (включительно) и до 5 баллов свидетельствует о соответствии его уровня квалификации высшей квалификационной категории.
Экспертное заключение
Фамилия, имя, отчество аттестуемого
Место работы, занимаемая должность
требованиям заявленной _____________________________ квалификационной категории
Проблема / тема профессионального проекта педагога _____________________________________________________________________________
_____________________________________________________________________________
Стратегическая цель профессионального проекта_______________________________________________________________________
Задачи профессионального проекта, обеспечивающие достижение его цели _____________________________________________________________________________
Экспертиза профессионального педагогического проекта
Критерий | Показатели | Документы, подтверждаю-щие результат |
||
1. Условия обеспе-чения качества об-разования | Качество образовательных программ: |
|||
Соответствие образователь-ных программ и ресурсного обеспечения требованиям Государственного образова-тельного стандарта | Представление администрации ОУ |
|||
Обоснованный выбор и эффективное использование учебно-методических комплексов базовых курсов | ||||
Компетентностный рост (как качественный, так и количественный) реализа-ции кружков, факультативов, элективных курсов, научных обществ учащихся | ||||
Качество ресурсного обеспечения: |
||||
Способность обеспечить безопасный и функцио-нальный учебно-воспита-тельный процесс (условия кабинета, реализация здоро-вьесберегающих технологий) |
Свидетельство об аттестации кабинета; Сертификаты, грамоты, дип-ломы соответ-ствующих кон-курсов. |
|||
Апробация дидактического инструментария, контрольно-измерительных материалов, инновационного опытно-экспериментального оборудования | ||||
Умение задействовать в учебно-воспитательном процессе образовательные возможности социума | ||||
Уровень квалификации аттестуемого: |
||||
Уровень владения содержа-нием преподаваемого предмета (глубина и разносторонность теоретических и практических знаний предмета) | Представление администрации ОУ; Копии дипломов об образовании; Копии свиде-тельств, удос-товерений о повышении квалификации; Сертификаты участия в соот-ветствующих семинарах, конференциях и др. Заключение психологической службы ОУ. |
|||
Психолого-педагогическая компетентность аттестуемого (умение работать с учащимися разного уровня подготовлен-ности, в конкретной социаль-ной ситуации развития и раз-личных ресурсных условиях, способность организовывать учебное сотрудничество) | ||||
Высокий уровень аналитичес-кой и прогностической деятельности | ||||
Обоснованность актуаль-ности проблемы профессио-нального опыта, умение выделить и сформулировать ведущую идею | Материалы профессионального проекта |
|||
2. Качество проектирования и реализации процесса обучения (управления) |
||||
Раскрытие путей решения профессиональной проблемы: |
||||
Опора на психолого-педаго-гические теории, культура использования источников информации | Материалы профессионально-го проекта |
|||
Обоснованность отбора предметного содержания | ||||
Целесообразность педаго-гического инструментария | ||||
Обоснование использования технологий, методик, форм, приемов | ||||
Аргументированность инновационных преобразований в сфере организации учебно-воспитательного процесса: |
||||
Материалы профессионального проекта; Отзывы, рецензии специалистов о качестве инновационных преобразований; Представление администрации ОУ, конкретизи-рующее методи-ческую и иннова-ционную деятель-ность аттестуемо-го |
||||
Использование адекватных (актуальных, научных) изучаемому материалу источников информации, в том числе ресурсов Интернет, мультимедийных пособий и материалов | ||||
Использование активных форм обучения | ||||
Адаптация технологии (методики) под конкретную социальную ситуацию развития и уровень подготовленности учащихся | ||||
Аргументированность выбора организации систем мотивации, оценивания, рефлексии | ||||
Оптимизация учебной, психологической и физической нагрузки для сохранения и укрепления здоровья учащихся | ||||
Разработка программ интегрированного обучения для детей с ограниченными возможностями | ||||
3. Качественный уровень результативности реализации профессионального проекта в соответствии с заявленной целью и задачами 3.1. достижения учащихся | Позитивная динамика учебных достижений учащихся, выявлен-ная аттестуемым: |
|||
Позитивная динамика уровня обученности (предметные знания, умения, способы деятельности) за аттестацион-ный период | Справки об итогах промежуточной и итоговой аттес-тации учащихся по предмету; Сертификаты, грамоты, дипломы, соответствующих конкурсов; Результаты мони-торинговых иссле-дований, в том числе проводимых самим педагогом; |
|||
Развитие общеучебных компетенций | ||||
Рост количества учеников, принимающих участие в предметных олимпиадах, конференциях, акциях | ||||
Увеличение количества творческого предметноориен-тированного продукта, соответствующего сущности реализуемой технологии | ||||
Позитивная динамика учебных достижений учащихся по резуль-татам внешней экспертизы: |
||||
Высокие результаты ЕГЭ, тестирования в ходе аккреди-тации ОУ, международного тестирования и др.). | Выписки из про-токолов внешних проверок Отзывы коллег о преемственности предметной компетентности на разных ступенях школы; |
Для своего описать процесс выбора проекта.
1. Определить основные ограничения в проекте.
2. Сформировать множество вариантов проекта.
3. Использование метода экспертных оценок.
4. Произвести анализ выгод/затрат.
Пример использования метода экспертных оценок.
Рассматривались следующие варианты проекта.
Основными критериями выбора проекта являлись: стоимость; длительность проекта; сложность проекта; размещение; наличие альтернативных технических решений; исходно-разрешительная документация по проекту.
Далее факторы располагаются в порядке убывания приоритетности. Для этого определяется, какой из них в наибольшей степени повлияет на ход реализации проекта. Производится оценка весомости (ранга) каждого из перечисленных факторов. Сумма рангов факторов должна быть равна единице.
Вариант проекта оцениваются по каждому из факторов (критериев) оценки. Максимальный балл по любому из факторов для проекта равен 100, минимальный – 0. Экспертная оценка влияния каждого фактора получается путем перемножения веса каждого фактора на оценку этого фактора для каждого варианта.
Экспертная оценка вариантов проектов экспертом № 1
| № | Характеристика | Вес | Номер варианта проекта | Интегральная оценка | ||||||||
| А | В | С | D | Е | А | В | C | D | E | |||
| Длительность проекта | 0,2 | |||||||||||
| 0,2 | ||||||||||||
| Стоимость | 0,2 | |||||||||||
| Размещение | 0,2 | |||||||||||
| Сложность проекта | 0,1 | |||||||||||
| 0,1 | ||||||||||||
| Всего: |
Экспертная оценка вариантов проектов экспертом № 2
| № | Характеристика | Вес | Номер варианта проекта | Интегральная оценка | ||||||||
| А | В | С | D | Е | А | В | C | D | E | |||
| Длительность проекта | 0,3 | 7,5 | 4,5 | 16,5 | ||||||||
| Наличие альтернативных технических решений | 0,2 | 9,8 | 13,6 | |||||||||
| Стоимость | 0,2 | 7,4 | ||||||||||
| Размещение | 0,1 | |||||||||||
| Сложность проекта | 0,1 | |||||||||||
| Исходно-разрешительная документация | 0,1 | 4,5 | 4,5 | |||||||||
| Всего: | 60,1 |
Экспертная оценка вариантов проектов экспертом № 3
| № | Характеристика | Вес | Номер варианта проекта | Интегральная оценка | ||||||||
| А | В | С | D | Е | А | В | C | D | E | |||
| Длительность проекта | 0,2 | |||||||||||
| Наличие альтернативных технических решений | 0,2 | |||||||||||
| Стоимость | 0,2 | 7,4 | ||||||||||
| Размещение | 0,2 | |||||||||||
| Сложность проекта | 0,1 | |||||||||||
| Исходно-разрешительная документация | 0,1 | 4,5 | 4,5 | |||||||||
| Всего: |
Экспертная оценка вариантов проектов экспертом № 4
| № | Характеристика | Вес | Номер варианта проекта | Интегральная оценка | ||||||||
| А | В | С | D | Е | А | В | C | D | E | |||
| Длительность проекта | 0,25 | 12,5 | ||||||||||
| Наличие альтернативных технических решений | 0,2 | |||||||||||
| Стоимость | 0,2 | 7,4 | ||||||||||
| Размещение | 0,2 | |||||||||||
| Сложность проекта | 0,1 | |||||||||||
| Исходно-разрешительная документация | 0,05 | 2,3 | 2,5 | 2,5 | ||||||||
| Всего: | 56,5 |
Экспертная оценка вариантов проектов экспертом № 5
| № | Характеристика | Вес | Номер варианта проекта | Интегральная оценка | ||||||||
| А | В | С | D | Е | А | В | C | D | E | |||
| Длительность проекта | 0,25 | 7,5 | 12,5 | |||||||||
| Наличие альтернативных технических решений | 0,25 | 7,5 | 2,5 | 7,5 | 7,5 | 7,5 | ||||||
| Стоимость | 0,2 | 7,4 | ||||||||||
| Размещение | 0,2 | |||||||||||
| Сложность проекта | 0,05 | 2,5 | 2,5 | 2,5 | ||||||||
| Исходно-разрешительная документация | 0,05 | 2,3 | 2,5 | 2,5 | ||||||||
| Всего: | 43,5 |
Определение интегральной оценки
| Вес | А | В | С | D | Е | |
| Эксперт 1 | 0,2 | |||||
| Эксперт 2 | 0,2 | |||||
| Эксперт 3 | 0,2 | |||||
| Эксперт 4 | 0,2 | |||||
| Эксперт 5 | 0,2 | |||||
| Итого |
Наибольшая интегральная оценка соответствует проекту Е – строительство гипермаркета в пос. Кулиничи.
«Методология управления проектами»
Лабораторная работа № 4 Иерархия работ. Фазы.
Иерархия работ
Служит для отображения текущей структуры работ.
Внешний вид окна иерархии работ зависит от того, какой Вид иерархии задан в диалоговом окне настройки иерархической диаграммы, которое открывается из меню Диаграмма–>Настройка или нажатием на кнопку на панели инструментов.
Если выбран вид Иерархия, то фазы в окне располагаются в виде вертикальной иерархии. Информация о фазе (ее Название и Код) отображается справа от графического изображения фаз.
Если выбран вид Дерево, то фазы изображаются в виде прямоугольников. На прямоугольнике помещается информация о фазе, задаваемая в диалоговом окне шаблона.
Фазы отображаются согласно уровню иерархии: верхний уровень – фаза проекта, ниже – фазы второго уровня и т.д.
Каждый уровень иерархии имеет свой фоновый цвет, который можно изменить из главного окна программы, нажав на кнопку на панели инструментов. В открывшемся диалоговом окне настройки цветов можно менять цвета фаз соответствующего уровня.
На иерархии работ можно отображать фазы до какого-либо уровня включительно (например, только фазы первого и второго уровня). Настройка уровня отображения производится в диалоговом окне настройки.
Двойной щелчок левой клавишей мыши на фазе вызывает диалоговое окно свойств фазы, в котором задаются ее основные характеристики.
Нажав правую клавишу мыши на изображении фазы, можно вызвать всплывающее меню фазы иерархии работ, позволяющее производить следующие действия: редактировать свойства фазы, создавать общие отчеты по выбранной фазе, создавать и удалять фазы.
Иерархия работ редактируется при помощи мыши.
Если перемещать мышь с нажатой на фазе левой клавишей, то можно менять местами фазы внутри каждого уровня.
При перемещении фазы на уровень ниже следует держать нажатой клавишу Shift, а при перемещении на тот же уровень – клавишу Alt.
Фазы
Диалоговое окно свойств фазы
Представляет собой диалоговое окно со следующими страницами: Исходные и расчетные данные, Операции, Подфазы, стандартная страница Комментарий и стандартная страница OLE-документы и папка.
Страница Исходные и расчетные данные
Название – название фазы.
Код – уникальный код фазы.
Тип – тип фазы для связи со справочниками.
Краткое название – краткое наименование фазы (обычно более короткое, чем основное).
Приоритет – приоритет фазы.
Календарь – календарь, по которому будет рассчитываться длительность фазы в днях. Для изменения
календаря нажмите на кнопку Выбрать, выберите в открывшемся окне календарь из списка и нажмите ОК.
В полях, расположенных ниже, отображаются расчетные значения:
Начало (КМР) – самая ранняя дата начала КМР операции, входящей в фазу.
Окончание (КМР) – самая поздняя дата окончания КМР операции, входящей в фазу - Начало (КМП) – самая ранняя дата начала КМП операции, входящей в фазу.
Окончание (КМП) – самая поздняя дата окончания КМП операции, входящей в фазу - Уровень – уровень фазы в иерархической структуре работ.
Суммировать объемы – позволяет суммировать объемы операций, входящих в состав данной фазы. Суммарный объем будет отображен на строке с фазой после проведения расчета затрат.
Цвет на диаграмме изменяет цвет изображения данной фазы на графической части диаграммы Гантта работ (при этом открывается диалоговое окно цвета объекта).
В рамке Менеджеры содержится список менеджеров, которым будет отправлена фаза при выполнении рассылки подпроектов.
Для добавления в список менеджера нажмите кнопку Добавить и выберите нужного менеджера в открывшемся списке пользователей, нажав затем кнопку ОК.
Кнопка Удалить служит для удаления выбранного менеджера из списка.
Для выбора ответственного менеджера служит кнопка Ответственный. Ответственный менеджер располагается первым в списке, его имя помечается звездочкой, и при сборке обновляемые подпроекты считываются из его папки Подготовленные для сборки [Исходящие], путь к которой задается в таблице пользователей. Остальные менеджеры при сборке подпроектов игнорируются и требуются только для рассылки подпроектов.
Страница Операции
Включенные операции – список операций, входящих в фазу.
Создать – кнопка для добавления в фазу новой операции.
Свойства кнопка для вызова диалогового окна свойств выбранной операции.
Удалить – кнопка для удаления выбранной операции из проекта.
Исключить – кнопка для переноса выбранной операции в список исключенных объектов структуры работ.
Исключенные операции – список исключенных операций.
Включить – кнопка, вставляющая исключенную операцию в список включенных операций.
Свойства – кнопка, вызывающая диалоговое окно свойств выбранной операции.
Удалить – кнопка для удаления выбранной исключенной операции из проекта.
Страница Подфазы
В поле содержится список с подфазами, входящими в данную фазу.
Создать – кнопка для добавления в фазу новой подфазы.
Удалить – кнопка для удаления выбранной подфазы из проекта.
Исключить – кнопка для исключения подфазы из структуры работ (фазы не могут быть исключены из структуры ответственности, поскольку она должна быть полной). При исключении подфаз из текущей структуры, объекты нижнего уровня иерархии (операции) исключаются, а пустые подфазы могут быть удалены из структуры. Исключенные объекты могут быть впоследствии включены в текущую структуру.
А.А. Широбокова
О.В. Кривощекова
С.В. Уралова
Социальное проектирование
Часть II
Экспертиза социальных проектов
Учебное пособие
Издательство
Иркутского государственного технического университета
Рецензент: начальник управления Губернатора Иркутской области по связям с общественностью и национальным отношениям
Социальное проектирование. Ч. II. Экспертиза социальных проектов: учеб. пособие. – Иркутск: Изд-во ИрГТУ, 2007. – 90с.
Учебное пособие содержит теоретический и практический опыт экспертизы социальных проектов. Представленные в учебном пособии методические материалы содержат теоретические знания о методах оценки и способах ее применения в процессе социального проектирования. Дается представление мониторинга и оценки социальных проектов как социальной технологии. В пособии также представлены процедуры отбора заявок, образцы официальных документов, используемых для оценки заявок, порядок работы экспертов.
Учебное пособие является второй книгой из общей серии: социальное проектирование. Серия представлена четырьмя книгами.
Предназначено для организаторов и участников конкурсов, преподавателей, студентов, контролирующих органов и всех заинтересованных в тематике проведения грантовых конкурсов, общественного и иного контроля за ними.
Книга издана при поддержке Губернского собрания общественности Иркутской области
ISBN 978-5-8038-0482-6 © Широбокова А.А., Уралова С.В.,
Кривощекова О.В., 2007
© Байкальский региональный союз женщин «Ангара», 2007
© Иркутский государственный
технический университет, 2007
| Предисловие………………………………………………………….4 Экспертиза социальных проектов как форма оценки проектной деятельности………………………..7 Виды оценки……………..………………………………………….10 Что такое оценка проектов……………...……………………………..10 Оценка и жизненный цикл проекта…………………………………….11 Оценка деятельности организации и оценка проекта…………………...16 Внешняя и внутренняя оценка…………………………………………17 Что может быть проанализировано в ходе оценки……………………...18 Инструменты оценки…………………………………………….….19 Как осуществляется оценка………………….........................................19 Индикаторы……………………………………………………………23 Разработка вопросов для проведения оценки……………………….…..25 Управление процессом проведения оценки…………………………….31 Некоторые подходы к оценке проекта………………………………….34 Экспертиза социальных проектов………………………………….39 Зачем осуществляется экспертиза проекта……………………………..39 Факторы влияния на формирование экспертной оценки………………..40 Экспертиза заявки: раздел за разделом…………………………………43 Критерии оценки заявок……………………………………………….53 Типичные ошибки заявки на грант……………………………….........57 В помощь начинающему эксперту……………………………………..59 Процедуры отбора заявок ………………………………………….64 Стратегии выбора заявок………………………………………………64 Экспертная комиссия…………………………………………………..66 Библиографический список ………………………………………..67 Приложение………………………………………………………….69 |
Предисловие
Содержание учебного пособия учитывает многолетнюю практику авторов в подготовке и реализации социальных проектов консультирования и экспертизы проектных заявок, преподавания специальных курсов, проведения тренингов по проблемам социального проектирования членам местных сообществ, в учебных заведениях, на специализированных курсах, курсах повышения квалификации государственных и муниципальных служащих и т.д. В пособии также учтен опыт международных и Российских экспертов по социальному проектированию, изложенный в различных изданиях, представленный на конференциях, форумах и пр.
Социальное проектирование является новым инструментом социальной политики России, механизмом социального партнерства, частия местных сообществ в социально-экономическом развитии своих территорий, высокоэффективным инструментом решения социальных проблем. Напряженной работы, ясного видения цели, организованности и желания изменить жизнь к лучшему часто бывает недостаточно, чтобы воплотить идеи преобразования. Как правило, недостающим звеном является финансирование. Поэтому все шире внедряется практика социального проектирования в реальную жизнь территорий не только через систему международных и российских Фондов, корпораций и т.д., но и через систему муниципальных, областных, региональных и общероссийских грантов, социальных заказов и пр.
Любой спонсор хочет знать, какой проект лучше всего отвечает условиям объявленного им конкурса, у какого грантозаявителя эффективнее конкретные результаты проекта. Именно поэтому он заказывает оценку проекта. И тогда возникает необходимость найти эксперта в области оценки проекта. Нужна оценка собственного проекта и грантзаявителю. Она поможет исправить возможные ошибки и избежать неудач на этапе реализации проекта. Надеемся, что рекомендации, содержащиеся в этом пособии, помогут нашим читателям получить знания в области оценки проектов и создадут условия для разработки и поддержки эффективных проектов.
Учебное пособие является второй частью из общей серии: социальное проектирование. Она предназначена для тех, кто хочет получить опыт экспертной оценки социальных проектов. В ней представлен теоретический и практический опыт экспертизы социальных проектов. Изложенные в ней материалы содержат теоретические знания о методах оценки и способах ее применения в процессе социального проектирования. Дается представление мониторинга и оценки социальных проектов как социальной технологии. В пособии также представлены процедуры отбора заявок, образцы официальных документов, используемых для оценки заявок, порядок работы экспертов.
Первая часть серии – «Социальное проектирование: пособие по составлению заявок на гранты» содержит практический опыт подготовки проектных заявок грантодателям, спонсорам, фондам и другим организациям, предоставляющим финансирование общественным и некоммерческим организациям, отдельным гражданам, инициативным группам граждан. Из нее читатель узнает, что такое социальное проектирование, какую роль играет оно в современной социальной политике, как писать проекты. Третья - «Активные методы обучения. Пособие для тренеров» предназначена для подготовки тренеров по социальному проектированию. В ней содержатся общие материалы по активным методам обучения, организации и проведению тренингов, методические разработки для проведения тренингов по социальному проектированию. В четвертой книге «Социальное проектирование: практический опыт» содержится положительный практический опыт социального проектирования общественных и некоммерческих организаций, граждан, инициативных групп граждан Иркутской области. В ней представлены проекты, получившие поддержку из различных источников финансирования.
Широко распространенная в последнее время форма привлечения ресурсов (материальных и кадровых) для решения социальных проблем различными зарубежными и отечественными фондами, а также органами власти различного уровня - от федерального до местного - грантовые конкурсы. Если есть конкурс, значит необходимо оценить проекты и выбрать те из них, которые наиболее эффективно и наименее затратно решают проблему. Кроме того, грантодателю не безразлично, каковы конкретные результаты проекта на определенный момент его реализации или по окончании проекта. Конечно, последнее можно увидеть по отчетам исполнителей проекта, но важно мнение и посторонних людей. Тогда спонсор заказывает оценку. И вот тогда для оценки проекта заказывают специалиста, который способен выполнить задачу эксперта в области оценки проекта.
Часто и самому исполнителю важно знать, как продвигается его проект, насколько он соответствует заявленным результатам. Своевременное выяснение этого позволит вовремя внести корректировки в реализацию проекта. Именно поэтому важно, чтобы среди исполнителей проекта был специалист, знакомый с оценкой проектной деятельности.
В данной книге рассматриваются различные аспекты оценки проектной деятельности. Вконце книги представлен библиографический список.
Экспертиза социальных проектов как форма оценки проектной деятельности
Почему грантовые конкурсы приобрели такую популярность в решении социально–экономических и гражданских проблем?
Грантовые конкурсы показали себя как наиболее эффективная форма распределения средств для решения этих проблем: финансирование проектов на конкурсной основе стимулирует привлечение дополнительных ресурсов самими организациями -участниками конкурсов в виде собственных материальных и профессиональных ресурсов, безвозмездной деятельности добровольцев. Как правило, одну треть от вложенных донором средств организация-грантополучатель вкладывает или привлекает самостоятельно.
Конкурсное финансирование позволяет оценить эффективность вложенных средств, так как предусматривает мониторинг процесса реализации грантовых проектов и отчетность организаций-грантополучателей по результатам проектной деятельности.
Грантовые конкурсы позволяют привлекать большой круг участников и выбирать из них тех, кто сможет наиболее эффективно и наименее затратно решить социальную проблему в сообществе. Следовательно, конкурсы развивают здоровую конкурентную среду в некоммерческом секторе.
Применение конкурсных технологий позволяет снизить затраты инвестора до 15-20%. Таким образом, введение стимулирующих конкуренцию механизмов способно давать ощутимый экономический эффект.
В грантовых конкурсах применяется проектная логика. Она позволяет целостно видеть и решать проблемы, а также достигать долгосрочного результата и социального эффекта. Проектирование является также мощным стимулом для развития деятельности организации, подающей заявку на грант. Даже если заявка отклоняется: написание проекта предполагает в числе прочего анализ собственной деятельности, имеющихся в ней недостатков и возможных путей усовершенствования. Таким образом, участие в грантовых конкурсах побуждает организацию постоянно совершенствоваться, стремиться к большей эффективности, к достижению долгосрочных, устойчивых результатов.
Грантовые конкурсы также способствуют развитию рынка социальных услуг, формируя последние в процессе осуществления проектной деятельности. Цель любого грантового конкурса такова: есть проблема, нуждающаяся в решении, и все проектные заявки, поданные на конкурс, предлагают разные варианты ее решения. Эти решения осуществляются, и наиболее эффективные закрепляются в виде услуг, для которых изыскиваются другие, регулярные источники финансирования. В результате появляются и закрепляются новые услуги, службы, модели, технологии по работе с целевыми группами, которые можно воспроизводить и тиражировать.
Грантовые конкурсы имеют широкий общественный резонанс, так как выполняемые социальные проекты являются интересным информационным поводом для СМИ, и жители территории начинают оптимистично смотреть на решение социальных проблем, что способствует формированию положительного общественного мнения.
Отдельно стоит выделить грантовые конкурсы, которые проводятся на бюджетные деньги органами власти разных уровней. Безусловно, это положительное явление. Используя все вышеперечисленные факторы эффективности конкурсов, органы власти, таким образом, выстраивают еще и конструктивное взаимодействие с гражданскими институтами.
В последнее время также распространяется практика проведения грантовых конкурсов на основе консолидированного бюджета, когда конкурсный фонд складывается из разных источников: какого-либо фонда, спонсорских вкладов, администрации. В таких конкурсах не только увеличивается конкурсный фонд, но и объединяются ресурсы (финансовые, профессиональные, методические, организационные, ресурсы влияния и т.д.) разных организаций для решения социальной проблемы.
Особое место занимают грантовые конкурсы при реализации механизмов социальной ответственности бизнеса. Именно они позволяют бизнес-сообществу эффективно вкладывать свои средства в развитие местных сообществ.
Если есть конкурс, значит необходимо оценить проекты и выбрать те из них, которые наиболее эффективно и наименее затратно решают проблему. И здесь возникает потребность в экспертах, способных грамотно провести оценку предложенных в проекте решений. Грантодателю также не безразлично, каковы конкретные результаты проекта на определенный момент его реализации или по окончании проекта. И здесь опять требуется специалист–эксперт в области оценки проекта.
Оценка – особый процесс, требующий специальных знаний. Именно поэтому сейчас все больше внимания уделяется подготовке специалистов по оценке вообще и в социальной сфере в частности. При этом важно отметить, что среди методов и приемов оценки есть и такие, которые могут быть достаточно легко освоены практиками и использоваться для экспертизы социальных проектов на определенных этапах его развития.
Проектная деятельность имеет определенную продолжительность, этапы своего развития. И на каждом этапе жизненного цикла проекта возникает необходимость оценки (*):
- Идея --* --Разработка --** --Вы -* -полне -* -ние --*--Воздействие --*
Поэтому существуют разные виды оценок. Каждый этап накладывает свои особенности на тот вид оценки, которая осуществляется на этом этапе. В данном учебном пособии особое внимание уделяется оценке, которая проводится до начала выполнения проекта, после его разработки и до утверждения финансирования спонсором. До утверждения проекта обычно проводится специальная оценка, которая называется экспертиза (**) . Делается заключение, в котором сопоставляются возможные результаты проекта и возможные затраты по его реализации. Выясняется соответствие проекта условиям спонсора. Более того, именно экспертиза определяет возможность эффективной оценки на последующих этапах проектной работы, так как на этапе экспертизы оцениваются базовые условия проектной деятельности. Для того чтобы контролировать ход проекта и достижение запланированного эффекта, обеспечивать условия для оценки проектной деятельности, при разработке проекта и оформлении проекта, как минимум, необходимо:
Оценить исходную ситуацию, на изменение которой проект будет направлен;
Определить, какие изменения исполнители проекта хотели бы получить «на выходе» - то есть после завершения проекта;
Разработать комплекс мероприятий, которые могли бы, по замыслу авторов, обеспечить такие изменения;
Сформировать систему отслеживания и оценки таких изменений.
О том, как это достигается, показано в I части учебного пособия по социальному проектированию - «Пособие по составлению заявок на гранты».
Виды оценки
Что такое оценка проектов
У разных людей могут быть самые разные представления, что такое оценка. Академический словарь русского языка дает такие определения:
Оценка – действие, направленное на формирование мнения, суждения о качестве, достоинстве, значении и т.п. чего-либо;
Оценивать – изучать и выносить взвешенное суждение.
Значение термина «оценка» со временем расширилось. Основные изменения произошли в течение последних 30 лет. Это связано с тем, что в мире резко возросло число социально ориентированных проектов и программ, направленных на позитивные изменения в различных областях жизнедеятельности (защита окружающей среды, образование, права женщин, поддержка людей с ограниченными возможностями и пр.). И в этом случае оценка приобретает расширенное значение. Именно поэтому ряд экспертов в области оценки привнесли в него новый аспект – цель оценки. Так, например, Кэрол Вайс (Carol Weiss) определила цель оценки как измерение результатов программы и сопоставление их с задачами, которые эта программа должна решать. Она определила оценку как одно из средств содействия последующему принятию решения относительно программы, а также улучшения процесса разработки программ в будущем. Систематический анализ результатов каждого проекта позволяет определить следующее:
Какие программы работали хорошо и должны быть расширены;
Какие программы не удались и должны быть прекращены;
Какие программы требуют модификации по различным причинам.
Особенностью такого похода к оценке является не только необходимость наличия цели оценки, но важна обратная связь – поступление информации к менеджерам, которые на ее основании должны принимать решения о будущем развитии или закрытии программы (проекта). При этом, как отмечает Роберт Стейк (Robert Stakе), оценка может иметь много различных целей. Вопросы оценки отражают различные цели и информационные потребности аудитории. При официально проводимой оценке лишь нескольким вопросам может быть уделено первостепенное внимание.
Исторически сложилось так, что основными потребителями оценки были те, кто оценку финансировал. Именно они формулировали вопросы оценки. Сегодня этот акцент начал смещаться. Общество начало осознавать, что существуют различные группы, которые имеют законное право или определенные потребности на информированность о результатах деятельности проектов (программ). Питер Росси (Peter H. Rossi) и Говард Фримен (Howard E. Freeman) указывают, что эксперты по оценке должны уметь понимать точки зрения всех заинтересованных сторон и учитывать их при планировании и проведении оценки.
Оценка и жизненный цикл проекта
Проект – это всегда гипотеза. С той или иной степенью уверенности предполагается, что разработанные в проекте действия приведут к ожидаемому результату. Множество факторов – как внутри организации, так и вне ее – оказывают влияние на эффективность деятельности по проекту. Необходимы специальные инструменты, позволяющие оценить эти влияния. Во многих странах мира для этих целей используются такие инструменты, как мониторинг и оценка проектов .
Оценка позволяет сформировать мнение, суждение о качестве, достоинстве, значении и т.п. проекта и его результатов. Задача эксперта в том и состоит, чтобы изучить и вынести взвешенное суждение о проекте или его реальных результатах.
Мониторинг - текущий контроль за результатами работы. Он позволяет определить, все ли запланированные мероприятия проведены? Во время ли? Охвачено ли запланированное количество участников проекта? Расходовались ли средства согласно бюджету? И т.д.
Проект – это развивающийся процесс, имеющий разные жизненные циклы (этапы), и на каждом этапе располагаются разные виды оценки. Связь этапов и видов оценок проектной деятельности представлена на схеме 2.
Идея--разработка--одобрение--выполнение--завершение--последействие
оценка экспертиза мониторинг оценка оценка
ситуации результатов воздействия
Оценка ситуации проводится до разработки проекта (заявки на конкурс), программы. Эту работу разработчики проекта должны выполнить до начала подготовки проекта, после того, как у них появилась идея написать проект. Как правило, этот этап оценки опускают. Данная проблема обсуждалась в части I книги «Социальное проектирование: пособие по составлению заявок на гранты» (глава 1.3. Пять циклов управления проектом).
Опираются на опыт коллег в других регионах;
Реализуют давнюю идею;
Готовят заявку, потому что объявлен конкурс, и тема попадает в сферу интересов деятельности организации;
Не имеют навыков оценки ситуации.
Однако сегодня именно этот вид оценки, часто включаемый отдельным разделом заявки, становится значимым при конкурсном отборе проектов. Поэтому задача эксперта - уметь оценить, насколько проработан этот вопрос в заявленном проекте. Ведь именно оценка ситуации позволяет:
Точно определять, в чем заключается проблема;
Выявлять соответствие деятельности представленным в проекте ресурсам (возможностям), миссии, целям и задачам;
Определять инвестиционную привлекательность проекта;
Видеть долгосрочность возможных результатов, перспектив проекта;
Формировать критерии эффективности;
Оценивать эффективность выбранной стратегии, реалистичность бюджета;
- оценивать квалификацию исполнителей;
Эффективно перераспределять ресурсы.
Существуют специальные методы, инструменты оценки, которые позволяют проводить оценку ситуации. Эти же инструменты используются и на других этапах оценки проектной деятельности. Более подробно эта тема рассматривается в главе 3 «Инструменты оценки» данного учебного пособия.
Экспертиза (предварительная оценка) . Эта оценка проводится на этапе одобрения проекта, при этом оценивается еще не реализованный проект. Проект, как предложение будущей работы. Экспертиза определяет качество проекта. Грантозаявитель, как правило, сталкивается с экспертизой, когда подает заявку на грант. В качестве экспертов грантодатель привлекает специалистов, имеющих опыт работы в оценке проектов и номинируемой сфере (социальной, гражданской, экономической и пр.). Эксперты читают заявки и определяют, стоит ли их поддерживать. В принципе, оценка может иметь много различных целей. Однако по большому счету, в данном случае экспертам необходимо ответить на два вопроса:
Может ли заявленный проект содействовать решению проблемы, которая является на данный момент приоритетом для того или иного донора;
Может ли этот проект быть реализован в данных условиях организацией-заявителем.
Эти вопросы включают в себя массу характеристик и критериев (достаточно ли качественно спланирован проект; имеет ли организация опыт в реализации проектов и сможет ли выполнить данный проект; обоснованы ли ресурсы проекта и т.д.). Важно отметить, что даже если организация не планирует представлять проект на грантовый конкурс, целесообразно провести его экспертизу. В качестве экспертов могут выступать коллеги, сотрудники организации. Сторонний взгляд опытного менеджера поможет заранее исправить возможные ошибки и избежать неудач на этапе реализации проекта.
В данном учебном пособии упор будет сделан именно на этом виде оценки. Однако без понимания общей картины оценочной деятельности эксперту сложно подготовить качественное и профессиональное заключение на заявку грантодателя.
Мониторинг является инструментом контроля, который позволяет отслеживать ход реализации проекта, степень достижения промежуточных результатов и вносить оперативные изменения с целью повышения эффективности проекта. Мониторинг проводится непрерывно, с определенной периодичностью или на заранее определенных этапах работы. Для его проведения необходимы объективные показатели, которые называют индикаторами. В главе 3.2. «Индикаторы» данного пособия это понятие будет рассмотрено подробнее.
Мониторинг, как инструмент контроля, чаще всего применяют сотрудники, реализующие проект. Грантодатель также может осуществлять мониторинг проекта, привлекая внешних оценщиков. Спонсор может включить в условия конкурса требование проведения мониторинга исполнителями проекта на определенных этапах его реализации. В последнем случае исполнитель проекта по результатам мониторинга готовит промежуточный отчет для грантодателя. Важно понимать, что результаты мониторинга так же важны для исполнителей проекта, как и для заказчиков мониторинга. Специалисты, осуществляющие мониторинг, выполняют эту работу для того, чтобы выявить сильные и слабые стороны проекта, помочь исполнителям скорректировать свои действия таким образом, чтобы проект был успешно реализован.
Использование мониторинга на этапе проекта обеспечивает возможность:
Скорректировать дальнейший ход проекта;
Выявить потенциальные проблемы реализации, установить их причины и своевременно решить их;
Определить уровень выполнения заявленных задач и спрогнозировать конечный результат;
Принять грамотные управленческие решения;
Обнаружить новые стороны проблемы;
Получить квалифицированные оценку и совет;
Проверить, насколько рационально используются ресурсы;
Выявить незапланированные результаты.
Ниже представлены базовые отличительные признаки мониторинга и оценки.
Таблица 1
Окончание табл. 1
Оценка результатов осуществляется в момент его окончания, при получении непосредственных результатов. Донор обязательно требует ее от грантополучателя в форме итогового отчета . Чтобы провести итоговую оценку, необходимо сравнить полученные результаты с заявленной моделью проекта. И вновь важное место отводится такому инструменту оценки, как индикатор. Как правило, грантодатель требует не только констатации достигнутых количественных и качественных показателей, но и дать оценку тому, как и почему это произошло. Таким образом, на данном этапе проектной деятельности оценка – это анализ и интерпретация фактов для того, чтобы сформулировать рекомендации для будущих программ и заявок.
Использование оценки на конечном этапе реализации проекта позволяет:
Понять, достигнуты ли цели проекта;
Извлечь уроки на будущее;
Лучше понять проблему;
Оценить персонал проекта;
Скорректировать стратегию на будущее;
Лучше понять сильные и слабые стороны проекта, цели и задачи;
Продолжить или повторить проект на лучшем уровне;
Поставить вопрос о дальнейшем финансировании;
Минимизировать риски.
Оценка долгосрочного воздействия (эффект проекта, оценка влияния). Она направлена на оценку изменений в проблеме/ ситуации в связи с реализацией проекта. В ходе подобной оценки обычно анализируются все (или почти все) изменения, вызванные проектом, и то, насколько они стабильны, то есть сохраняются ли изменения без дальнейшего воздействия со стороны проекта. Как правило, эффект проекта очень трудно планировать. Более того, его сложно оценить непосредственно после окончания проекта. Но проект можно считать действительно эффективным, если непосредственные результаты оказывают влияние на ситуацию в социуме. Фактически эффект проекта - это степень успешности проекта с точки зрения достижения цели. Но если авторы проекта не представляли себе достаточно четко, какого изменения ситуации они хотели добиться, невозможно сказать, после того как проект был завершен, удалось это или нет.
Часто параллельно с действиями исполнителей проекта реализуются и другие действия (проекты, программы) по решению той же проблемы. Поэтому даже если точно известно, чего пытались достичь исполнители проекта через несколько месяцев после окончания проекта, когда ситуация в действительности изменяется, будет сложно с уверенностью сказать, насколько велика в этом заслуга проекта. И тогда оценка долгосрочного воздействия, оценка влияния может помочь в ответе на этот вопрос.
Нетрудно заметить, что описанные выше виды оценки перекликаются друг с другом. В частности, оценка воздействия - это не что иное, как оценка ситуации с точки зрения того, как она изменилась после реализации проекта. Следовательно, эти два вида оценки - оценка ситуации и оценка воздействия должны использовать одинаковые инструменты оценки, иначе будет невозможно сравнить полученные результаты и понять, что именно изменилось.
Оценка деятельности организации и оценка проекта
В зависимости от того, что является объектом оценки, можно говорить об оценке деятельности организации и оценке проекта. Далее мы будем говорить об оценке проектов, но важно понимать, что и оценка деятельности организации может использовать методы и приемы, представленные в данной книге. Важно только понять, зачем нужна оценка деятельности организации.
С точки зрения самой организации она нужна потому, что:
· проводя оценку, эксперты углубятся в анализ деятельности организации; обратят внимание, как на успехи, так и на неудачи, то есть приблизятся к тому, чтобы в целом увидеть деятельность организации;
· эксперты смотрят на организацию как бы со стороны и имеют шанс избежать эффекта «замыленного глаза», отвлечься от повседневной «текучки» и стать более объективными по отношению к своей организации;
· сотрудники, добровольцы и получатели услуг (клиенты, подопечные) организации получат зримое подтверждение того, что организация работает на результат, на выполнение своих целей и задач, своей миссии;
· появляется возможность найти так называемые точки роста, моменты, оказывающие решающее влияние на качество и эффективность работы организации. В дальнейшем, воздействуя именно на эти точки, можно добиться существенных положительных изменений, тем самым сэкономив силы, время и ресурсы организации;
· оценка даст повод задуматься о стандартах качества, к которым следует стремиться организации.
С точки зрения среды, в которой действует организаци я:
· пользуясь результатами оценки, организация достаточно определенно может ответить на вопрос, насколько хорошо она работает;
· в переговорах со своими потенциальными донорами специалисты смогут привести факты и сравнительные характеристики, которые помогут понять, что же представляет собой заявитель как организация и насколько эта организация эффективно работает;
· периодическое проведение оценок делает организацию более привлекательным, более надежным партнером;
· некоторые типы доноров (например, грантодающие организации) требуют включать такой эта, как оценка деятельности организации в заявку на финансирование того или иного проекта.
Так или иначе, оценка помогает увидеть реальное положение дел в организации, определить пути закрепления успехов и исправления недостатков.
Внешняя и внутренняя оценка
Внешняя оценка проводится приглашеннымспециалистом. При этом важно, чтобы он не только не работал в организации, но и не был связан с ней отношениями, которые можно расценить как конфликт интересов. Например, такой специалист не должен быть:
Прямым родственником кого-либо из руководителей организации;
Одним из тех, кто получает от нее помощь;
Участником этой же программы, конкурса грантов.
Внешнюю оценку, проводимую приглашенным экспертом, еще называют независимой оценкой.
Есть несколько причин, по которым спонсоры, грантозаявители обращаются с просьбой о проведении оценки в ходе реализации проекта:
Отсутствие у них хороших информационных систем;
Имеющиеся у них информационные системы отвечают на вопрос "что происходит", но не отвечают на вопрос "почему";
Эксперты в области оценки обучены анализировать полную картину и видеть, каким образом элементы соотносятся друг с другом, - в то время как другие специалисты могут анализировать лишь часть общей картины;
У экспертов по оценке есть время для того, чтобы пообщаться с благополучателями проекта и задать вопросы, которые у сотрудников проекта могут и не возникнуть.
Внутренняя оценка , или самооценка, осуществляется теми же самыми людьми, которые работают в организации. Это проще и сложнее одновременно, потому что, с одной стороны, кто же знает организацию лучше, чем ее сотрудники, а с другой – проведение такой оценки потребует дополнительных усилий, а иногда и мужества, чтобы «подняться над ситуацией» и быть действительно объективными.
Что может быть проанализировано в ходе оценки
Все, что имеет отношение к проекту, может стать объектом оценки. Если же говорить о наиболее часто встречающихся моментах, которые подвергаются оценке, и о вопросах, которые при этом ставятся, то это, как правило:
финансовая эффективность проекта
Насколько приемлемо соотношение ресурсов, вовлеченных в проект (в целом и/или для осуществления отдельных этапов), и его результатов;
Можно ли добиться удешевления подобных проектов в будущем, сохранив то же качество и тот же объем результатов;
эффективность управления проектом
Соответствует ли выбранная схема управления типу проекта и осуществляемым видам деятельности;
Способствовала ли она успешной реализации проекта;
Достаточно ли гибко руководители проекта реагировали на изменения, влиявшие на ход проекта;
Насколько правильными (ошибочными) были принимаемые решения;
методология проекта
Все ли методы привели к достижению заявленных результатов;
Какие методы оказались наиболее (наименее) эффективными;
устойчивость проекта
Будет ли работать этот проект при его повторении в другом месте;
Сохранил ли проект актуальность, соответствует ли он текущему моменту;
Будет ли жизнеспособен проект после завершения его специального финансирования (как правило, этот вопрос особенно волнует фонды);
полнота решения проблемы или удовлетворения потребности
В какой мере проектом решена заявленная проблема;
Можно ли говорить о том, что проблема решена кардинально, то есть не появится вновь;
Достаточно ли полно удовлетворены потребности клиентов проекта (целевой группы, на которую направлен проект).
Инструменты оценки
Как осуществляются оценки
Независимо от вида оценки, существует определенный инструментарий, используемый экспертами и разработчиками проектов и программ. На разных этапах жизненного цикла проекта, в зависимости от цели оценки, используется различный инструментарий. Среди наиболее часто используемых инструментов оценки, особенно на этапах оценки ситуации и оценки долгосрочного воздействия, можно выделить следующие: анкетирование, опрос, наблюдение, интервьюирование, беседа, анализ прессы, анализ законодательства, анализ текстов (устных/письменных), SWQT-анализ, профиль сообщества/клиента и другие.
Каждый инструмент требует определенных навыков и знаний его использования. Рассмотрим общее представление о некоторых из них.
Анкетирование - это письменный опрос. Виды анкетирования могут быть зондажные или экспресс-опросы. В анкете содержится несколько пунктов основной информации, демографические характеристики опрашиваемых, другие обходимые для каждого конкретного случая характеристики. Формы проведения анкетирования могут быть разные:
Через прессу - удобно, но очень трудно получить заполненные анкеты от респондентов;
Телефонные или по почте (ожидается возвращение анкеты по почте по заранее оплачиваемому переводу);
На месте (анкетер сам собирает заполненные анкеты); раздаточное (по месту жительства, работы);
Групповое - до 40 человек, которых анкетер инструктирует и оставляет заполнять анкеты);
Индивидуализированные (индивидуально к респонденту) и пр.
Опрос
- метод сбора первичной информации (совокупность вопросов, предлагаемых респонденту, ответы которого образуют необходимую информацию). Опрос - практически универсальный метод, но необходимо знать: кого спрашивать; о чем спрашивать; как спрашивать; где спрашивать; как обработать полученные данные; каким образом убедиться, что можно верить полученным ответам.
Вопросы могут быть: прямые / косвенные; открытые / закрытые / полузакрытые; личные / безличные; основные / контрольные; вопросы-«крючки» (чтобы поддержать интерес) / вопросы-«ловушки» / вопросы-
«фильтры». Опросы требуют привлечения большого количества людей, они затратны по времени, по финансам, а полученные данные требуют обработки и интерпретации.
Интервьюирование - это непосредственный, устный опрос (беседа, проводимая по определенному плану). Интервью бывает:
Свободное - длительная беседа без строгой детализации вопросов, но по общей программе;
Стандартизированное/формализованное - детальная разработка всей процедуры опроса, последовательности и конструкции вопросов (отклонения в формулировке вопросов и порядке их задавания не допускаются);
Полустандартизированное (допускаются уточняющие вопросы);
Нарративное - направляемый интервьюером свободный рассказ, подлежащий качественному анализу;
Ненаправленное – беседа, при которой инициатива практически полностью принадлежит респонденту;
Групповое;
Индивидуальное.
Наблюдение - качественный метод сбора первичной информации, основанный на индивидуальном восприятии. Этот метод хорош в совокупности с другими методами, так как он не всегда дает достаточный объем информации. Кроме того, наблюдение весьма субъективно, и данные, полученные при помощи наблюдения, требуют подтверждения.
Анализ прессы/ анализ законодательства/ анализ текстов . Несмотря на кажущуюся простоту, этот метод чрезвычайно трудоемкий и требует профессионального подхода. Впрочем, он достаточно дешев, но требует много времени. В результате использования этого метода возможно получить качественную, глубокую информацию, которую нужно будет затем верно интерпретировать.
SWOT-анализ . Этот подход широко используется во всем мире и является эффективным инструментом для начала работ над стратегическим планом или большим проектом, когда необходимы серьезные усилия разработчиков для эффективного решения поставленных задач. Используется он и для планирования развития организации, анализа новой идеи и пр. SWOT – это абривиатура:
«S» - означает преимущества, «W» - слабости организации (проекта, плана, идеи). Эти две характеристики описывают видение организации (проекта, плана, идеи) в настоящий момент.
«О» - это возможности, которые могут появиться, «Т» - угрозы, с которыми придется столкнуться. Используя схему SWOT-анализа, определяют, что можно сделать, чтобы преодолеть слабости. Проанализировав природу преимуществ, намечают мероприятия по их укреплению. Поняв угрозы, разрабатывают мероприятия по их минимизации или преобразованию в возможности и потенциально сильные стороны.
Фокус-группа - это групповое интервью. Модератор, т.е. человек, проводящий беседу, пишет заранее сценарий обсуждения, чтобы сфокусировать дискуссию на нужных проблемах. Фокус-группа интересна еще и тем для организаторов оценки, что в ней происходит активный обмен мнениями между людьми, отношение которых к данной проблеме требуется узнать. Полезно использовать фокус-группу и тогда, когда обмен мнениями между участниками может привести к более глубокому пониманию ими не только точки зрения участников, но и проблемы в целом. Например, в процессе работы в фокус-группе, возможно узнать, воспримут ли руководители общественных организаций, работающих по проблеме насилия, идею объединиться в коалицию, какие препятствия есть на этом пути. Если опросить группу руководителей и каждый из них услышит мнение других участников, руководители смогут более глубоко продумать идею и возможности ее использования для себя, а значит и процесс создания коалиции пройдет более успешно. Более того, в процессе опроса будут определены базовые технологии создания и развития коалиции.
Профиль сообщества - содержит информацию о местном населении и используется для определения потребностей местного сообщества. Его называют также «социальным паспортом». Профиль сообщества позволяет:
Получить нужную информацию для определения необходимых услуг и уровня их предоставления;
Определить целевые группы потенциальных получателей услуг;
Дать ясное понимание о людях, с которыми надо будет работать в процессе реализации услуг;
Дать качественную оценку ситуации;
Аргументировать цели и задачи проекта, социального решения;
Выбрать эффективную систему показателей, характеризующих изменение ситуации в результате реализации проекта (плана);
Обеспечить новые возможности для ведения социальной политики в местном сообществе.
Несомненно, серьезным вопросом при использовании этих инструментов становится вопрос получения достоверной информации, особенно при проведении достаточно сложных видов оценки на этапах оценки ситуации и оценки влияния. Конечно, эксперты-профессионалы без проблем смогут это сделать, но если нет возможности их привлечь, можно использовать следующие источники информации: статистика (официальная/неофициальная); слухи; официальные запросы; разного рода базы данных; СМИ; Интернет и др. Не все источники информации являются достоверными, поэтому необходимо проверять данные, прежде чем интерпретировать их.
Индикаторы
Выше уже отмечалось, что оценка позволяет сформировать мнение, суждение о качестве, достоинстве, значении, результатах и т.п. проекта (плана, программы, организации). Очевидно, для того чтобы провести оценку, необходимы некие критерии, при помощи которых возможно определить, хорошо ли выполняется или выполнен проект (программа, план), хорошо ли работает организация, способен ли заявленный проект изменить ситуацию к лучшему по заявленной проблеме, оценить успех. Критериями выступают так называемые индикаторы (показатели) эффективности деятельности. Для более точного уяснения достаточно сложного понятия «индикатор» обратимся к примеру. Какой индикатор позволяет с точной уверенностью сказать, что человек имеет нормальную температуру? Это термометр. Термометр - это достоверный, нейтральный, практичный, недвусмысленный, надежный индикатор, который позволяет точно установить температуру тела. Какие индикаторы позволяют судить о здоровье человека? Температура, давление, пульс, цвет кожных покровов. Известны базовые значения этих индикаторов, которые можно измерить. В социальной сфере определение индикаторов – не такое простое дело. Тем не менее, и здесь всегда можно найти простой способ измерить результаты деятельности.
Измерение – это процесс преобразования/уточнения информации.
Необходимые условия для организации этого процесса:
Определение того, что именно (какой параметр) будет измеряться;
Согласованное и понятное определение измеряемого параметра;
Наличие адекватных инструментов для перевода неколичественных данных в количественные.
Измерение должно обеспечить: достоверность, надежность адекватность, точность собираемой информации.
Хороший индикатор должен обладать следующими характеристиками:
Измеряемость. Индикатор поддается количественному измерению в любой определенный момент времени;
Ориентированность на результат. Индикатор характеризует результат, а не процесс, в ходе которого этот результат получен;
Достоверность. Индикатор на самом деле оценивает именно то, что необходимо оценить. Это истинный показатель для оценки предполагаемого результата;
Надежность. Индикатор даст тот же самый результат при повторном применении - на следующий день или год спустя - будет ли его оценивать тот же самый человек или кто-то другой. Процесс измерения может быть повторен. Любые изменения в ответах происходят в силу изменений в измеряемом предмете, а не в инструменте измерения;
Нейтральность. Индикатор "объективен", а не "субъективен". Как сторонник, так и скептически относящийся человек примут ответ, полученный в результате оценки, как правильный;
Недвусмысленность. Индикатор имеет четкое, одинаково понятное любому определение;
Практичность. Индикатор практичен в том смысле, что он экономически доступен, т.е. не требует много затрат для его применения и позволяет действительно провести оценку.
Таким образом, при определении индикатора важно ясно и четко определить базовые составляющие индикатора: определение (формулировка понятия/параметра таким образом, чтобы его можно было сосчитать); источник информации; периодичность; точка отсчета; целевое значение; единица измерения.
Так, например:
Востребованность ресурсного центра можно измерять количеством клиентов; количеством заявок, на ту или иную консультацию и т.д.;
Эффективность семинара по написанию заявки на грант можно ценить при помощи количества заявок, поступивших на конкурс; качества проектов, поданных на конкурс (при помощи среднего балла, набранного участниками семинара при проведении теста проверки) и пр.
Для более полного уяснения понятия «индикатор», в Приложении 1 пособия представлены индикаторы Целей Тысячелетия, выработанные ООН на Саммите Тысячелетия и гендерные индикаторы, определяющие гендерное развитие по каждой Цели Тысячелетия.
Иногда эксперт или разработчик обнаруживает, что для показателей, которые он хочет измерить, нет "мерных линеек". Задачи проекта, которые сосредоточены на качестве результата или на отношении людей к новой услуге, - это задачи, для которых может не быть удобного "индикатора". При возникновении таких ситуаций нужно уметь создать соответствующие "измерители". Наиболее обычным видом "измерителя", который создают разработчики проектов и эксперты в области оценки, когда им нужны новые "измерители», являются шкалы, или рейтинговые шкалы. Например:
Качество тренингов, проведенных в рамках проекта, может быть оценено как: наивысшее, хорошее, среднее, ниже среднего, некачественное;
Отношение к новой услуге в области здравоохранения:
очень удовлетворен, удовлетворен, не знаю, не удовлетворен, крайне не удовлетворен.
Подсчитав количество участников, определивших результаты деятельности проекта в соответствии с рейтинговой школой, можно дать количественную оценку качества результата или отношения людей к новой услуге
Похожая информация.
После подготовки заявки перед ее отправкой в грантодающую организацию следует соотнести ее содержание с предполагаемыми критериями ее экспертной оценки. Напомним, что любой эксперт, оценивая проект, одновременно оценивает и риск, связанный с его реализацией (или отказом от его нее). Ставя высокий балл, эксперт берет на себя часть ответственности, а ошибаться, как известно, никто не хочет. Этим объясняется, почему эксперт всегда старается понять несколько «простых» вещей:
- ? является ли заявитель профессионалом;
- ? разбирается ли он в предмете, о котором идет речь;
- ? знает ли он, что именно будет делать и в какой последовательности;
- ? есть ли у него опыт подобной работы, т.е. способен ли он выполнить предлагаемый проект;
- ? не навредит ли положительное решение по его заявке репутации эксперта.
Как отмечал В.В. Радаев: «Любая заявка - своего рода кот в мешке. А эксперт - существо изнеженное и к тому же занятое. И если мешок туго перевязан, эксперт не станет ломать себе пальцы, чтобы его развязать. Мы сами должны приоткрыть мешок и дать взглянуть на содержимое. Иначе, скорее всего, эксперт с тихим вздохом отложит нашу заявку и, забыв о ней, перейдет к следующей» .
Ниже приведен список «контрольных вопросов», которым явно или неявно руководствуется эксперт при оценке предлагаемого проекта. Заявителю перед отправкой заявки имеет смысл проверить ее на соответствие пунктам этого списка.
Проблема, на решение которой направлен проект:
- ? присутствует ли хорошо представленное и проанализированное изложение проблемы;
- ? соответствует ли описанная проблема задачам организации, которую вы представляете;
- ? насколько тщательно и убедительно проведен анализ для четкого понимания основных причинных факторов, вызвавших проявление проблемы;
- ? представлены ли в изложении проблемы количественные данные или другие измерители, с помощью которых возможно определить начальные показатели;
- ? основано ли изложение проблемы на уже проводимых ранее исследованиях и практике;
- ? цитируются ли в изложении проблемы достоверные источники, использованные для описания и анализа.
Цель проекта и ее раскрытие в задачах:
- ? реалистична ли цель проекта;
- ? являются ли задачи точными, обозреваемыми и измеряемыми;
- ? связаны ли задачи логически и эмпирически с достижением цели;
- ? представлены ли измеряемые показатели, с помощью которых возможно будет оценить степень выполнения задач при завершении проекта;
- ? вытекают ли логически и эмпирически задачи проекта из описания и анализа проблемы;
- ? определены ли четко бенефициары (благополучатели) проекта, их категории и количество;
- ? можно ли будет оценить и измерить результаты проекта для бенефициаров;
- ? реалистичны ли задачи, учитывая время и финансовые ограничения проекта;
- ? если сформулировано более одной задачи, связаны ли задачи друг с другом логически и расположены ли они в приоритетном порядке;
- ? связаны ли задачи между собой логически и эмпирически для достижения синергии и большего суммарного воздействия.
Методы (виды) деятельности. Направленность проекта и логика его реализации:
- ? связаны ли виды деятельности логически и эмпирически с задачами;
- ? есть ли «разрывы в логике» осуществления проекта;
- ? есть ли какие-то инновационные аспекты в разработке и осуществлении видов деятельности;
- ? реалистичны ли масштаб и объем деятельности, учитывая бюджетные и временные рамки;
- ? есть ли положения и терминологические обороты, которые могут быть непонятны для профессионального сообщества.
Риски:
- ? четко ли высказаны предположения насчет успешности проекта;
- ? какие риски реализации проекта возможны;
- ? существуют ли потенциальные угрозы в социальной и политической среде проекта, которые не отражены, но которые могут свести на нет весь проект;
- ? не слишком ли оптимистичны предположения по проекту; нет ли переоценки позитивных факторов в среде, где будет работать проект.
Опыт/соответствие/репутация:
- ? соответствуют ли предлагаемые виды деятельности имеющемуся управленческому опыту и возможностям заявителя;
- ? имеется ли у заявителя опыт управления финансовыми средствами; каким образом ведется управление финансами; раздельны ли счета по проекту с общим счетом организации;
- ? имеется ли система финансового контроля; подготавливаются ли финансовые отчеты для других грантодателей своевременно и аккуратно;
- ? возможно ли осуществить проект указанными исполнителями; достаточна ли высока их квалификация для осуществления проекта;
- ? есть ли у заявителя свидетельства положительных достижений, которые отмечены через проведение независимых и объективных оценок; какова репутация заявителя среди других грантодателей.
Мониторинг осуществления проекта:
- ? представлены ли в проекте взаимосвязанные начальные показатели, мониторинг и план проведения оценки;
- ? полноценно ли разработан план оценки, чтобы измерять результаты проекта, или он в основном нацелен на оценку отдельных мероприятий по плану действий;
- ? существует ли в организации практика проведения оценок независимыми экспертами или же она препятствует вмешательству в свою деятельность.
Бюджет проекта:
- ? отражают ли позиции бюджета реальные затраты по ведению деятельности, предлагаемой в документации по проекту;
- ? кажутся ли позиции бюджета по проекту чрезмерно «раздутыми», т.е. завышенными для большей гибкости в использовании гранта;
- ? точно ли грантополучатель распределил предлагаемые расходы на прямые и косвенные издержки и на накладные расходы;
- ? обоснованна ли смета проекта с точки зрения его предполагаемых результатов; эффективен ли данный проект с точки зрения расходования финансовых средств, например нанимаются ли дорогие иностранные представители для выполнения заданий, которые могут быть выполнены местным персоналом;
- ? аккуратно ли рассчитаны расходы на поездки и суточные;
- ? достаточно ли детализирован общий бюджет.
- Радаев В. В. Как организовать и представить исследовательский проект: 75 простыхправил. М.: ГУ-ВШЭ: Инфра-М, 2001.
