Как внедрить систему KPI в компании. KPI (ключевые показатели эффективности)

KPI и мотивация персонала. Полный сборник практических инструментов Клочков Алексей Константинович

2.6. Оценка эффективности реализации проекта

В некоторых компаниях, например в IT– или строительных, ярко выражена проектная направленность. Следовательно, оценивать деятельность сотрудников, используя процессный подход, нелогично. Проектная деятельность требует применения совершенно иных подходов к оценке и управлению.

Иногда в компаниях остро стоит вопрос о повышении эффективности реализуемых проектов и принципах мотивации сотрудников в этих проектах. Это во многом связано с типом организационной структуры компании, с возрастающей текущей загрузкой сотрудников и сложностью решаемых задач, а также с ответственностью менеджеров за результаты своей деятельности. Рассмотрим технологии оценки проектной деятельности и мотивации проектных групп.

Как оценить эффективность реализации проекта и деятельности сотрудников в проекте?

В связи с многоаспектностью и разновидностью проектов компаний мы рассмотрим основные инструменты, повышающие эффективность реализации проектов, а также универсальную модель, подходящую для оценки и мотивации проектных групп в зависимости от результатов данной оценки.

Как правило, степень успешности проекта во многом определена достижением поставленных проектных целей и эффективным выполнением определенных стадий проекта, таких как инициализация, планирование, выполнение, контроль и завершение.

Именно на эти стадии и критерии оценки достижения целей должно быть направлено основное внимание менеджмента при оценке эффективности реализуемых проектов.

Оценка эффективности проектов прежде всего необходима для руководства и менеджеров компании в качестве инструмента поддержки принятия решений в процессе управления проектами и компании в целом. Оценивать качество управления проектами и эффективность реализации целей проектов можно с различных сторон. Рассмотрим возможные аспекты управления проектами и возможные критерии, используемые для анализа эффективности деятельности сотрудника в проекте.

Функции управления проектом

Время (отклонения по времени – план-график проекта).

Качество (отклонение по качеству продукта – проектная документация).

Стоимость (отклонение по стоимости – бюджет проекта).

Риски (качество управления и реагирования на проектные риски).

Персонал (эффективность использования ресурсов анализируется при необходимости повышения качества ресурсного планирования либо, наоборот, при необходимости привлечения дополнительных рабочих ресурсов).

Коммуникации. Качество коммуникаций (прямые или косвенные показатели удовлетворенности клиентов), коэффициенты эффективности взаимодействия с поставщиками и т. д.

Контракты.

Изменения (риски, проблемы, изменения, то есть «управление отклонениями»). Для этого применяется Коэффициент проектных отклонений для оценки допустимых значений по каждому основному критерию оценки. Проектные отклонения = (К1 ? [Отклонение по времени] + К2 ? [Отклонение по стоимости] + К3 ? [Отклонение по качеству продукта]) / (К1 + К2 + К3). Значения измерителей (частные отклонения) могут рассчитываться на основании специальных шкал – диапазонов допустимых значений, позволяющих классифицировать отклонения с точки зрения тяжести их последствий.

Фазы управления проектом

Инициация (оценка времени и качества принятия решения о запуске проекта).

Планирование (оценка качества выбора подрядчиков и времени заключения контрактов, а также качество и время этого выбора).

Выполнение и Контроль (мониторинг и анализ исполнения этапов проекта через отклонения по срокам, стоимости и качеству), а также оценка качества проекта выступает как экспертная оценка соответствия критериям технического задания.

Закрытие (оценка исполнения проектов через отклонения по срокам, стоимости и качеству) и оценка качества проекта, например оценка индекса адекватности решения.

Далее рассмотрим наиболее важную фазу управления, которая называется «выполнение и контроль». Для того чтобы оценить и повысить эффективность данной фазы управления, необходимо четко представлять цели и результаты этапов, стадий или проекта в целом. Определять этапы и результаты этапов необходимо для точного определения момента или «точки контроля», когда мы сможем оценить эффективность реализации проекта.

Проект можно четко оценивать только по вехам проекта – это этап проекта с длительностью 0 минут, часов и дней.

Допустим, что результатом этапа проекта является утвержденный 01.04.2008 г. документ Х. Если мы в определенный день утвердили документ у заказчика – это будет веха этапа, то есть этап с длительностью 0, и мы можем оценить эффективность этапа: соблюдение срока, бюджета и качества данного этапа. Если документ еще находится на согласовании у заказчика, то это работы в рамках этапа, и оценивать его весьма затруднительно, так как не получен результат этапа.

Как известно, у проектной группы есть три «основных» инструмента управления:

Качество проекта.

Искусство управления ими во многом определяет эффективность проектов. Соответственно, одним из механизмов повышения эффективности проекта является определение ответственности менеджеров за достижение трех основных целей проекта .

Модель оценки как внешних, так и крупных внутренних проектов и три ее основные цели:

Снизить затраты, не увеличивая длительность проекта и не снижая его качество;

Снизить время без ущерба качеству и при этом сократить затраты;

Обеспечить выполнение или повысить определенные критерии качества проекта.

Модель оценки внутренних проектов (простая):

(оценке подвергается только соблюдение срока и качества проекта. Стоимость проекта не рассматривается, так как проект внутренний и был реализован силами сотрудниками, которым компания выплачивает зарплат)

Создать….

Разработать…

Внедрить…

Пример показателя эффективности внутренних проектов, то есть «Проектный» KPI , – это «Утвержденное «Положение о премировании» к 1 июля 2009 г.».

В терминологии проектного управления формулировка и определения проектных KPI совпадает с выделением вех проекта. Определение «веха» – это этап проекта с длительностью, равной 0. Веха – это промежуточный или итоговый результат проекта. Если мы ставим задачу оценить результативность наших сотрудников в проекте, то надо оценивать не процент сделанных работ, а достигнут ли результат (веха): да или нет. Исходя из этого можно сделать вывод, что «Проектный KPI» = веха проекта .

Для оценки степени достижения целей проектов используются проектные ключевые показатели эффективности – KPI. У разных проектов свои KPI. Самые простые показатели для расчета – это количественные KPI, такие как отклонения от бюджета проекта или экономия бюджета. Гораздо сложнее оценивать качественные показатели, потому что их оценка более трудоемка и обладает некоторой субъективностью. В одних проектах качество выражено в оценке приемной комиссии или заказчика проекта, у других – преимущественно в финансовых показателях, таких как достижение окупаемости инвестиций, IRR (внутренняя норма доходности (прибыли, внутренний коэффициент окупаемости, Internal Rate of Return, IRR – норма прибыли, порожденная инвестицией), и положительный дисконтированный поток от проекта, где-то это только соблюдение требования технического задания и т. д.

Пути решения трудностей проектного управления

Основными документами проекта являются устав или паспорт проекта, в которых должны быть определены критерии для оценки проекта, то есть его цели, этапы, результаты этапов и проекта в целом.

Основная проблема применения проектного менеджмента заключается в отсутствии в компании четких процедур и регламентов подготовки основных документов проекта (устав и паспорта проектов). В связи с этим возникают проблемы с точным определением и пониманием основных «вех» проекта для определения эффективности деятельности проектной группы. Однако успех определяется не только механизмом управления и оценки проекта, но и степенью заинтересованности персонала, что особенно важно в командной работе. Для этого необходимо применять в проектах систему мотивации на базе проектных KPI.

Еще одним серьезным препятствием на пути внедрения проектного управления является передел сфер влияния в компании как на среднем, так и на высшем уровне руководства. Раньше все было проще: функциональный руководитель отвечал за конкретные задачи, он выстраивал соответствующие процессы и ставил людей на их выполнение. Теперь оказывается, что ту же самую задачу можно в принципе решать по-другому и, возможно, эффективнее. Но при этом «права собственности» на часть процесса или некоторые отдельные формы реализации процесса должны перейти к другим людям – от функциональных руководителей к руководителям проектов. Чтобы подобные «перемены управления» не приводили к заметным политическим потрясениям и тем самым не снижали эффективность проектов, должны быть определены формальные правила и стандарты сосуществования процессной и проектной деятельности.

Другой негативный фактор, о котором необходимо помнить, состоит в том, что у руководителя проекта может возникнуть соблазн организовать управление так, как удобно именно ему, так как цели и задачи проекта уникальны. Но если каждый руководитель будет действовать по этому принципу, в организации наступит хаос, особенно если учесть необходимость параллельного функционирования в компании двух управленческих культур (процессной и проектной).

Зависит ли мотивация проектных групп от масштаба и сложности проекта?

Вид проекта и степень влияния проектных менеджеров на результаты или KPI проекта определяют механизмы оценки и определения KPI.

Масштаб проекта тоже добавляет свои сложности, одной из которых является недовольство проектной группы, если мотивация осуществляется не по этапам, а по итоговому результату проекта, особенно если он долгосрочный (год и более).

Пути решения

Объяснение проектной группе, что проект – это инвестиции компании и нерационально нести дополнительные затраты до момента завершения проекта при том, что есть риск незавершения проекта.

Платить премии авансом – так делают девелоперские компании, но здесь есть риск, что сотрудник уйдет до конца реализации проекта. Итоги проекта будут неудовлетворительные, а компенсировать выплаченные денежные средства будет уже нельзя.

Включать в систему текущей мотивации поощрения и льготы, то есть надбавки за участие в проектах развития компании, – перспективу служебного роста и карьеры, а также получения опыта, как элементы эффективной нематериальной мотивации.

В проектах развития компания сразу определяет размер премии при условии достижения KPI проекта. Когда начинаются небольшие проекты, то, как правило, не хватает времени разработать документы проекта и определить его критерии, поэтому возникают проблемы при их оценке. Поэтому не ленитесь и создавайте упрощенные документы – для небольших проектов.

Примеры мотивации проектных групп

Мотивация смешанных групп

? 1-й вариант. Определяется премиальный фонд, как вариант – процент от сметы проекта или от экономии сметы, далее определяются KPI для оценки результатов этапов или проекта в целом, а потом распределяется на проектную группу согласно процентам и долям участия. Это наиболее объективный вариант.

? 2-й вариант. У проектной группы своя структура мотивации, а обслуживающие подразделения, участвующие в проекте, премируются по следующей формуле: (проектная ставка? время, задействованное в проекте) ? KPI – личная оценка менеджера проекта. Проектные менеджеры корректируют этот бонус на KPI – личная оценка менеджера проекта, который показывает, насколько эффективно взаимодействовал сотрудник с проектной группой. Может принимать значения от 1 до 1,3.

Мотивация проектных групп:

? 1-й вариант. Система мотивации складывается из заранее определенных (расчетных) бонусов за реализованный проект, которые корректируются на результат выполнения основных KPI этапа или проекта в целом.

? 2-й вариант. Определяются фиксированные бонусы как процент от сметы проекта за реализованный проект. Бонусы корректируются на результат выполнения KPI этапа или проекта в целом и распределяются внутри группы на менеджера проекта и рабочую группу.

? 3-й вариант. Мотивация построена в виде фиксированных надбавок к основному окладу за участие в проекте.

? 4-й вариант. Используется преимущественно в девелопменте, где устанавливается стоимость каждой операции, которую осуществляет сотрудник в рамках проекта. Удобство в этом варианте состоит в том, что если меняются участники проекта, то распределение и выплата премии не вызывают трудностей. Этот вариант подходит, если компания выполняет однотипные проекты с понятной детализацией работ и возможностью бесспорного определения их стоимости, то есть данный способ является аналогом «сдельного» принципа оплаты труда.

Важно помнить, что все основные трудности в реализации проектов и факторы, влияющие на их эффективность, связаны с отсутствием:

Структурированной операционной деятельности;

Механизмов реализации процессов в проекте;

Унифицированного механизма и стандартов выполнения проектов.

Разрабатывайте документы проектов и процедуры, регламенты системы управления проектами. Определяйте четкие правила игры, а также выберите основной инструмент для повышения эффективности проекта.

Хорошим решением для повышения эффективности проектов может стать уход от традиционных организационных структур, то есть иерархических функциональных моделей путем построения гибких организационных структур матричного типа. Матричная организационная структура предполагает формирование на базе постоянных функциональных подразделений компании временных коллективов, которые создаются под определенную цель или проект и пользуются определенной свободой в организации своей работы. Четкие механизмы мотивации и оценки результатов для проектных групп вселят в сотрудников уверенность в том, что они получат премию за эффективную работу, а руководство компании будет знать, что достижение целей проекта осуществляется с наибольшим усердием и результативностью.

Из книги Практический PR. Как стать хорошим PR-менеджером. Версия 3.0 автора Мамонтов Андрей Анатольевич

Оценка эффективности PR-деятельности Ниже приведен пример оценки значимости публикаций в СМИ для компании, специализирующейся на коммерческой недвижимости. Для составления таблицы, отражающей рейтинг PR-материалов в деловых изданиях и информационных агентствах, СМИ

Из книги Бенчмаркинг – инструмент развития конкурентных преимуществ автора Логинова Елена Юрьевна

3.4. Оценка эффективности маркетинга Эффективность характеризуется двумя аспектами, как то:1) эффективность, или отдача, производительность (efficiency), под которой подразумевается общая итоговая характеристика любой деятельности в целом или выполнение отдельных функций

Из книги Управляя изменениями [Как эффективно управлять изменениями в обществе, бизнесе и личной жизни] автора Адизес Ицхак Калдерон

Из книги Бизнес-план на 100%. Стратегия и тактика эффективного бизнеса автора Абрамс Ронда

Из книги Как стать волшебником продаж: Правила привлечения и удержания клиентов автора Фокс Джеффри Дж.

Из книги Прицельный маркетинг. Новые правила привлечения и удержания клиентов автора Бребах Греш

Из книги Информатизация бизнеса. Управление рисками автора Авдошин Сергей Михайлович

Из книги Легко не будет [Как построить бизнес, когда вопросов больше, чем ответов] автора Хоровиц Бен

Из книги автора

Из книги автора

Из книги автора

Оценка эффективности идеи Как оценить придуманную идею вирусного видео на ее успешность? Можно ли вообще спрогнозировать: «выстрелит» вирусный ролик или нет?Как было сказано, сначала необходимо понять, зачем создавать вирусное видео. Без ответа на этот вопрос дальше

Сбалансированная система показателей, возникшая в начале 90-х годов на Западе как веление времени, пришло в 2000-х годах и в российскую практику управления. Изначально было принято считать, что BSC служит мощным мотивационным регулятором процессуальной практики бизнеса. В настоящей статье мы рассмотрим вопрос о том, какие ключевые показатели эффективности могут быть успешно применены и в проектной деятельности. Такой опыт постепенно обретает все большую значимость в современном менеджменте.

Краткий обзор BSC

Теория The Balanced Scorecard (BSC) стала известной и популярной в сознании управленцев благодаря книгам и деятельности двух авторов Р.С. Каплана и Д.П. Нортона. Одним из существенных компонентов этой системы выступают модели мотивационных показателей, которые постепенно стали называть KPI (Key Performance Indicators). Из-за сложностей корректного перевода эти показатели в русскоязычной среде начали именовать КПР (ключевые показатели результативности) или КПЭ (ключевые показатели эффективности). Почему-то последнее «прижилось» в ментальности менеджеров лучше.

Модели KPI, реализованные в реальном бизнесе, являясь частью сбалансированной системы показателей, сами представляют собой систему, интегрированную во многие функциональные блоки управления. Среди них стратегический менеджмент и управление персоналом занимают главенствующее место.

В последние годы в разработке стратегии многие российские компании научились добиваться успеха. Однако причины неудач бизнеса до сих пор кроются в слабости методичной разработки и воплощении программ конкретных действий по стратегической реализации. BSC и входящие в эту систему ключевые показатели эффективности призваны закрыть «дыры», сохраняющиеся между стратегией и низовыми процессами деятельности, а также проектами развития.

Пирамида сбалансированной системы показателей компании

Система BSC называется сбалансированной, потому что представляет собой пирамиду-иерархию целей, имеющую гармоничную логику декомпозиции от видения, миссии компании, через стратегию и стратегические цели к целям все более низкого уровня:

  • финансовым;
  • клиентским;
  • процессным и проектно-техническим;
  • целям бизнес-системы и потребностям персонала.

Как известно, традиционная методология BSC уделяет большее внимание как раз процессам, чем проектным задачам. Такое положение вещей долгое время было неизменным. В настоящее время сама архитектура постиндустриального бизнеса обретает все большую проектную ориентацию, поэтому возрастает потребность в локализации системы KPI применительно к проектам. Ниже представлены две схемы ретрансляции стратегии вниз до составов проектной реализации, которые отдельного пояснения не требуют.

Модель проектного блока сбалансированной системы показателей

Разделение проектов компании на два их основных видах в рамках BSC

Хотим мы этого или нет, но наши компании уже находятся в среде бизнеса новой эпохи. И если путь деградации и банкротства категорически неприемлем, альтернативы BSC нет. Самое интересное, что и размер бизнеса в последние годы для внедрения сбалансированной системы KPI не помеха, а трудности внедрения есть и будут. Тут, как всегда, важно само движение к полноценной модели, идеально никогда с первого раза не получается.

Мотивация персонала в проектах и KPI

Система показателей деятельности строится для целей управления посредством мотивирования персонала на решение задач циклического характера (процессов) и уникальных задач в условиях ограничений (проектов). В российской практике хозяйствования иногда приходится сталкиваться с ситуацией, когда менеджер проекта оказывается в растерянности из-за неясности вопросов, связанных с мотивацией не только членов его команды, но и его самого. Это одна из весомых причин срывов успешных начинаний.

Конечно, проектно-ориентированную систему мотивации персонала нужно тщательно разрабатывать и регламентировать. Ключевая роль здесь отводится директору по персоналу. При этом следует помнить, что все проекты уникальны не только по составу решаемых задач, но и по мотивационной конфигурации. Используя ключевые показатели эффективности, мотивировать нужно не только команду проекта и его менеджера. Данный вопрос следует решать и относительно проектного офиса, команд управления проектами и, иногда, куратора. Система KPI, мотивирующих участников проекта должна включать следующее.

  1. Цели ответственных работников и команд.
  2. Охват работников компании и сторонних участников.
  3. Срок действия мотивации.
  4. Критерии оценки, ее процедуры и ответственные лица за установление размера KPI.
  5. Регламентацию процедур взысканий и поощрений.
  6. Календарный регламент расчета KPI.
  7. Регламент формирования мотивационного бюджета.

Очень важно, чтобы с самого начала на уровне стратегии, инвестиционной и мотивационной политик была концептуально установлена политика компании в области мотивации персонала, занятого в проектной деятельности. В некоторых компаниях этого нет. Должен быть выделен бюджет на фиксированную часть стимулирования работников, привлекаемых к проектным мероприятиям, а также изысканы средства на премии за успешную их реализацию. В своей практике я всегда стремился добиваться от высшего руководства уровня премиального фонда в размере 30-40% от фиксированной части бюджета на эти цели.

Модель обеспечения информацией процедуры расчета KPI компании

Система бюджетного управления, СУП (система управления проектами) и система KPI находятся в тесном взаимодействии как с позиции бюджета мотивации персонала, так и с позиции информационного обеспечения расчетной базы показателей эффективности. Такое вполне естественно. Более того, во многих компаниях в комплекс бюджетного управления, помимо чисто финансовых планов и отчетов, интегрирована подсистема трудового, технического и других видов нормирования. В отдельных компаниях, напротив, нормативная система планирования полностью подменяет собой бюджетную и работает весьма результативно. Какая бы модель финансового регулирования не была избрана, я убежден, что названные три системы лучше всего внедрять и развивать совместно, потому что они – части целого.

KPI для проектно-ориентированного бизнеса

Напомним себе, что проектные задачи в организации делятся на две большие группы: внутрикорпоративные проекты развития и проекты контрактного типа, присущие природе бизнеса, имеющего проектный тип производства. В рамках настоящего раздела нас интересует второй тип организации, присущий бизнесу в сфере строительства, IT-разработок, мелкосерийного и штучного производства, консультационной деятельности. В этой связи интерес представляют примеры становления систем KPI для проектов компаний в названных областях.

Критериальный фундамент результативности и эффективности проекта формируется еще на этапе разработки устава проекта. Его составной частью служат факторы успеха (показатели успешной реализации), закладывающие основу для будущего состава KPI. С учетом основных функций управления, стадий проектной реализации, ее содержания, ограничений и рисков акцентируем внимание на трех предметных элементах «треугольника ограничений»:

  • «деньги» или бюджетные ограничения;
  • «сроки» или временные ограничения;
  • содержательные ограничения или «качество» проекта.

Эффективность проектов в основном определяется умелым оперированием этими тремя аспектами. Вокруг них и должна строиться система показателей. И по логике методологии BSC, и по здравому разумению бюджетные ограничения главенствуют для мотивации эффективности. За основу выработки соответствующих KPI целесообразнее принять метод освоенного объема (EVM). Целью выработки показателей данной группы является определение соответствия фактически выполненной работы плановым объемам в рамках бюджета.

Состав показателей EVM, служащие основой для KPI проекта

Ключевые показатели эффективности, сформированные на основе методологии EVM, хорошо применимы на практике с использованием распространенного MS Project. Например, наиболее доступный показатель – нормативное значение CV- отклонение по стоимости показывает, укладывается менеджер проекта в выделенный ему бюджет средств или нет. Также мы можем выделить практикуемые KPI из разряда индексов, среди которых для целей бюджетных ограничений используется показатель CPI. Он дает относительную оценку эффективности использования ресурсов.

Эффективность реализации проекта по временному параметру характеризуется показателями SV и SPI. Отклонение от графика может исчисляться в денежных единицах или единицах времени в зависимости от принятой логики измерения. Это в той же мере касается и индексного показателя. Рассматривая вопрос о содержательных показателях, нельзя не учесть потребность прохождения вех проекта в срок. Пока говорить о развертывании полноценных BSC в рамках отдельных проектных задач не приходится, но поэлементно идет развитие таких систем по традиционным составляющим:

  • клиенты;
  • процессы;
  • системы и персонал.

Проект продуктовой новации и KPI

Опишу реальный пример проекта внедрения новой услуги «N» в компании среднего уровня, но с достаточно развитым менеджментом. Кадровая и мотивационная политики компании предполагают выделение мотивационных бюджетов на реализацию проектов развития. Проектного офиса в компании нет, но действует администратор проектов, который помогает нескольким кураторам из числа высшего руководства и менеджерам проектов из числа функциональных руководителей и высококлассных специалистов. Монетарной мотивации кураторов нет, поскольку они завязаны на финансовые результаты деятельности и неденежные KPI из состава корпоративных стратегических карт.

В рамках проектной регламентации выполнены работы по концепции и уставу проекта. Критерии оценки успешности проекта разработаны и согласованы между куратором и PM. В их составе предусмотрены следующие позиции.

  1. Сдача полностью освоенной услуги «N» в промышленное производство к сроку А в рамках утвержденного бюджета Y.
  2. Валовая выручка от оказания услуг «N» к сроку В за период с момента запуска проекта – F тысяч рублей.
  3. Маржинальная прибыль к сроку В – G тысяч рублей.
  4. Выход на окупаемость к сроку С.
  5. Финансирование проекта обеспечено в рамках утвержденного бюджета Y.
  6. 85% специалистов I и II квалификационной категории сдали зачет и аттестованы на право оказания услуги «N» клиентам компании к сроку D.
  7. Широта применения услуги «N» специалистами I и II квалификационной категории к сроку E не менее 70%.
  8. К сроку L число обращений в компанию по услуге «N» достигло значения P обращений в месяц.
  9. Число жалоб клиентов по бизнес-направлению снизилось до уровня Х к сроку T.

Обратите внимание, ряд критериев имеют природу вех. Многие из перечисленных параметров уже по сути являются KPI, которые вполне можно применять для мотивации работников, занятых на проекте. Я не рекомендую использовать большое число показателей для стимулирования персонала проекта. Для нашего примера на уровне PM я оставил бы два KPI (пункты 1 и 3), а остальные распределил бы между ответственными исполнителями. Но общее число «зарплатных» показателей снизил бы до пяти.

Модель зависимости параметров управления проектом от количества показателей

Причина заключается в требованиях экономности и непротиворечивости системы мотивации персонала, привлекаемого в проект. Сотрудники, входящие в проектную команду, одновременно выполняют работы на своих функциональных местах. Об этом следует помнить.

В настоящей статье мы затронули весьма интересные вопросы. Чувствую потребность еще неоднократно вернуться и к вопросу о целостном характере BSC проекта, и к отраслевым решениям в данной сфере. Совершенно не удалось поразмышлять на тему трансляции вниз корпоративных целей, через цели проекта на ключевые показатели эффективности. И поскольку развитие проектной доктрины управления далеко не исчерпано, а «белых пятен» еще целое множество, я уверен, что данный материал о проектной мотивации – это только начало.

Продолжаем серию материалов, посвященную KPI топ-менеджеров, отвечающих за разные функционалы внутри компании. Теоретическая основа метода KPI была изложена в предыдущих публикациях, поэтому в настоящей статье даются лишь минимальные пояснения, способствующие быстрому пониманию материала. Обращаем внимание на то, что все приведенные примеры не могут быть использованы на практике без соответствующей адаптации к конкретным условиям реального предприятия.

Для начала остановимся на том, что такое проект. Согласно определению из основополагающей книги по методологии управления проектами PMBOK (PMI стандарт) проект – это временная последовательность работ, приводящая к созданию уникального продукта, услуги или результата .

Вся деятельность предприятия состоит из проектов и процессов. Отличие между этими двумя видами деятельности заключается в результате. В проекте результат уникален, в процессе – цикличен, воспроизводим. Именно уникальность результата и выводит менеджеров проектов в особую категорию наемных работников, населяющих бизнес-пространство.

По сути, основная задача всех менеджеров проектов состоит в том, чтобы обеспечить достижение уникального результата при ограниченных ресурсах (временных, материальных и человеческих). Решение такой задачи подразумевает как предпринимательский, так и собственно менеджерский, управленческий аспект. Несмотря на известное утверждение поэта по поводу того, что «в одну телегу впрячь не можно коня и трепетную лань» , менеджеры проектов именно этим в основном и занимаются – сводят воедино несводимое, организуют все плохо организованное и твердой рукой ведут проекты к успешному завершению.

Должность менеджера проекта подразумевает наличие многих компетенций, в частности, умение планировать и руководствоваться планом в своих действиях наряду с пониманием того, что жизнь гораздо богаче представлений о ней, и готовностью вносить нужные изменения. Ему крайне необходимо «дружить» с цифрами, чтобы свести все нечетко сформулированные ожидания заказчика от реализации проекта к конкретным учитываемым критериям и показателям. Кроме того, менеджер проекта должен быть тонким психологом. В проектной команде часто требуется присутствие совершенно разных специалистов, которым порой отнюдь не просто понять друг друга. Именно перед менеджером стоит задача не только подобрать команду и мотивировать всех ее членов на выполнение конкретных профессиональных задач, но и организовать такое взаимодействие между ними, чтобы продвинуть проект вперед, а не завести в тупик.

Хорошие менеджеры проектов стоят дорого и крайне редко оказываются свободными на рынке труда. Даже во времена кризиса они оставались востребованными и высоко оплачиваемыми профессионалами.

Как уже отмечалось, проектная деятельность, будучи частью общей деятельности организации, одновременно является и агентом изменений. Уникальность успешного результата предполагает перенастройку всей системы управления таким образом, чтобы сделать удачный «пробник» частью повторяемой, цикличной работы предприятия, то есть встроить результаты проекта в процессы компании.

Для чего, вообще, предприятие осуществляет свою деятельность? Даже без учета таких понятий, как «миссия», «видение» и «стратегия», понятно, что владелец любого бизнеса желает, чтобы его предприятие приносило ему хороший гарантированный доход в виде прибыли. Результаты деятельности должны оправдать затраченные владельцем бизнеса силы и средства, а также обеспечить ему достаточное благополучие для того, чтобы он и дальше хотел вкладывать их в свое предприятие .

Таким образом, каждому менеджеру требуется не только обеспечить ведение проектной деятельности до достижения результата, но и удержаться в рамках плана и бюджета проекта, несмотря на непредсказуемость обстоятельств (отдельно закладываемую в бюджет в виде просчитанных рисков) и прочее «сопротивление материала». Кроме того, проекты могут быть разными, не все из них подразумевают получение компанией необратимой прибыли. Например, инвестиционные проекты предполагают отдачу через определенное время после достижения основного результата. Однако реализация большинства проектов в коммерческих организациях имеет целью получение прибыли . В связи с этим основными целями, за которые обычно отвечает менеджер проекта, являются:

Из задач, стоящих перед менеджером проекта, вытекают ключевые показатели, измеряющие эффективность его деятельности.

Обычно в расчетную схему менеджера проекта входят следующие KPI:

  • прибыль;
  • размер отклонений от плана и бюджета проекта;
  • размер просроченной дебиторской задолженности, если перед менеджером стояла задача продать продукцию, созданную в результате реализации проекта

KPI прибыли зачастую является так называемым стоп-фактором в общей схеме. Если не удастся достигнуть его планового значения, это приведет к отсутствию или существенному сокращению бонусов за выполнение других KPI.

Итоговый бонус менеджера проекта равен сумме бонусов по каждому из KPI. При этом бонус в целом начисляется, если получен KPI, являющийся стоп-фактором (в данном случае прибыль). Если этот KPI не получен, бонус не начисляется, независимо от достижения остальных KPI.

Сумма бонуса по KPI Бi определяется следующим образом:

Бi = БФ х Вi х min (KPIфакт. / KPIплан.; 1) + ВП, где

БФ – бонусный фонд сотрудника;
Вi
– вес показателя в системе показателей сотрудника;
KPIфакт. – фактическое значение KPI;
KPIплан. – плановое значение KPI;
ВП – вознаграждение за перевыполнение.

Бонус по KPI начисляется, если процент выполнения по KPI превышает пороговое значение (ПЗ) и если выполнен общий KPI.

Размер бонуса зависит от процента выполнения установленного KPI и веса KPI в системе показателей.

PMBOK – project management body of knowledge – регулярное периодически обновляющееся издание. В настоящее время имеется четвертая версия, перевод которой на русский язык см. на форуме: microsoftproject.ru

Пушкин А.С., поэма «Полтава»

Имеются в виду коммерческие предприятия. В государственных компаниях и общественных организациях критерии успешности работы иные. В данной статье они не рассматриваются во избежание расфокусированности.

Обычно ожидаемая отдача измеряется через ROI – return on investment – показатель того, когда и в каком объеме инвесторам стоит ждать возврата вложенных средств до выхода «в ноль» (полного возврата вложенных средств) и далее – генерации прибыли (получения большего, чем было вложено). Понимание ROI очень важно с точки зрения приоритетов вложений. Так, на первый взгляд, может показаться, что приобретение несколько квартир в Москве с целью их дальнейшей сдачи в аренду могло бы быть неплохим вложением средств. Однако текущая ситуация на рынке жилой недвижимости в Москве такова, что компенсировать вложения в покупку (вернуть потраченные средства – с учетом инфляции, курсовой разницы и прочих факторов, влияющих на абсолютный размер денежных средств) можно только через несколько десятков лет, если на этом рынке не произойдет кардинальных изменений (но и они, скорее, удлинят срок возврата инвестиций, ибо стоимость жилья в Москве сильно завышена по сравнению с сопоставимым жильем в других цивилизованных странах и городах. Менеджер, занимающийся жилой недвижимостью, обязан хорошо знать все особенности рынка, чтобы не разочаровать инвесторов.

Прибыльность проекта настолько важна для коммерческих организаций, что в случае большого количества форс-мажорных обстоятельств, резко удорожающих проект, менеджер может принять решение о прекращении проекта, и это окажется гораздо более эффективным, чем его продолжение любой ценой. К сожалению, в государственных структурах отношение к деньгам другое, поэтому появляются длящиеся десятилетиями проектные монстры, порождающие долгострои, оборачивающиеся брошенными объектами, если финансирование убыточных работ все же прекращается. Пример тому – здание Академии Аганбегяна, уже лет тридцать сверкающее остатками осыпающихся голубых стекол, на юго-западе Москвы. Еще один пример постоянного закапывания проектных средств в землю – долгие и упорные попытки разных администраций России развить депрессивный район между двумя столицами – Москвой и Санкт-Петербургом. Скоростные магистрали, фермерские хозяйства для отставных военных, поселки переселенцев из бывших союзных республик – все это прожекты, привлекшие миллиардные вложения, но не давшие сколько-нибудь ощутимого результата, кроме запуска скоростного «Сапсана», и то с большим количеством ограничений. «Засада» понятна: два мегаполиса, как два гигантских пылесоса, выдувают население с прилегающих территорий, делая нереальным равномерное заселение этой зоны. Постоянный дефицит трудовых ресурсов в обеих столицах гарантированно обезлюдит все «потемкинские деревни»

Бюджет проекта основан на нормативной рентабельности, но МП часто специально замотивирован Заказчиком на сокращение расходов, чтобы достичь запланированного результата меньшей ценой.

Эта цель появляется у тех МП, которые ведут выраженные коммерческие проекты, предполагающие не только разработку и создание продукта, но и его реализацию потребителю.

Марина Вишнякова,
"Справочник по управлению персоналом"

Чтобы оценить работу руководителя, можно внедрить в компании такую систему, как KPI. Она уже хорошо себя зарекомендовала на Западе и вот уже несколько лет успешно применяется в России. Система может быть использована как в малом, так в среднем и крупном бизнесе. С ее помощью можно определить слабые звенья в работе компании и выстроить долгосрочную стратегию развития. Работа топ-менеджеров является одной из важнейших составляющих успеха, и мы рассмотрим, как измеряется KPI руководителя.

Некоторые особенности

Важно, чтобы поставленные перед управленцем задачи было реально выполнить. Если требования будут завышены, то менеджер может просто сразу опустить руки. Чтобы точно оценить достижения руководителя, нужно взять временной отрезок, равный одному году. Это оптимальный срок, за который сотрудник может себя проявить и добиться улучшений показателей. Правильнее всего сочетать личные показатели с общими, таким образом картинка будет куда объективнее. Под общими показателями понимаются те данные, которые показывает отдел. И, чем выше уровень управленца, тем важнее именно общие показатели для оценки его работы.

KPI – это всегда конкретные значения, выраженные в цифрах. Но брать сразу много индикаторов не стоит, иначе результат получится размытым. Лучше всего ориентироваться на 5 показателей – это количество является оптимальным, по мнению экспертов.

Уровни достижений

Для высшего звена устанавливаются определенные уровни достижений:

  1. Минимальный порог, ниже которого начисление бонусов уже не идет.
  2. Целевой – планка для выплаты бонусных денег.
  3. Превышающий. Если управленец превышает целевой порог, то ему начисляют в качестве поощрения повышенную премию.

Для руководителя отдела показатели могут быть, например, такими:

  • Как выполняется поставленный план.
  • Как соблюдается отчетность по документам и поддерживается дисциплина в отделе.
  • Насколько эффективно работают сотрудники.

Причем для руководителей разных отделов должны устанавливаться свои индикаторы эффективности, которые соответствуют направлению работы подразделения. Например, одни менеджеры занимаются персоналом, а другие – продажами. Для этих людей, естественно, показатели будут различаться.

В итоге

От эффективности работы менеджеров высшего звена зависит благополучие всей компании. Поэтому владельцу выгодно ввести систему KPI, чтобы следить за работой своих управленцев и выявлять все их недочеты. Из этого делаем вывод, что KPI руководителя проекта – это очень важная вещь.

Здравствуйте! В этой статье мы поговорим о системе KPI.

Сегодня вы узнаете:

  1. Что такое KPI.
  2. Как рассчитать этот показатель.
  3. Как внедрить систему KPI на предприятии.
  4. О плюсах и минусах данной системы.

Что такое KPI простыми словами

KPI - это коэффициент, определяющий эффективность работы того или иного предприятия: насколько оно удачно функционирует, достигает ли поставленных целей.

Расшифровка этой аббревиатуры выглядит следующим образом - Key Performance Indicators, что на русский принято переводить как «ключевые показатели эффективности».

Если переводить дословно, то слово «key» означает «ключевой», «существенный», «indicators» - «показатели», «индикаторы», а вот со словом «performance» возникают трудности при переводе, поскольку здесь его сложно трактовать однозначно. Существует стандарт, который дает наиболее правильный перевод этого слова, разделяя его на два термина: эффективность и результативность. Эффективность показывает, как соотносятся затраченные средства и достигнутые результаты, а результативность - в какой степени компании удалось достигнуть того результата, который был намечен.

Стало быть, KPI правильнее переводить как «ключевой показатель результата деятельности». Выражаясь простыми словами, так сказать, для чайников, можно заметить, что эта система помогает разобраться, какие меры нужно принять для улучшения эффективности. Эффективность же охватывает все действия, произведенные за установленный временной отрезок, а также пользу, полученную предприятием от каждого отдельно взятого работника.

Индикаторы KPI бывают следующие:

  • KPI производительности - показывает соотношение затраченных денежных и временных ресурсов с достигнутым результатом;
  • KPI затрат - показывает, сколько задействовано ресурсов;
  • KPI результата - иллюстрирует полученный в ходе выполнения задач итог.

Потому как данная система не является простой для внедрения, следует придерживаться определенных правил и принципов, которые могут стать незаменимыми помощниками при переходе на KPI:

  1. Правило «10/80/10». Оно гласит, что компания должна определить 10 ключевых индикаторов результативности, 80 производственных индикаторови 10 индикаторов эффективности. Не рекомендуется использовать намного больше индикаторов KPI, потому что это чревато перегрузкой менеджеров лишней ненужной работой, а руководители непременно озаботятся выяснением причин невыполнения показателей, мало сказывающихся на результативности вообще.
  2. Согласование производственных показателей и стратегического плана. Индикаторы производственной деятельности не имеют никакого значения, если они не соотнесены с нынешними критическими факторами успеха (КФУ), объединенными в сбалансированную систему показателей (ССП), и .
  3. Управляемость и контролируемость. Каждому подразделению компании, отвечающему за свой показатель, необходимо предоставлять ресурсы для его управления. Результат же должен контролироваться.
  4. Интеграция процессов оценки показателей, отчетности и повышения производительности. Необходимо ввести порядок оценивания показателей и отчетности, который подтолкнет сотрудников к требуемым конкретным действиям. С этой целью должны проводиться отчетные собрания для рассмотрения решаемого вопроса.
  5. Партнерство. Чтобы небезуспешно повышать производительность, стоит обеспечить партнерские отношения между всеми вовлеченными сотрудниками. Поэтому способ внедрения новой системы нужно разрабатывать вместе. Это позволит всем понять, в чем плюсы нововведений, а также убедиться в необходимости перемен.
  6. Перенесение усилий на главные направления. Чтобы повысилась производительность, нужно расширить полномочия специалистов: помочь в , предложить разработать собственные KPI, обеспечить проведение тренингов.

Как рассчитать KPI

Пункт 1. Чтобы рассчитать KPI, необходимо выбрать от трех до пяти показателей эффективности, которые будут критериями оценки специалиста. Например, для интернет-маркетолога они могут быть следующими:

  1. Численность посетителей сайта, привлеченных специалистом.
  2. Цифра, которая показывает, сколько покупок сделали клиенты, которые уже ранее обращались в компанию.
  3. Число похвальных рекомендаций, откликов клиентов в соцсетях или на сайте организации после покупки товара или услуги.
  1. новые заказчики - 0,5;
  2. покупатели, сделавшие повторный заказ - 0,25;
  3. положительные рекомендации - 0,25.

Пункт 3. Теперь необходимо проанализировать данные по всем выбранным индикаторам за последние полгода и составить план:

KPI Исходное значение (среднемесячные индикаторы) Плановое значение
Прирост новых заказчиков 160 Увеличение на 20%, или 192 новых заказчика
Доля заказчиков, совершивших повторную покупку 30 Увеличение на 20%, или 36 повторных покупок
Доля заказчиков, написавших позитивный отклик, рекомендацию 35 Увеличение на 20%, или 42 отзыва

Пункт 4 . Следующий этап - вычисления в Excell KPI-показателей. Необходимо воспользоваться формулой расчета KPI: индекс KPI = Вес KPI*Факт/Цель.

Ключевые индикаторы (вес KPI) Цель Факт Индекс KPI
KPI 1 (0,5) 20% 22% 0,550
KPI 2 (0,25) 20% 17% 0,212
KPI 3 (0,25) 20% 30% 0,375
Коэффициент результативности 1,137
113,70%

Здесь цель - это показатель, которого должен достичь работник согласно плану, а факт - это то, что он наработал в реальности. Итоговый показатель равен 113,70%, это хороший результат, однако, если рассмотреть таблицу подробнее, то можно увидеть, что маркетолог выполнил плановые нормативы не до конца.

Пункт 5. Рассчитываем заработную плату. Будем основываться на том, что общий заработок маркетолога насчитывает 800$, из которых постоянная часть (оклад) - 560$, а переменная (премиальная) - 240$. За стопроцентный индекс работнику полагается оклад и полная премия, но из-за того, что план перевыполнен, маркетолог получит дополнительные бонусы в размере 13,7% от премиальной части, то есть 32,88$. В итоге зарплата работника составит 560$+240$+32,88$=832,88$.

А вот когда сотрудник не выполняет план, и показатель его эффективности ниже 99%, то размер премии пропорционально сокращается.

С помощью таких расчетов и составления таблицы можно увидеть те проблемы и сложности, с которыми сталкивается интернет-маркетолог.

Низкие показатели могут быть связаны с тем, что план составлен неправильно или сама стратегия повышения лояльности неверна. Проблемный участок нужно контролировать, и, если дела со временем не улучшатся, то правильным выходом из ситуации будет изменение показателей эффективности.

Благодаря такому подходу формируется понимание принципа действия KPI. Ориентируясь на цели, расчет можно дополнять новыми значениями. Это может быть система штрафов, число решенных и нерешенных задач и многое другое. Например, если работа по плану сделана менее чем на 70%, сотрудник не получит премию совсем.

Имеется еще альтернативный способ расчета зарплаты относительно процента выполнения плана:

Индекс KPI Коэффициент премии
Ниже 70% 0
70 — 80% 0,6
80 — 89% 0,7
90 — 95% 0,8
96 — 98% 0,9
99 — 101% 1
102 — 105% 1,3
106 — 109% 1,4
Более 110% 1,5

KPI на практике

KPI-показатель эффективности используется практически всеми компаниями, которые занимаются прямыми продажами. Рассмотрим кое-какие примеры для менеджера по продажам. Взяв на вооружение утвержденные ключевые индикаторы, он увидит ясную картину своей деятельности: ему станет понятно, сколько товара нужно продать, чтобы выйти на определенный доход, какие .

Для страхового консультанта, который является новичком в своей профессии, оптимальным показателем эффективности будет 1/10: чтобы продать один страховой полис, нужно встретиться с 10 потенциальными покупателями.

Существует также KPI результата, например, «число новых клиентов не ниже n», «объем продаж не ниже n» и т. п. Эти индикаторы персональные, и лучше, когда их количество меньше 5, а главное - они должны быть легко измеримы и четко сформулированы.

Помимо мотивации сотрудников, руководители компании используют KPI в качестве инструмента для анализа работы своих подчиненных.

Эта система позволяет четко увидеть пробелы в деятельности и на каком этапе они возникли. Например, начальник отслеживает клиентскую базу менеджера, какое количество звонков и встреч делает работник. Если эти показатели выполняются в достаточном объеме, но продаж мало, можно сделать вывод, что у сотрудника не хватает определенных знаний, навыков или личностных качеств для успешной работы.

KPI и планирование на предприятии

Показатели KPI могут применяться при планировании и контроле деятельности. После того как работа была проделана, измеряются фактические показатели, и, если они серьезно отклоняются от плановых не в лучшую сторону, то производится анализ и корректировка дальнейшей деятельности. Поскольку все показатели «продиктованы» реальным процессом, а не выдуманы самостоятельно, такое планирование будет способствовать достижению необходимых целей организации.

Как мотивировать персонал на выполнение KPI

Благодаря применению системы KPI, при оплате труда фиксируются плановые и фактические показатели.Это дает руководителю ясное понимание того, как мотивировать сотрудника и за что. Сотрудник при этом тоже четко видит плюсы и минусы своей работы и осознает, какие действия могут принести ему вознаграждение, а за что полагается взыскание.

Например, страховой консультант продал большее количество страховых полисов, чем было запланировано, и расширил клиентскую базу множеством новых клиентов. Таким образом, он перевыполнил план и дополнительно к своей зарплате получит бонус в виде премии. С другой стороны, если этот же менеджер продал полисов гораздо меньше, чем было намечено планом, он может вовсе лишиться премии и получить «голый» оклад, ведь его личные показатели будут низкими.

Однако, мотивировать сотрудников можно не только деньгами.

За выполнение показателей можно наградить интересными тренингами, оплаченными компанией, внеплановыми выходными, подарками и другими «пряниками», которые вдохновят работника не хуже, чем деньги. Но в данном случае зарплата сотрудника всегда фиксированная, а согласно системе KPI, ведется расчет баллов, которые сотрудник может обменять на желаемые бонусы.

Чтобы составить KPI для сотрудников, нужно ориентироваться на общую для всех сотрудников цель и сильную мотивацию. Работа в команде заинтересованных специалистов как часовой механизм способна в короткие сроки привести компанию к достижению всех поставленных целей.

В каких случаях KPI не нужен

В молодой компании, которая только начала свое существование, вводить систему KPI нецелесообразно. Система управления здесь еще не сформировалась, а успешное развитие обусловлено работой генерального директора. Чаще всего он же выполняет функции специалистов по финансам и по кадрам.

А также не стоит внедрять KPI в тех подразделениях, которые из-за этого могут отрицательно повлиять на остальные отделы фирмы. Например, IT-служба, представители которой должны решать поставленные перед ними проблемы (ремонт офисной техники) в кратчайшие сроки. Ведьбывает так, что у одного из сотрудников вышел из строя компьютер, и работа остановилась, а от работы этого сотрудника зависит весь отдел.

Если же зарплата айтишника вычисляется по системе KPI, то он не пойдет сразу работать. Сначала необходимо составить заявку на устранение поломки. Эту заявку должен одобрить старший специалист IT-отдела, после чего задача ставится в очередь на реализацию и ждет рассмотрения.

В итоге задача, требующая 5 минут на выполнение, отнимает гораздо больше времени, на протяжении которого работа всего отдела, где сломался один компьютер, не движется вообще.

Именно поэтому внедрять систему KPI полезно с умом, в противном случае она способна сильно навредить.

Ошибки при внедрении KPI

Наиболее распространенной ошибкой является введение KPI для одной лишь статистики.

В конечном счете получается, что индикаторы одного подразделения не имеют никакой связи с индикаторами другого.

Например, службе снабжения одного предприятия необходимо было сократить расходы. Поэтому, чтобы получать сырье со скидкой, работники приобретали его в больших объемах, а также закупали товар с браком. Это привело к переполненности складов, заморозке финансов в сырье, что перекрывало все плюсы.

Тем временем производственный отдел имел свой приоритетный показатель - коэффициент загрузки производственного оборудования. Для эффективного использования времени сотрудники производили в больших количествах некоторую продукцию, чтобы экономить ценные минуты на переоборудовании станков. Но от этого неминуемо страдало выполнение плана по продажам коммерческим отделом, ведь отсутствовал необходимый ассортимент, и в конкретный отрезок времени клиент мог приобрести только товар одного вида.

В итоге сложилась ситуация, когда каждый тянет одеяло на себя, а цели не достигает никто. Результат свелся к нулю, и вся работа была сделана напрасно.

Еще одна распространенная ошибка - это фокусирование внимания исключительно на материальных показателях, которые являются результирующими: уровень продаж, доход и проч. Однако, только когда ключевые показатели имеют не финансовый, а упреждающий характер, можно достигать целей гораздо эффективнее.

Например, сколько звонков должен сделать менеджер по продажам, сколько встреч провести, сколько заключить договоров, чтобы добиться того самого результирующего KPI? Именно на основе таких нефинансовых факторов должна строиться система мотивации сотрудников, а на финансовые должны ориентироваться непосредственно руководители отделов.

А также серьезным промахом будет ситуация, когда не обозначены лица, ответственные за тот или иной показатель. Например, порядок поощрений не подразумевает премиальные выплаты или их урезание руководителем за выполнение или невыполнение плана. В таком случае начальник не может отвечать за действия подчиненных, ведь он не имеет никакой возможности оказывать на них влияние.

Плюсы и минусы от внедрения системы KPI

Работа по системе KPI имеет много преимуществ:

  • Установлено, что в компаниях с такой системой сотрудники работают на 20 — 30% эффективнее.
  • Специалисты будут четко понимать, какие задачи являются первоочередными и как их выполнить.
  • При грамотно внедренной системе показателей существенно облегчается контроль деятельности компании, благодаря чему проблемы обнаруживаются уже на этапе их возникновения и решаются, не успев нанести вред.
  • При расчете заработной платы действует принцип справедливости: тот, кто работал старательно, получает больше. Это позволяет организации удерживать ценные кадры.
  • Фонд оплаты труда становится средством мотивации персонала, а не основным источником расходов.

Есть у системы KPI и недостатки. В первую очередь минусом является то, что на внедрение тратится много времени и сил, ведь все показатели нужно детально прорабатывать. Скорее всего, нужно будет переобучать сотрудников, разъяснять им информацию об изменении условий труда и новых задачах.

Однако, основной недостаток состоит в том, что эффективность в итоге оценивается не всегда корректно. Этого можно миновать, если на этапе разработки системы безупречно сформировать критерии, по которым будет производиться оценка кипиай.


Top