Точность оценок

Aclear16, отвечая на другой вопрос, упомянул понятие точности оценок . На мой взгляд, это понятие бессмысленно; впрочем, мы часто говорим об этом в кругах ПМ.

На обучающем курсе по оценке, который я вел, я хотел продемонстрировать влияние случайной изменчивости на проекты, результаты, которые возникают вторично по отношению к множеству переменных, которые мы практически не можем контролировать. Для этого я буквально, с часами, отслеживал свое время от двери до двери, приход и уход, мои поездки на работу и с работы больше года. Я нарисовал результаты:

введите описание изображения здесь

(Да, я ненавижу ездить на работу.)

Итак, если поездка на работу была проектом, и я хотел точно нацелиться, используя эти исторические данные в качестве входных данных для нашего оценочного упражнения, где живет точность?

Если я выберу «65» минут, немного более пессимистическую цель по сравнению с РЕЖИМОМ, и я получу 75 минут, будет ли моя оценка «неточной»? И наоборот, если я планирую в «80» и прихожу в «50», это тоже не точно?

Итак, вот главный вопрос: что означает точная оценка?

(Это вопрос, на который на самом деле нет ответа и который, вероятно, нарушает правила; тем не менее, я надеюсь, что мы сможем принять его во внимание, поскольку я считаю, что это ценно для понимания очень важного процесса в управлении проектами. Я надеюсь, что некоторые хорошие критические мысли и обсуждение последует. Спасибо aclear16 за это!)

Можете ли вы дать ссылку на другой вопрос в этом?
Я бы сделал, если б мог. Понятия не имею, как. Кто-то еще?
Можете дать ссылку на него? Я отредактирую его. Я просто не уверен, на какой ответ Aclear16 вы ссылаетесь.
Это 40-часовая рабочая неделя....
Привет @DavidEspina и всем, у кого есть вопросы по редактированию, загляните в раздел справки по редактированию, чтобы получить советы по разметке..... Кроме того, отличный вопрос +1!

Ответы (7)

Итак, вот главный вопрос: что означает точная оценка?

Для меня точная оценка подобна единорогу: его ищут, любят иметь дома, а на самом деле его нет. :-)

Вместо точности я обычно использую вероятность и сосредотачиваюсь на определенности. При расчете вероятности я использую идею распределения времени выполнения заказа из Канбана (создайте гистограмму времени выполнения заказа и выберите самое длинное из них). Используя его на вашем примере, это даст 87 минут. Это оценка. Конечно, проект можно закончить и раньше, но именно эту дату я могу назвать заказчику с наибольшей уверенностью на данный момент.

Есть важная вещь: срок действия данных истекает . Итак, когда мы используем данные для оценки, нам нужен другой метод, который сортирует просроченные данные. Например, данные за > 70 минут были собраны, когда в вашем районе проводилась крупная реконструкция дороги. Сейчас все кончено, так что изъятие этих данных — хороший ход.

Есть ли опасность или штраф в предоставлении или нацеливании на самое длинное время выполнения заказа, например, 87 минут в этом примере?
Постоянная ориентация на максимальное время выполнения заказа побуждает вашу команду никогда не подталкивать себя, возможно, увеличивает ваши расходы и, как правило, не является хорошей идеей. Я считаю, что это так же вредно, как постоянно выбирать кратчайшее время выполнения заказа. Крайности обычно не являются хорошими целями.
@aclear16 для меня постоянное совершенствование на первом месте - с культурой - и его результат отражается в оценке.
@DavidEspina опасность, о которой я знаю, - это потеря рынка. Если я выберу 87, а конкуренты предложат, например, 67, люди выберут 67. Даже если выпуск 67 несколько раз откладывался, они останутся на нем (не откажутся от своих вложений) и не придут. за мои 87. Если я даю 66, я подвергаю свою компанию риску, потому что мне приходится самостоятельно финансировать дополнительные усилия, вызванные 87-66. И мы добрались до темы управления рисками.
@Zsolt: Можете ли вы уточнить, что вы подразумеваете под «непрерывным улучшением на первом месте?» Как, если вообще, вы способствуете этому, выбирая самое длинное время выполнения заказа? Кроме того, вы имеете в виду постоянное совершенствование вашего персонала или постоянное совершенствование вашего проекта?

Итак, для начала, вот цитата из другого поста, на который, как я полагаю, вы ссылаетесь:

«... чтобы повысить точность наших оценок».

Это не означало, что можно когда-либо надеяться на получение совершенно точной оценки (что является почти оксюмороном). Это не мешает нам попытаться добраться туда. Много литературы, систем управления проектами и обучения посвящено идее повышения точности оценок. Черт возьми, я даже изучал это в колледже в контексте математической оценки.

Итак, вот главный вопрос: что означает точная оценка?

Возвращаясь к обсуждаемому вопросу, я считаю, что точная оценка относится к оценке, которая находится в пределах допустимой ошибки от истинного значения. Количество допустимой ошибки, очевидно, зависит от контекста. Я пытался подойти к этому вопросу, когда сказал, что проект должен иметь очень жесткие краткосрочные сроки и повышенную гибкость для более отдаленных сроков.

Этот вопрос поднимает очень хороший вопрос; временами язык полностью подводит нас. Многие ответы предпочтут тот или иной термин точной оценке, но все они пытаются уловить по сути одну и ту же идею. И, по всей вероятности, ни один из них не сможет полностью объяснить идею каждому, кто их услышит.

Точная оценка, скорее всего, будет диапазоном. Я думаю, что многие люди путаются между точным и точным, а числа (особенно ниже 1000) по своей сути создают ложное ощущение точности. Так, например, учитывая приведенные выше данные, я бы, вероятно, ответил на вопрос диапазоном, используя стандартное отклонение для создания диапазона. Насколько далеко я зашел, вероятно, зависело от риска, связанного с фактическим пребыванием за пределами диапазона. Для большинства вещей диапазон, превышающий 2 стандартных отклонения, дает примерно 95% точности, что обычно является приемлемым. Если вам не нравится нижняя граница диапазона, вы всегда можете также поставить пару баллов на верхней границе (я примерно на 70% уверен, что это сделает X, на 95% уверен, что это сделает Y, и На 99% уверен, что это сделает Z).

Во-первых, я отвечу на ваш вопрос технически, а затем я обсужу соображения и последствия управления проектом.

Оценки и точность - статистический фон

Время, необходимое для реализации проекта, до закрытия проекта является статистическим распределением из-за рисков проекта.

Вы можете получить различные числа или оценки из этого распределения. Например, вы можете вычислить статистическое ожидание («среднее» или «среднее» время) распределения.

Точность оценки hatt измеряется такой метрикой, как ошибка t-hatt, где t — фактическое время, затраченное на проект, значение, которое известно только по завершении проекта.

Вы не можете гарантировать точную оценку до закрытия проекта. Что вы можете сделать, так это минимизировать статистическое ожидание ошибки. Если вы знаете распределение, статистическое ожидание времени, E(t), дает вам то, что называется несмещенной оценкой, потому что E(E(t) - t) = E(E(t)) - E(t) = 0 (т.е. средняя ошибка равна нулю). Все остальные оценщики будут смещены — у них будет ненулевая ожидаемая ошибка, — но они могут обладать и другими желательными свойствами.

Последствия управления проектом

Оценки времени и затрат полезны в управлении проектами по нескольким причинам, но важно, чтобы ими не злоупотребляли. Для многих из этих приложений несмещенная оценка не является наиболее подходящей.

Некоторые ключевые способы использования оценок времени и затрат в проектах:

  1. Помощь исполнительному и программному или корпоративному руководству решить, существует ли постоянное экономическое обоснование для проекта. Например, проект, который стоит слишком дорого или занимает слишком много времени, может не стоить того.
  2. Распределение ресурсов, которые необходимо заранее правильно спланировать. Например, после выполнения определенных задач могут потребоваться члены группы специалистов или оборудование, и их необходимо заказывать заранее. Если они забронированы слишком рано, бронирование необходимо будет отменить, иначе они будут сидеть без дела. Если они забронированы слишком поздно, проект займет больше времени, чем необходимо. Это также включает мероприятия по планированию, такие как вечеринки в честь запуска или мероприятия для СМИ, которые не всегда можно изменить.
  3. Оптимальное упорядочивание задач, исходя из оценок их стоимости и продолжительности.

Для разных приложений подходят разные оценщики; нет одной оценки, чтобы управлять ими всеми.

При сообщении времени и стоимости проекта заинтересованным сторонам недостаточно просто сообщить объективную оценку; вместо этого гораздо лучше убедиться, что риски точно переданы (например, через Реестр рисков и Стратегию управления рисками) и одобрены, чтобы соответствующие заинтересованные стороны знали о распределении, которое может занять проект с точки зрения времени. и стоимость.

Что касается утверждений, в идеале руководитель проекта должен стремиться к тому, чтобы ему были даны допуски для переменных проекта, таких как риск, стоимость, время и объем. Менеджер проекта должен стремиться оптимизировать проект, но иметь разрешение на повышение допусков в новых прогнозах без необходимости получения дальнейшего одобрения. Это намного лучше, чем работать с одной оценкой или иметь непредвиденные обстоятельства, не определяя, как их можно использовать.

Четко принимая во внимание риск, можно принять во внимание склонность организации к риску. Например, предположим, что проект не достигнет своих целей и принесет убытки, если ваша поездка на работу займет более 70 минут. В этом случае велика вероятность того, что проект потерпит неудачу. Для некоторых организаций ожидаемые выгоды могут перевесить риск неудачи, но для других этого не произойдет. Простое использование непредвзятой оценки не дало бы этого.

Что касается сортировки ресурсов, то конкретную дату часто приходится назначать заранее. Например, помещение для вечеринки в честь запуска, возможно, придется забронировать. Если дата будет пропущена, номер придется бронировать заново, что приведет к увеличению расходов. В этом случае необходима оценка. Один из вариантов — избежать риска, проявляя гибкость в отношении других переменных (например, включить некоторые из них, которые могут иметь функции, но предоставить руководителю проекта возможность сократить их, если это необходимо, чтобы уложиться в срок). Если нет другого выбора, кроме как твердо указать дату, наилучший подход будет зависеть от склонности организации к риску и дополнительных затрат в случае возникновения риска несоблюдения срока. Консервативная оценка является одним из способов снижения риска (т. е. несмещенная оценка, сложенная в сторону оценки, превышающей фактическое время),

Компромисс между риском и выгодой является важным деловым соображением, и существуют статистические методы, которые могут помочь, такие как выбор даты, которая минимизирует «ожидаемые убытки», или выбор даты, которая с некоторой высокой вероятностью (95% или 99%), фактический убыток будет меньше определенной суммы.

Оценка является точной, если наблюдаемое время/стоимость находится в пределах ваших допусков вокруг оценки. Как отмечалось в другом месте, эти допуски могут быть более или менее строгими, и это повлияет на то, какая часть вашей кривой распределения будет использоваться для оценки. Например:

  • Для проектов, реализуемых по контракту с твердо фиксированной ценой, ваши допуски будут очень строгими, поэтому вы можете установить свою оценку на уровне 95-го процентиля или выше (в вашей таблице ваша оценка может составлять более 80 минут).
  • Для проектов с низким уровнем риска и низкой сложности ваши допуски будут гораздо менее строгими, поэтому вы можете установить свою оценку на уровне 65-го процентиля и продолжить оттуда.

Это относится к вопросу точности («насколько близко я подобрался к своей оценке») и точности («какова ожидаемая ошибка в моей оценке»). Я думаю, что можно привести веский аргумент, что в самом начале проекта точность оценки, вероятно, измеряется неделями, что должно влиять на то, насколько строги ваши допуски.

Итак, речь идет о точности вашей цели или о вашей способности предсказывать будущее? Большая часть изменчивости производительности, с которой мы сталкиваемся, является случайной и неконтролируемой. Вы не согласны?
Связаны вопросы изменчивости показателей и точности оценок. Я хочу сказать, что точность и точность различны, и чрезмерная точность в оценках может не добавить ценности. Тривиальный пример. Для налога с продаж в размере 12% при покупке на сумму 1,99 доллара точность за пределами двух знаков после запятой не имеет значения, поэтому окончательная цена составляет 1,23 доллара, а не (точная и «правильная») 1,2288 доллара. Точно так же, если мои оценки имеют погрешность в несколько недель, зачем указывать целевую дату, а не целевую неделю/месяц?

Забавно, я использую точно такой же пример времени на дорогу до работы в своих учебных классах. Суть, которую я пытаюсь объяснить, заключается в том, что (одноточечная) оценка никогда не может быть точной (или точной, что, как мне кажется, является синонимом ), поскольку она подразумевает 100% вероятность того, что произойдет. Распределение вероятностей хорошо известной задачи (коммутации) проясняет изменчивость. Следовательно, рекомендуется использовать диапазоны (наиболее вероятный - наихудший случай) и тщательно решить, какой риск вы хотите принять, сколько буфера или резерва вы хотите принять во внимание и т. д. (Я могу объяснить это дальше, но вопрос в «точности». ' Полагаю).

Я не вижу смысла называть оценку диапазона «точной»; более важно, как он был рассчитан, и какой риск подразумевается (в худшем случае только на 20% выше или на 100%)?

Меня немного беспокоит понятие «истечение срока действия данных», обсуждаемое Жолтом: удаление данных о «дорожных препятствиях» из примера времени в пути будет означать, что по дороге на работу другие препятствия невозможны. В свете управления рисками я бы, конечно, оставил его (если у вас нет времени/денег на тест-драйв и измерение всех возможных альтернативных маршрутов, чтобы добраться до работы).

Аккуратный и точный - это разные вещи, а не синонимы. Точность — это то, насколько она близка к действительности, а точность — это то, насколько вы уверены. Сказать «Это займет у меня 1 минуту» будет точным, даже если это займет у вас 20 минут. Сказать, что это займет у вас 0,5 часа, будет менее точным, но будет более точным, если это займет у вас 20 минут.
Может быть, я не носитель английского языка. Но это будет означать, что моя точка зрения о точности все еще верна, а «диапазон» точен? Кстати, почему 30 минут будут менее точными, если вы абсолютно уверены в этом (даже если реальность доказывает обратное; такое иногда случается с оценками...)
Правильно - большая часть остальной части вашего поста верна (кроме заявления о том, что одноточечная оценка никогда не может быть точной - она ​​может быть и точной, и точной). Однако оценки редко бывают точными, и одноточечные оценки не учитывают неопределенность. Кроме того, я думаю, что понятие «точность»/«точность» обычно существует в науке и технике, а не в общеупотребительном английском языке, где они рассматриваются как одно и то же.
Только что увидел редактирование вашего комментария. Диапазон — это только один из методов регистрации неопределенности. Есть несколько способов зафиксировать неопределенность: дать вероятность достоверности, диапазон и доверительный интервал этого диапазона, одну точку плюс список основных факторов, которые могут вызвать отклонение, лучший/наиболее вероятный/худший случай.
Привет @ThomasOwens и Стефан. На самом деле точность — это степень, в которой ваши измерения могут повторяться с теми же результатами. Так что, если вам требуется 15 минут, чтобы добраться до работы каждый день, вы точны, даже если вы предсказывали, что это займет у вас 20 минут, и вы не точны. Таким образом, вы можете быть менее точным, но очень точным. См . «Точность и точность» Википедии «Аналогия с целью» для получения более подробной информации и отличного примера. Посмотрите на две мишени справа.
@ jmort253 В оценке программного обеспечения МакКоннелл использует точность так же, как и я, чтобы отразить единицы в оценке. Оценка, выраженная в днях, более точна, чем оценка, выраженная в месяцах. Он также использует точность, чтобы отразить использование значащих цифр, когда единицы оценки одинаковы, говоря, что оценка в 1000 долларов менее точна, чем 975,00 долларов. Если у вас есть книга, посмотрите страницы 51-52. Для меня повторяемость имеет значение только для точности и прецизионности в нескольких проектах (можете ли вы получить небольшую единицу, близкую к фактической для каждого проекта) или для параметрических оценок (выдерживает ли модель).
@ThomasOwens, даже с вашим объяснением, точность звучит как многократное попадание в одну и ту же цель в одном и том же месте, вместо того, чтобы каждый раз просто быть близко к цели, но, возможно, переоценивая, а не недооценивая. Рискуя, что это просто семантическое недоразумение, я соглашусь, что вы, скорее всего, будете точны и «уверены» с более короткими итерациями. :)

@Aclear прав - «точная оценка» - это та, которая находится в пределах приемлемой погрешности для этого конкретного случая.

Если я скажу, что работа займет 5 дней, а она займет 5,5, то в рамках общего объема работ это может быть точной оценкой. A) не было никакого способа заранее определить «точно», сколько времени это займет, поэтому 1/2 дня из 5 дней, вероятно, довольно хорошо.

С другой стороны, если я оцениваю, что мне потребуется 20 минут, чтобы отвезти моих детей в школу, и я уйду за 20 минут до начала занятий, если это займет 25 минут, а они прибудут на 5 минут позже, моя оценка неверна. Это было за пределами допустимой погрешности.

На самом деле оценка это всего лишь оценка. Является ли это точным или нет, на самом деле зависит от того, насколько точным я ДОЛЖЕН быть.