Metryki część 2

Na początek przyjrzyjmy się metrykom mierzącym pracę projektową w środowiskach adaptacyjnych. Przydatnym narzędziem jest tutaj tablica Kanban, którą bardziej szczegółowo omówimy w naszych wykładach na temat Agile. Metoda Kanban pomaga wizualizować bieżące zadania i przepływ pracy.

Analizując tablicę Kanban, możemy śledzić zakończoną pracę, zadania w toku oraz przyszłe wymagania. Kluczowe metryki oceniające wydajność obejmują:

• Czas reakcji (Response Time): czas od momentu, kiedy zadania są pobrane z kolumny „Do zrobienia”, do “to do”.
• Czas cyklu: czas od rozpoczęcia pracy nad story do jej zakończenia.
• Czas bezczynności: czas, w którym ukończone stories czekają na dostarczenie do klienta.
• Czas realizacji: czas od momentu umieszczenia story na tablicy do jej dostarczenia.
• Praca w toku (WIP): liczba stories, nad którymi obecnie pracujemy.
• Wielkość kolejki: liczba stories czekających w kolejce.

Kolejna przydatna metryka to wykres śledzenia prędkości (Velocity Tracking Chart) używany w projektach Agile. Prędkość mierzy ilość wykonanej pracy w danym iteracyjnym cyklu. Obserwując średnią prędkość, możemy przewidywać przyszłe iteracje.

Przejdźmy teraz do metryk w środowiskach predykcyjnych. Kluczowe metryki obejmują:

• Daty rozpoczęcia i zakończenia działań,
• Daty ukończenia kamieni milowych,
• Rzeczywisty czas trwania,
• Rzeczywisty wysiłek (w roboczogodzinach),
• Odchylenie harmonogramu,
• Wskaźnik wydajności harmonogramu (SPI),
• Procent ukończenia pakietów pracy lub działań.

Oprócz tych metryk, w prognozowaniu pomocne są techniki takie jak diagram rozproszenia (Scatter Diagram), który identyfikuje korelacje między zmiennymi w środowiskach predykcyjnych. W adaptacyjnych środowiskach możemy wykorzystać wykresy  (Burn Charts), aby prognozować terminy ukończenia projektu.

W analizie jakości ważne są także metryki związane z dostarczanymi produktami, które koncentrują się na liczbie spełnionych wymagań, wykrytych i naprawionych defektach, oraz specyficznych testach technicznych.

Ocena satysfakcji interesariuszy, w szczególności klientów, również jest kluczowa. Możemy rozwijać metryki, korzystając z oceny satysfakcji klienta oraz Narzędzia Net Promoter Score, które ocenia, jak chętnie klienci polecają nasze usługi.

Customer Satisfaction Score, where we ask customers to rate their satisfaction level on a scale, for example, from 1 to 5.

Net Promoter Score, which asks customers how likely they are to recommend our services to others, using a similar scoring system.

Aby ocenić wartość biznesową, jedną z kluczowych metryk, którą możemy wykorzystać, jest Wartość Obecna Netto (Net Present Value, NPV). NPV to różnica między łączną obecną wartością przewidywanych przychodów a łączną wartością kosztów. W praktyce odzwierciedla to zysk netto, jaki spodziewamy się osiągnąć z projektu.

Kolejną ważną metryką jest Współczynnik Korzyści do Kosztów (Benefit-Cost Ratio, BCR), obliczany przez podzielenie łącznych korzyści przez całkowite koszty. BCR większy niż jeden oznacza, że korzyści przewyższają koszty, co sugeruje, że projekt jest opłacalny. Natomiast, jeśli stosunek jest niższy od jedności, być może projekt nie powinien być realizowany, chyba że wymuszają to czynniki zewnętrzne, takie jak przepisy prawne czy względy środowiskowe.

W kontekście egzaminów możesz natknąć się na termin Cost-Benefit Ratio, który jest odwrotnością Współczynnika Korzyści do Kosztów. W tym przypadku stosunek poniżej jednego sugeruje, że projekt jest wart realizacji.

Mamy także metrykę Zwrót z Inwestycji (Return on Investment, ROI). Aby wyjaśnić ten koncept, wyobraź sobie sytuację, w której wpłacasz 100 zł na konto bankowe z oprocentowaniem 7%. Po roku twój zwrot wyniesie 107 zł, co daje 7% ROI, ponieważ zwrot pochodzi z pierwotnej inwestycji.

Jeśli porównamy dwa projekty, np. Projekt A z 7% ROI i Projekt B z 10% ROI, te informacje mogą pomóc nam zdecydować, który projekt priorytetowo realizować na podstawie wyższego zwrotu z inwestycji.

Kolejną ważną metryką jest Oczekiwany Całkowity Wpływ (Expected Total Impact), która służy do oszacowania potencjalnej wartości ryzyk, które przewidujemy. Na przykład, jeśli zidentyfikujemy dziesięć istotnych ryzyk związanych z projektem, możemy prognozować, że tylko kilka z nich – być może dwa lub trzy – się zmaterializuje.

Dla pełniejszego obrazu warto także monitorować Zrealizowane Korzyści w porównaniu do Planowanych Korzyści w trakcie trwania projektu, co pomoże ocenić, czy osiągamy zakładane cele biznesowe. W przypadku konieczności podejmowania decyzji o kontynuacji projektu, porównanie planowanych i zrealizowanych korzyści może być kluczowe.

Gdy już ustalimy te metryki, ważne jest określenie progów – akceptowalnych górnych i dolnych granic dla kluczowych metryk. Przykładowo, choć możemy dążyć do Wskaźnika Wydajności Kosztowej (CPI) na poziomie 1, utrzymanie tego poziomu przez cały czas jest nierealne. Ustalenie progów, takich jak ±25% i -10%, pozwoli nam zidentyfikować moment, w którym należy podjąć działania.

Na przykład, jeśli zauważymy CPI na poziomie 0,95, możemy działać bez obaw, ponieważ mieści się on w naszych zdefiniowanych limitach. Jednak CPI na poziomie 0,825 sygnalizuje potrzebę podjęcia działań, ponieważ spada poniżej ustalonego dolnego limitu.

Kluczowym aspektem jest także przygotowanie Planu Wyjątków (Exception Plans), który określa kroki, jakie podejmiemy, jeśli nasze metryki przekroczą zdefiniowane limity. Plan wyjątków nie musi być szczegółowy – może to być po prostu harmonogram spotkania, aby omówić możliwe rozwiązania problemu.

Podsumowując, efektywne zarządzanie metrykami w projektach jest nie tylko kluczowe dla ich sukcesu, ale również pozwala podejmować świadome decyzje biznesowe na każdym etapie ich realizacji.

Monitorowanie Metryk Ryzyk

Co zrobić, jeśli nasz Wskaźnik Wydajności Kosztowej (CPI) konsekwentnie spada poniżej jedynki, ale utrzymuje się powyżej 0,9? Choć takie wartości mieszczą się w naszych limitach, to ciągle niskie odczyty CPI mogą sugerować ryzyko przekroczenia budżetu. Dlatego konieczne mogą być działania prewencyjne.

Po ustaleniu progów musimy stale monitorować te metryki pod kątem potencjalnych ryzyk. Nie możemy przyjąć postawy samozadowolenia, zakładając, że jeśli jesteśmy w granicach, to wystarczy. Nowe warunki mogą wymagać dokładnej obserwacji kluczowych metryk.

Co oznacza podjęcie działań? Ważne jest, aby mieć gotowe plany awaryjne. Te plany, znane jako Plany Wyjątków, określają kroki, jakie podejmiemy, jeśli nasze metryki przekroczą zdefiniowane limity. Plany wyjątków nie muszą być zbyt szczegółowe – mogą polegać na zaplanowaniu spotkania, aby omówić odpowiednie reakcje na problemy.

Po omówieniu sytuacji i zidentyfikowaniu przyczyny możemy wdrożyć rozwiązania. Po podjęciu działań ważne jest monitorowanie skuteczności naszych planów. Jeśli początkowe strategie nie przynoszą oczekiwanych rezultatów, konieczne mogą być korekty.

Wcześniejsze dyskusje dotyczyły różnych metryk stosowanych w projektach. Teraz skupimy się na kluczowych aspektach ustalania tych metryk. Ustalanie metryk to nie tylko kwestia samego projektu. Psychologia ludzka odgrywa również istotną rolę.

Na przykład, metryki ustalone tylko dla jednego aspektu mogą sprawić, że członkowie zespołu będą priorytetyzować ten obszar, zaniedbując inne. Taka sytuacja to efekt Hawthorne’a, gdzie skupienie się na jednej metryce zniekształca uwagę na całość projektu. Koncentracja wyłącznie na jednej metryce, takiej jak wskaźnik wydajności kosztowej, może spowodować, że inne ważne metryki, jak wskaźnik wydajności harmonogramu, otrzymają niewiele uwagi, co prowadzi do wąskiego spojrzenia na koszty projektu, kosztem harmonogramu i jakości.

Dlatego metryki powinny obejmować wszystkie kluczowe elementy, które przyczyniają się do sukcesu projektu. Wprowadzenie niepotrzebnych metryk może sprawić, że członkowie zespołu zignorują ich znaczenie. Te niepotrzebne metryki, zwane metrykami „wanaży”, wymagają czasu na ich śledzenie, ale dostarczają niewielkiej wartości. Na przykład liczenie liczby gwoździ użytych w szalunku podczas budowy nie ma istotnego wpływu na wyniki projektu. Biorąc pod uwagę trywialny koszt gwoździ w porównaniu do całkowitych kosztów projektu, ilustruje to nieefektywność śledzenia tej metryki.

Osiągalne cele dla metryk są kluczowe. Postrzegane jako nierealne cele mogą prowadzić do spadku motywacji zespołu, co wpływa na ogólną wydajność. Przy opracowywaniu metryk ważne jest, aby wyraźnie określić względną wagę każdej z nich. Brak tego może skutkować priorytetyzowaniem przez członków zespołu mniej istotnych metryk kosztem tych, które mają większe znaczenie. Niektóre cele wydają się bardziej osiągalne niż inne, co sprawia, że członkowie zespołu najpierw podejmują się łatwiejszych zadań. Utrzymanie zbalansowanego podejścia do wszystkich celów przynosi korzyści.

Na przykład, niektóre cele mają krótkoterminowe harmonogramy, podczas gdy inne rozciągają się na dłuższy okres. Wspieranie zbalansowanego podejścia do obu typów celów pozostaje kluczowe. Czasami członkowie zespołu mogą faworyzować informacje, które zgadzają się z ich istniejącymi przekonaniami, pomijając kluczowe dane, które są sprzeczne z ich stanowiskiem. To zjawisko to błąd potwierdzenia (confirmation bias).

Na przykład, gdy do zakończenia projektu pozostały cztery kamienie milowe, członek zespołu może odnosić się tylko do przeszłych sukcesów, nie dostrzegając potencjalnych nowych wyzwań, twierdząc, że uda się ukończyć wszystkie kamienie milowe w ciągu sześciu tygodni. Zignorowanie możliwych wyzwań może sprawić, że ten cel sześciotygodniowy okaże się nierealny. Uniknięcie ustalenia niepraktycznych metryk wymaga czujności wobec błędu potwierdzenia i zapewnienia, że metryki są definiowane obiektywnie.

Po zebraniu danych i wdrożeniu metryk, prezentacja ich za pomocą narzędzi wizualnych poprawia zrozumienie. Efektywna komunikacja z interesariuszami zależy od spełnienia ich potrzeb informacyjnych za pomocą środków wizualnych. Radiatory informacji i kontrole wizualne doskonale spełniają ten cel. Radiator informacji to wizualny wyświetlacz umieszczony w widocznym miejscu, aby dostarczać jasnych informacji o postępie projektu. W środowiskach lean termin „kontrola wizualna” często zastępuje „radiator informacji”, przy czym oba służą temu samemu celowi.

Dashboardy również odgrywają wartościową rolę w prezentacji metryk. Dashboard podsumowuje informacje w formie elektronicznej, wykorzystując wykresy i diagramy. Zazwyczaj generują się automatycznie przez oprogramowanie. Interakcja z wykresami lub danymi pozwala użytkownikom na dostęp do szczegółów dotyczących prezentowanych informacji. Ta funkcja jest szczególnie przydatna do udostępniania metryk kluczowym interesariuszom za pośrednictwem poczty e-mail. Włączenie dashboardów do radiatorów informacji zwiększa ich skuteczność jako kontroli wizualnych.

————————————–

By analyzing the Kanban board, we can track completed work, tasks in progress, and future work requirements. Key metrics for evaluating performance include:

• Response Time: The duration from when a story is pulled from the “To Do” column to when it is started.
• Cycle Time: The time taken from when the team begins work on a story until its completion.
• Idle Time: The duration completed stories wait before being delivered to the customer.
• Lead Time: The time from when a story is placed on the board until it is delivered.
• Work in Progress (WIP): The count of stories currently being worked on.
• Queue Size: The number of stories waiting in the queue.

For example, if there are four stories waiting, the queue size would be four.

Next, we have the Velocity Tracking Chart, used in Agile projects. Velocity measures the amount of work completed in a given iteration. By observing average velocity, we can make predictions about future iterations. Instead of referring to feature velocity, we can also describe this in terms of Batch Size, representing the expected work to be completed in the next iteration.

Another valuable diagram for adaptive environments is the Value Stream Map. This diagram provides an overview of our work process, helping identify non-productive times, often referred to as waste.

Processing Time is a key metric used to measure this waste, or non-value-adding time. Additionally, by dividing the value-adding time by lead time, we obtain the Process Efficiency metric, which indicates how effective our processes are.

Now, let’s shift our focus to metrics in predictive environments. Key metrics include:

• Activity Start Date and Finish Date
• Milestone Completion Date
• Actual Duration
• Actual Effort (in man-hours)
• Schedule Variance
• Schedule Performance Index
• Completion Percentage of Work Packages or Activities

These metrics help track schedule performance against the baseline schedule. Similarly, for cost performance, we can use metrics like:

• Actual Cost
• Budget Spend Rate
• Cost Performance Index
• Cost Variance

We can also utilize metrics for predicting future work, such as Estimate at Completion, Estimate to Complete, Performance Index, and Variance at Completion. These are based on actual data but are used for future predictions.

We will examine these metrics in detail during our upcoming Earned Value lectures. Besides these metrics, forecasting techniques are also valuable for future predictions. In predictive environments, a Scatter Diagram can help identify correlations between variables. In adaptive environments, we can use Burn Charts to forecast project completion timelines and Iteration Burndown Charts to estimate the number of future iterations needed.

The analysis in predictive environments using scatter diagrams is known as Regression Analysis. Techniques for predicting project completion based on the number of stories and features fall under Throughput Analysis, which is mainly used in adaptive environments.

Metrics related to deliverables primarily focus on quality. These may include physical measurements (e.g., sizes and weights), the count of requirements met versus unmet, the number of errors and defects identified and resolved, and specific technical tests relevant to the product produced.

It’s crucial to assess stakeholder satisfaction, especially customer satisfaction. We can develop metrics for this by using a Customer Satisfaction Score, where we ask customers to rate their satisfaction level on a scale, for example, from 1 to 5.

Another useful tool is the Net Promoter Score, which asks customers how likely they are to recommend our services to others, using a similar scoring system.

Team members are also key stakeholders, so evaluating their satisfaction is essential. For this, we can employ Mood Trackers, which can be mobile apps or simple charts where team members indicate their mood daily. This visual feedback can highlight potential concerns.

To gather more quantitative insights, we might conduct surveys and questionnaires asking team members about their morale and satisfaction with the project. Questions could include how satisfied they feel with the project work.

Finally, the Team Member Turnover Rate serves as a metric indicating stakeholder satisfaction. A high turnover rate may suggest underlying issues affecting team morale.

Regarding resources, we can utilize a Resource Utilization Diagram to compare planned versus actual resource usage. For instance, if we plan for ten man-hours per day but actual utilization is lower, that discrepancy can be assessed.

Additionally, we can use an S-Curve to visualize cumulative planned versus actual resource utilization in man-hours. The gap between these figures indicates Usage Variance. For example, if the plan was to utilize 150 man-hours over 40 days, but only 100 hours have been spent so far, the usage variance would be 50 man-hours.

A similar S-Curve can represent planned versus actual resource costs. Here, the difference between planned costs and actual expenses leads to the Price Variance. For instance, if the planned cost for a specific period is $1,500, but actual spending is only $1,000, the price variance is calculated at $500.

Continuing Our Discussion on Project Metrics

In today’s lecture, we will delve into the metrics that can effectively assess the business value of our projects.

To evaluate business value, one key metric we can employ is Net Present Value (NPV). NPV represents the difference between the total present value of anticipated revenues and the total present value of costs. Essentially, it reflects the net monetary gain we expect to achieve from the project.

Another important metric is the Benefit-Cost Ratio (BCR), calculated by dividing total benefits by total costs. A BCR greater than one indicates that the benefits outweigh the costs, suggesting that the project is worthwhile. Conversely, if the ratio is below one, it may not be advisable to proceed unless external factors, such as legal requirements or environmental considerations, necessitate the project’s initiation.

In exam scenarios, you might encounter the term Cost-Benefit Ratio, which is simply the inverse of the Benefit-Cost Ratio. In this case, a ratio below one suggests that the project is worth pursuing.

We also have the Return on Investment (ROI) metric. To illustrate this concept, consider a situation where you deposit $100 in a bank with a 7% interest rate. After one year, your total return would be $107, resulting in a 7% ROI since the return is derived from your initial investment.

If we compare two projects, say Project A with a 7% ROI and Project B with a 10% ROI, this information can guide our decision on which project to prioritize based on the higher ROI.

Expected Total Impact is another vital metric used to estimate the potential value of risks we anticipate encountering. For instance, if we identify ten significant risks associated with a project, we can forecast that only a few—perhaps two or three—will manifest. While predicting the total impact of these risks before they occur is challenging, we can approximate the expected total impact. We will cover how to calculate this metric in future sessions.

For now, it’s essential to recognize that the expected total impact metric can be used in conjunction with ROI to evaluate business value. We can visualize this relationship by creating a graph comparing ROI with the expected total impact. This graph, known as the Risk-Adjusted Return on Investment (RAROI) graph, helps us understand the potential earnings relative to the risks we anticipate.

In the best-case scenario, if minimal risks occur, we might expect a total impact of $100,000, yielding a 20% ROI. However, in a worst-case scenario, where all risks materialize, the expected total impact could rise to $300,000, resulting in a decreased ROI of 12%. This graph serves as a valuable tool for deciding whether to initiate the project or consider adding specific features or activities.

Lastly, we can assess Planned Benefits versus Realized Benefits to measure the business value achieved throughout the project lifecycle. At the project’s outset, we identify the expected benefits, which are then realized over time. If we need to make decisions about the project’s continuation, comparing realized benefits to planned benefits can guide our choices.

Since projects must generate business value, all these metrics provide insights into the anticipated value from our initiatives. We can apply them at any point during the project to determine whether to proceed or halt our efforts.

After establishing these metrics, it’s crucial to determine Thresholds—the acceptable upper and lower limits for our key metrics. For example, while we might aim for a Cost Performance Index (CPI) of one, it’s unrealistic to maintain that level consistently. By setting thresholds, such as ±25% and -10%, we can identify when action is required.

For instance, if we observe a CPI of 0.95, we can proceed without concern since it falls within our defined limits. However, a CPI of 0.825 signals the need for action, as it drops below our established lower limit.

Monitoring Metrics for Risks

Let’s consider what happens if our CPI consistently falls below one but remains above 0.9. While these values stay within our limits, consistently low CPI readings may suggest a risk of budget overruns. Therefore, proactive measures may be necessary.

After defining our thresholds, we must continuously monitor these metrics for potential risks. We cannot adopt a complacent attitude, assuming that being within limits is sufficient. New conditions may arise that necessitate careful observation of crucial metrics.

What do we mean by taking action? It is essential to have contingency plans ready. These plans, known as Exception Plans, outline the steps we will take if our metrics exceed the defined limits. Exception plans do not need to be overly detailed; they could simply involve scheduling a meeting to discuss the necessary responses to any issues that arise.

Once we have discussed the situation and identified the root cause, we can implement solutions. After taking action, it’s vital to monitor the effectiveness of our plans. If our initial strategies don’t yield the desired results, adjustments may be necessary.

Earlier discussions cover various metrics used in projects. The current focus shifts to key considerations for setting these metrics. Establishing metrics involves more than just the project itself. Human psychology plays a crucial role as well.

For instance, metrics set for only one aspect can lead team members to prioritize that area exclusively, neglecting others. This situation exemplifies the Hawthorne Effect, where focus on a single metric skews overall project attention. Concentration solely on a specific metric, such as the cost performance index, can result in other important metrics, like the schedule performance index, receiving little attention, leading to a narrow focus on project costs at the expense of schedule and quality.

Thus, metrics should encompass all essential components that contribute to project success. Introducing unnecessary metrics can lead to team members overlooking their significance. These unnecessary metrics, referred to as vanity metrics, demand time to track but provide minimal value. For example, counting the number of nails used in formwork during construction lacks meaningful contribution to project outcomes. Considering the trivial cost of nails compared to overall project expenses illustrates the inefficiency of tracking this metric.

Achievable targets for metrics remain paramount. Perceived unrealistic targets can lead to a drop in team motivation, impacting overall efficiency. When developing metrics, clarity about the relative importance of each proves essential. Failure to do so may result in team members prioritizing less critical metrics over those that hold greater significance. Some targets appear more achievable than others, leading team members to tackle simpler ones first. Maintaining a balanced approach to all targets proves beneficial.

For instance, certain goals have short-term timelines while others extend into the long term. Fostering a balanced focus on both types of targets remains essential. At times, team members may favor information that aligns with their existing beliefs, overlooking crucial data that contradicts their positions. This tendency represents confirmation bias.

For example, when four milestones remain for project completion, one team member might reflect only on past successes without recognizing potential new challenges, asserting the ability to complete all milestones within six weeks. Neglecting to consider challenges can render this six-week target unrealistic. Avoiding the establishment of impractical metrics requires vigilance against confirmation bias and ensuring metrics are defined objectively.

After data collection and metric implementation, presenting metrics using visual tools enhances understanding. Effective communication with stakeholders relies on meeting their information needs through visual means. Information radiators and visual controls serve this purpose well. An information radiator functions as a visual display placed prominently to provide clear project progress information. In lean environments, the term “visual control” often replaces “information radiator,” with both serving the same purpose.

Dashboards also play a valuable role in metric presentation. A dashboard summarizes information electronically using graphs and charts. These typically generate automatically by software. Interactivity with graphs or data allows users to access the underlying details of the displayed information. This feature proves especially useful for sharing metrics with key stakeholders via email. Incorporating dashboards into information radiators enhances their effectiveness as visual controls.