что показывает связь оценки результатов измеряемого конструктора с внешним критериям
SEO-термин: Релевантность
Показатель релевантности определяет качество и эффективность работы поисковой системы. Существует специальный поисковый алгоритм, определяющий, насколько информация релевантна запросу пользователя. Выражаясь проще, соотношение количества ключевых слов, имеющихся в поисковом запросе и употребленных в тексте, к общему объему текстового контента, определяет релевантность страницы. Оптимальный процент вхождений ключевых словосочетаний, указывающий на высокую релевантность сайта, задан у каждой поисковой системы индивидуально. Если поисковых фраз меньше, чем нужно, то поисковик их просто не заметит. Увеличенное вхождение ключевых слов грозит попаданием в спам-фильтр, что ведет к неприятным последствиям и ограничениям. Средний процент вхождений ключевых слов рассчитан на уровне 2-5 %.
Определение релевантности
Поисковые системы имеют важнейшее значение в виртуальном пространстве, с их помощью пользователю быстро и просто предоставляется любая интересующая информация. Но регулярное увеличение количества сайтов в геометрической прогрессии привело к тому, что на один запрос посетителя выдавалось десятки тысяч различных сайтов. Представленные ресурсы могли быть как с добросовестным, уникальным контентом, так и некачественными, бесполезными и не уникальными. Сложившаяся ситуация вынудила поисковые системы разработать методику отбора сайтов по принципу релевантности, эта мера позволила подбирать для пользователей ресурсы, наиболее соответствующие их запросам.
Сначала поисковые системы определяли релевантность страницы по характеристикам и качеству содержания. Имели значение следующие критерии:
R=PR*(T+L)
где R – показатель релевантности;
PR (авторитетность сайта) – значение внешних характеристик ресурса, не зависящих от ключевых слов;
T (текстовая релевантность) – показатель того, насколько содержание сайта согласовывается с запросом пользователя;
L (ссылочная релевантность) – показатель того, насколько входящие ссылки на документ соответствуют поисковому запросу.
Представленная формула лишь примерно отражает суть использования поисковиками алгоритма ранжирования и дает представление об отборе ресурсов по принципу релевантности. Однако, имея общее представление, заниматься оптимизацией намного удобнее.
Внутренние критерии релевантности
Основным качественным показателем внутренней релевантности являются ключевые фразы и слова, а точнее частота их использования на странице. Частое применение какого-либо словосочетания определяется системами как ключевое слово. Если при поиске пользователь введет запрос с найденными фразами, которые являются в тексте ключевыми и соответствуют форме запроса, то ресурс будет признан релевантным.
Расположение ключевых фраз или слов также имеет существенное значение. Например, если запрос совпадает с заголовком документа, то поисковик будет рассматривать данный ресурс, как наиболее релевантный.
Также при определении релевантности значение имеют следующие факторы:
Внешние критерии релевантности
Внешние параметры релевантности зависят от цитируемости ресурса и определяются ссылочной популярностью. То есть в данном случае релевантность сайта определяется ее востребованностью и популярностью среди пользователей Интернета. Когда остальные ресурсы ссылаются на конкретный сайт, у него увеличивается авторитетность. Этот фактор характеризует сайт как качественный и полезный ресурс с уникальной информацией.
Поисковые службы по-разному определяют уровень и степень цитируемости, но при этом используют алгоритмы со схожими механизмами действия. На основе этих алгоритмов была создана первая система оценки и ранжирования интернет-ресурсов PageRank. Авторами алгоритма стали основатели крупнейшего поисковика Google – американские студенты Ларри Пейдж и Сергей Брин.
Яндекс тоже не отстает от конкурентов и аналоговой системой оценки в нем является ВИЦ, созданный в 2001 году. Аббревиатура расшифровывается как взвешенный индекс цитирования. По словам авторов проекта, при расчете индекса используется алгоритм, аналогичный PageRank. Такой показатель цитируемости присваивается для каждой конкретной страницы отдельно. В течение года после создания сервиса с показателем индекса можно было ознакомиться в «Яндекс-Баре». Но оптимизаторы стали искать способ фиктивного повышения данного показателя, и значения стали скрытыми. В распоряжении мастеров по оптимизации остались лишь значения тематического индекса цитируемости (ТИЦ), которые можно найти в каталоге Яндекса.
С 2002 года поисковая системы Рамблер также стала применять коэффициент популярности. Для расчёта коэффициента поисковик использует информацию о количестве ссылок на ресурс и данные о посещаемости, основание на показателях счетчика Top100.
Но все же самым первым испытателем данного алгоритма была поисковая система «Апорт», которая начала использовать для расчета авторитетный вес ресурса с 1999 года.
Что показывает связь оценки результатов измеряемого конструктора с внешним критериям
На мой взгляд причина в том, что вначале для расчета мы скидываем работу всех сотрудников в один “котел”, а потом сравниваем с тем, что ко всем сотрудникам не имеет отношения.
Даже самый простой пример – расчет эффективности сотрудников производства – сразу же дает представление о всех недостатках. Для того, чтобы рассчитать эффективность производственного участка, потребуется разделить ожидаемое время на производство определенного количества продукции на затраченные. Вроде бы, все понятно: берем человеко-часы, делим тоже на человеко-часы и получаем эффективность. А на практике возникает масса нюансов:
Просто манипулируя этими двумя параметрами, можно достигать диаметрально разных оценок эффективности работы производства. Мастер немного подсобил рабочим – эффективность поползла вверх. Включили в расчет всех инспекторов – эффективность упала «под плинтус».
То же можно наблюдать и в сфере предоставления услуг. Ну а когда речь заходит про сотрудников вспомогательных отделов, время которых составляет непрямые затраты производства (например, сотрудников конструкторского отдела), расчет эффективности превращается в злой вымысел.
За всю свою практику я ни разу не сталкивался с тем, что расчет эффективности действительно нужен в конструкторском отделе. Это не значит, что его нельзя рассчитать. Вы можете:
И сравнив результат произведения количества операций на их временные интервалы с количеством отработанных человеко-часов в конструкторском отделе, прийти к показателю эффективности.
Но что конкретно вы собираетесь затем делать с этим показателем? Я понимаю, что могу получить стандартный ответ вроде “улучшать” или “повышать”. Но чего вы хотите достичь? Загрузки конструкторов на 85% или 100%? Зачем?
Если вы думаете, что это поможет компании зарабатывать больше или тратить меньше, то, при всей вашей правоте, вы начали не с той стороны диаграммы Парето. Не это самая большая боль. Не в этом отделе следует искать резервы эффективности труда.
Допускаю, что иногда стоит задача приспособить штат конструкторского отдела к актуальной загрузке: количеству изменений продукции, количеству разработок новых конструкций и т.д. Но эта задача скорее разовая, чем постоянная. Если вы достигните критического уровня загрузки, каждое новое изменение либо будет откладываться в долгий ящик, либо будет требовать немедленного принятия в штат еще одного конструктора. И угадайте, что случится во втором случае? Этот новичок сразу же будет портить ваш красивый KPI.
Что же делать? Неужели нет возможности оценить эффективность работы конструкторов?
Да способов на самом деле масса, и каждый из них может быть применим в зависимости от особенностей вашей организации. К примеру, если сотрудники конструкторского отдела работают над проектами, то лучше треугольника “Бюджет-Сроки-Качество” в проектном менеджменте еще ничего не придумали. Если ваши конструкторы укладываются в сроки, укладываются в бюджет да еще и достигают соответствия всем ожиданиям клиента, то вот он – показатель их эффективности.
Отсюда вывод: можно не следить за эффективностью работы конструкторов в проектах. Гораздо эффективнее следить за бюджетами, сроками, качеством. Вот их и меряйте.
Кроме проекта можно мерять еще и показатели, которые относятся к конструкции или любому другому продукту их труда. Вот некоторые примеры:
Главное – не забывать, что за любым KPI тоже может скрываться свой контекст. Не все изменения конструкции на протяжении ее жизненного цикла могут считаться “минусом к карме” конструктора – некоторые могут быть вызваны дополнительными требованиями, улучшениями продукта и т.д. Не всегда прибыль и/или окупаемость инвестиций в руках конструктора. Конструкция может быть отличной, но анализ рынка, маркетинг или продукт-заместитель могут тоже внести немалую лепту в результаты продаж.
Мир психологии
психология для всех и каждого
Надёжность и валидность психодиагностических методик
Надёжность и валидность психодиагностических методик
Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффективность. К числу основных критериев оценки психодиагностических методик относятся надежность и валидность.
Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк, Е. Хаген и др.). Ими были разработаны формально-логический и математико-статистический аппарат (прежде всего корреляционный метод и фактический анализ) обоснования степени соответствия методик отмеченным критериям.
В традиционной тестологии термин «надёжность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.
Надёжность методики – это критерий, который говорит о точности психологических измерений, то есть позволяет судить о том, насколько внушают доверие полученные результаты.
Это согласованность результатов тестирования испытуемых в разные моменты времени, при первичном и вторичном тестировании и с использованием разных по эквивалентности, по содержанию заданий. Надежность характеризует тесты свойств, но не состояний. Свойства:
Степень надёжности методик зависит от многих причин. Среди негативных факторов наиболее часто называются следующие:
Одним из важнейших средств повышения надежности методики является единообразие процедуры обследования, его строгая регламентация: одинаковая обстановка, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми и так далее.
На характеристику надёжности методик большое влияние оказывает исследуемая выборка. Она может, как снижать, так и завышать этот показатель, например, надежность, может быть искусственно завышена, если в выборке небольшой разброс результатов, т.е. если результаты по своим значениям близки друг к другу. Поэтому в руководстве обычно делается описание выборки, на котором определялась надёжность методики.
В настоящее время надежность все чаще определяется на наиболее однородных выборках, т.е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т.п.
К.М. Гуревич предложил толковать надёжность как:
Определение надежности измерительного инструмента. От того как составлена методика, насколько правильно подобраны задания, насколько она однородна зависит точность, объективность измерения.
Для проверки надежности измерительного инструмента, говорящего о его однородности (гомогенности) используют метод расщепления. Задания делят на четные и нечетные (необходимо выполнение всех заданий), а затем результаты коррелируются между собой. Если методика однородна, то большой разницы в успешности по этим половинам не будет, коэффициент будет высоким. Можно сравнивать по частям, но лучше по четным и нечетным, т.к. этот способ не зависит от тренировки, утомления и т.д.
Методика надежна, если коэффициент не ниже 0,75 – 0,85, лучше 0,90 и выше.
Определение стабильности изучаемого признака. Также необходимо установить насколько устойчив, стабилен признак, который исследователь намерен измерять. Признак со временем может меняться, но колебания его не должны иметь непредсказуемый характер.
Для проверки используется прием, который называется тест-ретест. Он заключается в повторном обследовании испытуемых с помощью этой же методики. О стабильности судят по коэффициенту корреляции между результатами первого и второго обследования. Он будет свидетельствовать о сохранении или не сохранении каждым испытуемым своего порядкового номера в выборке.
На степень устойчивости влияет разнообразие фактора. Необходимо соблюдать единообразие процедуры обследования.
При определении стабильности признака большое значение имеет промежуток времени между 1 и 2 обследованиями. Чем короче этот промежуток, тем больше шансов, что этот признак сохраняет уровень первого испытания. Целесообразно проводить повторное тестирование через короткий срок после тестирования. Экспериментатор сам устанавливает этот срок, но чаще в психологической литературе указывают на интервал от нескольких месяцев (но не более полугода). Вопрос о стабильности измеряемого свойства решается не всегда единообразно. Решение зависит от сущности диагностируемого признака.
Если измеряемое свойство уже сформировано, то коэффициент должен быть не ниже 0,80.
Определение константности, т.е. относительная независимость результатов от Личности экспериментатора. Так как методика разрабатывается для дальнейшего использования ее другими психодиагностами, необходимо определить в какой мере ее результаты поддаются влиянию личности экспериментатора. Коэффициент константности определяется путем корреляции результатов двух опытов, проводимых на одной и той же выборке, но разными экспериментаторами. Коэффициент корреляции не должен быть ниже 0,80.
Вопрос о валидности решается после того, как установлена надежность, так как ненадежная методика не может быть валидной.
Валидность теста – понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает (А. Анастази). Валидность по своей сути – это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова её действенность, эффективность, практическая полезность.
По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.
Валидность – соответствие конкретного исследования принятым стандартам (безупречному эксперименту).
Валидность в первом ее понимании имеет отношение к самой методике, т.е. это валидность измерительного инструмента. Такая про-верка называется теоретической валидизацией. Валидность во втором ее понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.
При теоретической валидизации исследователя интересует само свойство, измеряемое методикой.
Так как для определения теоретической валидизации тяжело найти какой-нибудь независимый критерий, лежащий вне методики, и поэтому раньше принимались на веру голословные утверждения о валидности этой методики. Так как теоретическая валидизация направлена на доказательство того, что методика измеряет именно свойство, которое она должна измерить. Для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, по средствам которой эти психологические явления пытаются познать. Она показывает, что замысел автора и результаты методики совпадают.
Не столь сложно осуществить теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с известной, доказанной валидностью. Наличие корреляции между новой и аналогичной старой методиками указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная.
Для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность), а с другой – отсутствие этой связи с методиками, имеющими другое теоретической основание (дискриминантная валидность).
Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами Деятельности. Важно чтобы методика была проработана в теоретическом плане.
Проверяется практическая эффективность, значимость, полезность методики, так как методикой можно пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных видах Деятельности.
Для проверки прагматической валидности используется независимый внешний критерий – показатель проявления изучаемого свойства в повседневной жизни. В качестве такого критерия могут выступать успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), производственные достижения (для методик профессиональной направленности), эффективность реальной Деятельности – рисования, моделирования и так далее (для тестов специальных способностей), субъективные оценки (для тестов Личности).
Американские исследователи Тиффин и Маккормик выделили 4-е типа внешнего критерия:
Внешний критерий должен обладать 3 основными требованиями:
Оценка валидности методики может носить количественный и качественный характер.
Для вычисления количественного показателя (коэффициента валидности) сопоставляются результаты, полученные при применении диагностических методик, с данными тех же лиц, полученные по внешнему критерию. Используются разные виды линейной корреляции (по Спирмену, по Пирсену).
Качественное описание сущности измеряемого свойства. Здесь не используют статистическую обработку.
Существуют несколько видов валидности, обусловленных особенностями диагностической методики, а также временным статусом внешнего критерия:
Основные показатели процесса QA
В рамках Quality Assurance могут и должны быть использованы различные метрики и показатели качества продукта и процесса разработки. Метрики можно разделить на группы по параметрам, на основании которых они рассчитываются, по этапам жизненного цикла разработки, на которых они применяются, по целям и задачам, по стейкхолдерам, для которых они предназначены. Этот список можно продолжать и дальше.
В этой статье я решил собрать вместе и рассмотреть самые основные, на мой взгляд, группы критериев и измерителей для QA процесса. А в каждой группе я перечислю только самые важные и показательные, опять же на мой взгляд, метрики а также разберу, для чего они необходимы, в каких ситуациях полезны и как их использовать.
Какими должны быть метрики?
Сама по себе метрика в контексте ПО — это численное выражение какого-либо свойства, качества самого продукта или процесса его разработки. Иными словами, это то, с помощью чего мы можем измерить, сравнить и оценить ПО.
Теперь буквально пара комментариев по поводу значений и свойств метрик:
Основные группы метрик для QA
Теоретически возможно придумать свою характеристику, формулу или показатель практически для каждого, даже самого незначительного действия, этапа или статуса процесса QA. Можно учитывать каждый артефакт, все переходы дефектов по статусам, вычислять количество тестов в наборе. Однако, самый важный вопрос, который сразу следует задать себе, когда возникает желание что-то измерить: «Зачем нужна эта информация, как ее можно использовать?». При формирования набора метрик, следует отталкиваться от целей, планов по улучшению процессов и продукта.
Итак, в этой статье мы не будем рассматривать обычные количественные показатели прогресса тестирования, которые используются в большинстве отчетов и статусов. Вместо этого разберем, какие сферы, артефакты и области разработки с точки зрения Quality Assurance мы должны измерять и контролировать для оценки качества выполнения работы. Анализ и оптимизация этих точек крайне важнны для эффективного взаимодействия со стейкхолдерами (https://doitsmartly.ru/all-articles/sw-testing/120-stakeholders-for-qa.html) и разработки ПО в целом:
1. Требования к разрабатываемому ПО.
Совершенно точно мы должны понимать, что разрабатываем и тестируем, и степень этого понимания необходимо уметь оценить. Потенциальные риски или пропущенные проблемы на уровне спецификации могут привести к самым серьезным и дорогим ошибкам.
2. Качество разрабатываемого продукта.
Тут все очевидно: необходимо иметь возможность оценивать качество разработки и ПО, чтобы делать прогнозы и оценку рисков. Важно понимать, насколько продукт является качественным и надежным, опираясь не только на наличие или отсутствие найденных ошибок, но как раз прогнозируя, много ли потенциальных проблем.
3. Возможности команды QA.
Здесь тоже просто: для того, чтобы управлять процессом тестирования, планировать работы и прогнозировать сроки, требуется всегда иметь не только актуальный статус задач, но и знать возможности команды QA.
4. Качество работы команды тестирования.
Помимо качества самого продукта нужно измерять эффективность самого процесса QA и команды тестирования. Чтобы постоянно оптимизировать и улучшать качество работы, требуется знать, где мы находимся сейчас, что позволяет двигаться вперед, а что отбрасывает назад.
5. Обратная связь и удовлетворенность продуктом.
Последняя область, но, конечно же, не по значимости, а по отзывам стэйкхолдеров процесса, потребителей наших услуг, пользователей продукта. Очень важно иметь возможность измерять общую степень удовлетворенности продуктом, выделять тенденции и делать соответствующие выводы. Правильно подобранные для этой группы метрики позволят вовремя выявить возможные проблемы и оперативно применить обратную связь для улучшения процессов.
Далее рассмотрим, какие именно метрики входят в каждую группу, разберем, как именно их можно оценить. Для каждой группы я приведу несколько примеров возможных метрик и опишу их значение. Более подробно эти и некоторые другие индикаторы QA процесса разобраны в моей статье «Самые важные метрики QA» (https://doitsmartly.ru/all-articles/sw-testing/133-the-most-important-metrics-in-qa.html).
Группа 1 — Требования к разрабатываемому ПО
Эта группа метрик позволит оценить, насколько мы проработали требования (user story) к ПО, определить уязвимые места и наиболее сложные, потенциально проблемные фичи ПО, понять, где требуется особый контроль.
1. Тестовое покрытие требования
«Общее количество тестов» / «Общее количество требований»
Назначение метрики: выявить слабые места в тестовом покрытии, подсветить риски.
Метрика вычисляется как количество связей каждого требования с остальными требованиями. При этом используется среднее по всем требованиям значение.
Назначение метрики: дать основание для оценки сроков тестирования и учета возможных рисков. Зная степень взаимного влияния требований друг на друга, можно, например, запланировать дополнительное время и кейсы для сквозного тестирования, проработать регрессионные проверки, посмотреть в сторону интеграции и т.п.
Назначение метрики: показать, как много уже реализованных требований приходится переделывать от релиза к релизу при разработке новых фич. Также метрика дает представление о том, насколько легко масштабируется функционал системы, добавляются новые возможности.
Группа 2 — Качество разрабатываемого продукта
Данная группа метрик позволяет оценить и сравнить от релиза к релизу как качество ПО, так и качество самой разработки.
1. Плотность дефектов
«Количество дефектов в отдельном модуле» / «Общее количество дефектов в ПО»
Рассчитывается как доля дефектов от общего их числа, приходящихся на отдельный модуль в рамках итерации или релиза.
Назначение метрики: подсветить, какая часть ПО является наиболее проблемной. Эта информация поможет при оценке и планировании работ с данным модулем, а также при анализе рисков.
Назначение метрики: показать, на что уходят усилия команды — занимается ли она больше разработкой и отладкой новых фич или основную часть времени тратит на исправления в уже существующих частях ПО.
Назначение метрики: дать оценку качеству разработки и исправления дефектов, а также сложности продукта или отдельного модуля.
Группа 3 – Возможности и эффективность команды QA
Основная задача данной группы метрик заключается в том, чтобы выразить в цифрах, на что способна команда тестирования. Эти показатели можно и нужно рассчитывать и сравнивать на регулярной основе, анализировать тенденции, наблюдая, как на работу команды влияют те или иные изменения.
1. Скорость работы (velocity) команды QA
«Количество story points за N итераций)» / «N»
Рассчитывается как отношение реализованных story points \ требований \ user stories за несколько итераций \ sprints к количеству выбранных итераций.
Назначение метрики: численно выразить возможности, скорость работы команды для дальнейшего планирования объема работ и анализа трендов развития. Метрика позволяет следить за скоростью работы QA, наблюдать за тем, какие внутренние или внешние воздействия на команду влияют на эту скорость.
2. Среднее время жизни дефекта
«Суммарное время исправления найденных дефектов» / «Количество дефектов»
Общее время, в течение которого были открытыми дефекты, найденные в рамках итерации или релиза, к сумме дефектов.
Назначение метрики: показать, сколько в среднем времени уходит на работу с одним дефектом: на его регистрацию, исправление и воспроизведение. Данный показатель позволит оценить время, необходимое на тестирование, выделить области ПО, с которыми возникают наибольшие сложности.
Группа 4 — Качество работы команды тестирования
Задача этого набора метрик: оценить, насколько качественно тестировщики выполняют свои задачи, определить уровень компетенций и зрелости команды QA. Обладая таким набором показателей, можно сравнивать команду с ней же на разных отрезках времени или с другими, внешними группами тестирования.
1. Эффективность тестов и тестовых наборов
«Количество обнаруженных ошибок» / «Количество кейсов в тестовом наборе»
Назначение метрики: показать, как много ошибок в среднем позволяют обнаружить наши кейсы. Эта метрика отражает качество тест дизайна и помогает следить за тенденцией его изменения.
Назначение метрики: продемонстрировать качество тестирования и эффективность обнаружения ошибок — какая доля дефектов была отфильтрована, а какая прошла на продуктив.
Отношение времени, потраченного командой непосредственно на целевые QA активности, к общему количеству часов.
Назначение метрики: во-первых, увеличить точность планирования, а во-вторых, отслеживать и управлять эффективностью работы команды.
Назначение метрики: позволяет использовать поправочный коэффициент для последующих оценок.
Группа 5 — Обратная связь и удовлетворенность пользователей
И в заключение, группа метрик, показывающая, как продукт был принят конечными пользователями, насколько он соответствовал их ожиданиям. При этом в рамках оценки взаимодействия с пользователями нам важна не только обратная связь о самом ПО. Еще одна значимая задача этой группы метрик — показать, удовлетворены ли пользователи процессом взаимодействия с командой ИТ в целом и QA в частности.
1. Удовлетворенность пользователей ИТ сервисом
Проводится регулярный опрос удовлетворенности пользователей сервисом ИТ с выставлением баллов.
Назначение метрики: показать, доверяют ли пользователи команде ИТ, понимают ли, как и почему организована ее работа, насколько эта работа оправдывает ожидания.
Назначение метрики: определить степень участия внешних стейкхолдеров (бизнес, инфраструктура, пользователи, поддержка и т.д.) в работе над продуктом. Имея на руках такую метрику, можно сориентироваться, где требуется получить обратную связь, чтобы однажды не столкнуться с проблемами и непониманием.