2. Методики экспертных опросов. Непосредственное ранжирование. Пусть имеется n параметров, характеризующих качество продукции (например, n ее свойств). Каждому j-му эксперту предлагается проранжировать (упорядочить) эти параметры, причем наиболее важному свойству присваивается ранг = 1, следующему по важности – ранг = 2 и т.д. вплоть до ранга = n (в ситуациях, когда несколько параметров равноценны, им присваиваются одинаковые, так называемые “связанные ранги”). При небольшом числе параметров (n 10) процедура ранжирования не представляет каких-либо трудностей. В случаях же, когда n > 10, применяются различные приемы облегчения этой процедуры. Чаще всего при экспертизе качества используется следующий прием. Из перечня параметров, содержащихся в предложенной эксперту анкете, он выбирает один, который считает самым важным, и присваивает ему ранг = 1. Этот параметр затем вычеркивается из перечня. Аналогичным образом из оставшегося перечня эксперт опять выбирает параметр, который он считает самым важным, и присваивает ему ранг = 2 и т.д. После первоначального ранжирования техническим работником – членом рабочей группы производится операция преобразования рангов. Заключается она в том, что для всего упорядоченного ряда параметров числовая последовательность рангов заменяется обратной, т.е. минимальный ранг = 1 получает наименее важный, находящийся в конце ряда параметр, следующий от конца – ранг = 2 и т.д., а наиболее важный параметр – самый высокий ранг, равный при отсутствии связанных рангов = n. Необходимость в первоначальной ранжировке и последующем ее преобразовании объясняется тем обстоятельством, что эксперту психологически удобнее выбирать из перечня, начиная именно с наиболее, а не с наименее важного. В экспериментальной психологии установлено, что на производимую экспертов ранжировку параметров может оказывать влияние порядок их расположения в предъявленном ему перечне, так как у эксперта подсознательно может возникнуть мысль, что параметры, находящиеся в начале перечня, являются более важными, и наоборот . Для нейтрализации этого явления целесообразно порядок расположения параметров в перечне делать случайным, о чем сообщать эксперту до начала его опроса. Задача определения коэффициентов весомости . Коэффициент весомости i-го параметра определяется по формуле: (1) где N – общее число опрашиваемых экспертов (j = 1, 2, …, N); – преобразованный ранг, присвоенный j-м экспертом i-му параметру. Понятно, что из формулы (1) вытекает условие (2) Три следующие описываемые ниже процедуры постановки вопросов относятся к группе, объединяемой общим названием «методы парных сравнений (предпочтений)». Суть всех этих методов заключается в стремлении в максимальной степени упростить работу эксперта, свести ее к элементарным операциям, при которых эксперту, вообще говоря, можно даже не пользоваться числами. Все эти операции абсолютно однотипны: из двух предъявленных эксперту параметров он должен выбрать наибольший (наилучший). Подавляющая часть экспертизы, связанной с обработкой результатов опроса, при этих методах выполняется рабочей группой Рассмотрим три наиболее часто применяющихся при экспертизе качества разновидности метода парного сравнения. 2.2 Первый метод частичного парного сравнения (матричный метод). Каждый эксперт получает неполную матрицу, на осях абсцисс и ординат которой расположены сравниваемые параметры (см. рис.1 – пример матрицы для случая пяти параметров). Заполняются только те клетки матрицы, которые находятся справа от исходящей диагонали. В каждой клетке матрицы эксперта просят поставить номер того из двух сравниваемых параметров (определяющих координаты этой клетки), который, сточки зрения эксперта, является большим (лучшим, наиболее важным). Заполненную экспертом матрицу обрабатывает технический работник. Он подсчитывает и заносит в крайний столбец матрицы величину - частоту превосходства i-го параметра, указанного в строке, над параметрами, указанными в пересекающихся с этой строкой столбцах, а также величину - частоту превосходства i-го параметра, указанного в столбце, над параметрами, указанными в пересекающихся с этим столбцом строках (величина заносится в нижнюю строку матрицы). Затем для каждого параметра определяется величина , т.е. суммарная для j-го эксперта частота превосходства i-го параметра под всеми остальными (n–1), Параметр1 Параметр 2 Параметр 3 Параметр 4 Параметр 5 - частота превосходства параметра в строке над параметрами в столбце Параметр1 1 3 1 5 2 Параметр 2 - 3 2 5 1 Параметр 3 - - 3 3 2 Параметр 4 - - - 5 0 Параметр 5 - - - - - - частота превосходства параметра в столбце над параметрами в строках - 0 2 0 3 - Рис. 1. Пример таблицы для метода парного сравнения Для примера, показанного на рис. 1, в табл. 1 приведены частоты . Таблица 1 Параметры 1 2 3 4 5 2 1 2 0 - - 0 2 0 3 2 1 4 0 3 Зная суммарные частоты можно определить среднюю для всех экспертов суммарную частоту (5) Используя частоты , можно решать вторую и третью задачи. Задача определения коэффициентов весомости. Общее число проведенных каждым экспертом парных сравнений равно , (6) Тогда для всей совокупности экспертов коэффициент весомости (при условии, что ) можно подсчитать по формуле: , (7) Вполне возможна ситуация, когда величины , и даже какая-то будут равны 0. Понятно, что в этом случае формула (7) неприменима и коэффициент весомости назначается экспертным методом. 3. Определение согласованности мнений экспертов 3.1 Каждый эксперт ранжирует все объекты 3.2 Подсчитывается сумма рангов каждого объекта , где - ранг i-го объекта j-го эксперта. в) Подсчитывается отклонение от средней суммы рангов , (12) где - средняя сумма рангов определяемая выражением: , (13) 3.3 Подсчитывается сумма квадратов отклонений : , (14) 3.4 Коэффициент конкордации для N экспертов определяется по формуле: . (15) Так как 0 ≤ ≤ 1, то при = 0 полностью отсутствует какая-либо согласованность в мнениях N экспертов, а при =1 имеется полная согласованность в мнениях всех N экспертов. 4. Порядок выполнения работы 4.1 Сформировать экспертную группу из девяти студентов 4.2 Провести опрос о принятии решений по последовательности разработки подсистем автоматизированной информационной системы для промышленного предприятия ( той задаче, которая должна решаться прежде всего присвоить ранг 1 , затем – ранг 2 и далее по степени убывания важности) АНКЕТА №п.п Наименование подсистемы Эксперт1 Эксперт2 Эксперт3 Эксперт4 Эксперт5 Эксперт6 Эксперт7 Эксперт8 Эксперт9 Оценки от1 до 12 1 Управление взаимоотношений с поставщиками 2 Стратегическое планирование 3 Оперативное планирование 4 Оперативное управление 5 Управление взаимоотношений с потребителями 6 Управление финансами 7 Автоматизация бухгалтерского учета 8 Составление отчетов по хозяйственной деятельности предприятия 9 Электронный отдел кадров 10 Управление персоналом 11 Реализация безбумажного документооборота 12 Автоматизация технологических процессов 4.3 Определить коэффициенты весомости по всем перечисленным в анкете показателям. Воспользоваться методами непосредственного ранжирования и неполных парных сравнений. 4.4 Определить согласованность мнений экспертов по коэффициенту конкордации.

Ниже — подробное решение задачи по методикам экспертных опросов, с пояснениями и пошаговыми примерами. Мы ориентируемся на общий школьный уровень и не привязываемся к конкретному предмету или классу. Поскольку цель задачи — «Понять», объяснения максимально детальные. 1) Что обычно делают в рамках задачи 2. Методики экспертных опросов - Непосредственное (прямое) ранжирование: эксперт упорядочивает параметры по степени важности. Варианты рангов: 1 — самый важный, 2 — второй по важности, и т.д. При равной важности могут ставиться связанные ранги (одинаковые). - Преобразование рангов: чтобы психологически удобнее выбирать сначала наиболее важное, ранги преобразуют обратным образом: ранги 1…n превращаются в n…1 (то есть рангу 1 соответствует n, рангу n — 1). Итоговый ранг i-го параметра от эксперта j называется преобразованным рангом. - Коэффициенты весомости: для i-го параметра коэффициент весомости определяется как сумма преобразованных рангов по всем опрашиваемым экспертизам, нормируемая на общую сумму преобразованных рангов по всем параметрам и экспертам. Часто формула записывается так: w_i = (сумма по всем экспертам j преобразованных рангов r'_{ij}) / (сумма по всем параметрам k и всем экспертам j преобразованных рангов r'_{kj}) где r'_{ij} — преобразованный ранг i-го параметра у j-го эксперта. - Методы парных сравнений (парные предпочтения): в группе существует три самых популярных варианта. В задаче приведены два варианта: частичное парное сравнение (матричный метод) и две другие формы. В любом случае идея такая: эксперт выбирает в паре двух параметров, какой из них более предпочтителен. Затем рабочая группа сводит эти ответы к числовым весам по парам (частоты превосходства) и дальше получает коэффициенты весомости. - Согласованность мнений экспертов: оценивают конкордацию между ранжированиями разных экспертов. Основной показатель — коэффициент конкордации Кендалла-В (W). Он вычисляется по сумме ранговых сумм и имеет смысл варьироваться в диапазоне от 0 (полной несогласованности) до 1 (полной согласованности). Теперь пошагово разберём три ключевые части: (1) непосредственное ранжирование и преобразование рангов, (2) частичное парное сравнение (матричный метод), (3) определение коэффициента конкордации (конкордации мнений экспертов). A. Непосредственное ранжирование и преобразование рангов (пункт 2.1) Цель: получить преобразованные ранги r'_{ij} для каждого эксперта j и каждого параметра i. Шаги: 1) Попросить экспертов пронумеровать параметры по убыванию важности. - Если n <= 10 — можно просто выписать ранги 1, 2, 3, ..., n без перекрестного анализа. - При большем n (n > 10) часто применяют прием: эксперт выбирает самый важный параметр и ставит ему ранг 1, затем удаляет его из списка и повторяет выбор, пока не пронумерует все параметры. Это упрощает задачу для экспертов. 2) Преобразование рангов (для психологической удобности и для расчётов): - Преобразованный ранг r'_{ij} = n - r_{ij} + 1. - Таким образом, наибольший исходный ранг (1) становится преобразованным рангом n, а наименьший исходный ранг (n) — преобразованным рангом 1. - Преобразованные ранги удобны, потому что более важный парамет получает больший преобразованный ранг. 3) Вычисление коэффициента весомости по всем экспертам: - Для i-го параметра суммируем преобразованные ранги по всем экспертам: S_i = sum_{j=1..N} r'_{ij}. - Общая сумма всех преобразованных рангов по всем параметрам и экспертам: T = sum_{i=1..n} sum_{j=1..N} r'_{ij}. - Тогда весомость i-го параметра: w_i = S_i / T. - Примечание: если некоторые w_i оказываются равны нулю (например, все эксперты считают этот параметр наименее важным), формулу можно скорректировать вручную или задать вес по экспертному методическому правилу. 4) Пример (упрощённый): - Пусть n = 4 параметры, и у одного эксперта ранги: r = [1, 3, 2, 4]. - Преобразованные ранг: r' = [4, 2, 3, 1] (для n=4: r' = n - r + 1). - По одному эксперту S_i = r'_i: S = [4, 2, 3, 1], T = 10. - Вес: w = [0.4, 0.2, 0.3, 0.1]. - Если есть несколько экспертов, складываем по каждому i и делим на общую сумму. B. Частичный парный метод сравнения (матрица, принцип 2.2) Цель: сделать ранжирование легче, сведя работу к элементарным решениям «выбери между двумя параметрами, какой лучше». Шаги (для каждого эксперта): 1) Выдать экспертам неполную матрицу: на осях параметры 1..n. Заполняются только клетки справа от исходящей диагонали (то есть пары (i, j) с i < j). 2) В каждой клетке эксперт должен указать, между какими двумя параметрами он считает более важный: число по одной из двух номинаций — например, в клетке (i, j) указывают, какой параметр более важен: i или j. - Конкретно: в клетке записывается номер того параметра, который считается более важным среди пары (i, j). Например, если для пары (1, 3) эксперт считает параметр 3 более важным, то в клетке записывается 3. 3) Обработка заполненной матрицы техническим работником: - Для каждого параметра i подсчитывают частоту превосходства над другими параметрами в строке, то есть сколько раз параметр i был указан как более важный в строке i по сравнению с параметрами столбцов правее от диагонали. - Аналогично, для каждого параметра i подсчитывают частоту превосходства над параметрами в столбце, то есть сколько раз параметр i был указан как более важный в столбцах над строками. - Итоговая частота превосходства i-го параметра равна сумме частот из строки и частот из столбца: F_i = F_row(i) + F_col(i). (Здесь возможны небольшие различия в формулировке в методических источниках; суть — сколько раз i «побеждает» в парных сравнениях.) 4) Пример (упрощённый для иллюстрации, без расчётов по таблицам из оригинального примера): - Пусть n = 4, для пары (1,2) эксперт указал 1 (то есть параметр 1 важнее 2); пара (1,3) — 3; пара (1,4) — 4; пара (2,3) — 2; пара (2,4) — 2; пара (3,4) — 4. - Подсчитываем частоты: для каждого i считаем, сколько раз i «побеждал» в пары (i, j). - Получаем F_i для каждого i. 5) Нормализация весов: - Общая сумма всех F_i по всем экспертам: F_total = sum_i F_i. - Весомость i-го параметра по всем экспертам: w_i = F_i / F_total. 6) Комментарий по объединению нескольких экспертов: - Частоты можно считать суммарно по всем экспертам (сложить F_i по j и затем нормировать). - При наличии зависимости между результатами экспертов можно использовать весовую среднюю или другие методы агрегации, но базовый подход — простая сумма частот. Важно помнить: - В обоих методах возможны ties (связанные ранги). Для парных сравнений можно учитывать их как равные — дать каждому из пары поровну долю очков (например, по 0.5 каждому участнику) и продолжать расчёты. - При неполном парном сравнении (матрица заполняется не полностью) итоговые частоты и веса всё равно считаются по тем парам, которые были затронуты экспертами. C. Определение согласованности мнений экспертов (пункт 3) Цель: оценить, насколько мнения экспертов сходны между собой. Шаги (для порядка 3.3–3.4 в тексте): 1) Каждый эксперт 3.2 ранжирует все объекты (в нашем случае — 12 подсистем). - Пусть для эксперта j есть ранг i-го объекта R_i^(j) (для i = 1..m, здесь m = 12). 2) Для каждого объекта i вычисляется сумма рангов по всем экспертам: - R_i = sum_{j=1..N} R_i^(j). 3) Вычисляется средняя сумма рангов: - R_bar = N * (m + 1) / 2. - Это средняя сумма рангов по каждому объекту, если рассмотреть вклад каждого эксперта. 4) Отклонения и сумма квадратов отклонений: - d_i = R_i - R_bar. - S = sum_{i=1..m} d_i^2. 5) Коэффициент конкордации (коэффициент согласованности) W: - W = (12 * S) / (m^2 * (N^3 - N)). - Где: - m — число объектов (здесь 12 подсистем), - N — число экспертов (в примере — 9 студентов). 6) Интерпретация: - W ∈ [0, 1]. - W близкий к 1 означает очень высокую согласованность мнений экспертов. - W близкий к 0 означает слабую совокупную согласованность. 7) Примечание: - В случае небольшого числа объектов или экспертов значения W могут быть нестабильны. При необходимости статистически можно оценивать значимость W (например, через симуляции or точечные тесты). В рамках учебной задачи это обычно не требуется, достаточно сами значения. D. Как это применить к заданию 4.4 (порядок выполнения работы) - 4.1 Собрать рабочую группу из девяти студентов. - 4.2 Провести опрос по подсистемам автоматизированной информационной системы. В анкете 12 позиций. Для каждой подсистемы зафиксировать, какая из подсистем важнее другой (ранжирование 1, 2, …, 12). Обеспечить рандомизацию порядка для нейтрализации эффекта расположения элементов в списке. - 4.3 Определить коэффициенты весомости по всем 12 пунктам анкеты двумя способами: - Прямое ранжирование: каждый эксперт самостоятельно расставляет ранги; затем выполняем преобразование рангов и считаем w_i по формуле w_i = sum_j r'_{ij} / sum_{k} sum_j r'_{kj}. - Частичные парные сравнения (матричный метод): по каждому эксперту заполняем верхнюю правую часть матрицы пар сравнения, затем считаем частоты превосходства по каждому параметру (F_i) и нормируем: w_i = F_i / sum_i F_i. - 4.4 Определить согласованность мнений экспертов по коэффициенту конкордации W (для N=9 экспертов и m=12 подсистемами). Короткое практическое примечание по применимости на экзамене: - Чётко соблюдайте порядок: сначала собрать ряды рангов у каждого эксперта, затем преобразовать ранги (r' = n - r + 1) для целей весов, затем посчитать w_i. - Для матричного метода объясните логику: эксперт делает выбор между каждой парой, затем сводим всю информацию к частотам побед по каждому параметру. - Для конкордации — помните формулу W и смысл: чем ближе к 1, тем выше согласованность. Дополнительные советы и небольшие примеры - Пример 1 (небольшой набор, прямое ранжирование): - Пусть n = 4 параметры, ранги эксперта: r = [1, 3, 2, 4]. - Преобразованные ранги: r' = [4, 2, 3, 1]. - Если другой эксперт дал r = [2, 4, 1, 3], тогда r' = [3, 1, 4, 2]. - Сумма по каждому параметру: S_1 = 4 + 3 = 7, S_2 = 2 + 1 = 3, S_3 = 3 + 4 = 7, S_4 = 1 + 2 = 3. - Общая сумма T = 7 + 3 + 7 + 3 = 20. - Веса: w_1 = 7/20 = 0.35, w_2 = 0.15, w_3 = 0.35, w_4 = 0.15. - Пример 2 (конкордация, небольшие числа): - m = 3 подсистемы, N = 4 эксперта. - Каждый эксперт даёт ранг (1,2,3) по трём подсистемам. Пусть суммы рангов по каждому объекту получаются R_1 = 10, R_2 = 8, R_3 = 6. - R_bar = N*(m+1)/2 = 4*(3+1)/2 = 8. - d_i: [2, 0, -2]. - S = 2^2 + 0^2 + (-2)^2 = 8. - W = 12*S / (m^2*(N^3 - N)) = 12*8 / (3^2*(64-4)) = 96 / (9*60) ≈ 0.178. - Значение W ≈ 0.178 говорит о умеренной согласованности; не идеальная, но есть общая тенденция. Итог - Вы получили подробное руководство по трём основным частям задачи: (1) прямое ранжирование и преобразование рангов, (2) частичное парное сравнение (матричный метод) с подсчётом частот превосходства и получением весов, (3) оценка согласованности мнений экспертов через коэффициент конкордации В (Кендалла). Приведены шаги и понятные примеры, чтобы можно было применить это к анкете из задачи (12 подсистем) и к числу экспертов (9 студентов). - Если хотите, могу помочь привести конкретные расчёты для вашего набора данных: какие именно ранги дали ваши эксперты, и затем посчитать преобразованные ранги, веса по прямому ранжированию и по матричному методy, а также вычислить коэффициент конкордации W.