У різних способах проведення опитування можуть бути використані наступні методи отримання судження від експерта:
1) метод розбиття на безлічі - якщо деякий ознака необхідно виміряти в номінальній шкалі, тобто по заздалегідь чітко сформульованим ознакою пропонується розділити об'єкти на безлічі по однаковій мірі інтенсивності прояви зазначеного ознаки. Наприклад, необхідно розбити 5 фахівців на три безлічі - «фахівці-теоретики», «фахівці-практики» і «універсальні фахівці». Варіант відповіді від експерта: фахівці-теоретики - Іванов, Петров, фахівці-практики - Соколов, універсальні фахівці - Сидоров, Кузнецов. Зазвичай безлічі описуються таким чином, щоб вони не перетиналися. Число варіантів 3! * 3 * 3 + (2! * 2 * 2 * 2) * 3 + 3 = 54 + 48 + 3.
2) методи ранжирування - якщо об'єкти упорядковуються, оцінюються в рангової (порядкової, ординальне) шкалою. При цьому кожному з них можна поставити у відповідність число, зване ранг му.
Зазвичай перший ранг присвоюється найбільш кращого об'єкта, другий - наступного і т.д. Якщо експерт не може диференціювати по перевагу деякі об'єкти і надає їм однакові ранги, для них розраховують так звані стандартизовані ранги. які визначаються, як середнє арифметичне місць, займаних об'єктами з однаковими рангами.
Розглянемо спрощений приклад. Нехай потрібно впорядкувати 5 способів вдосконалити склад апарату та організаційну структуру управління підприємством:
А) змінити генерального директора на р Смирнова;
Б) змінити генерального директора на р Колосова;
В) підпорядкувати відділ збуту безпосередньо генеральному директору;
Г) ввести в штат додаткового секретаря ген. директора;
Д) змінити начальника відділу збуту.
Припустимо, експерт Петров вважає найкращими зміни у відділі збуту, додавання секретаря йому представляється безглуздим, а варіанти зміни директора він вважає рівноцінними і не може визначити, якому з них присвоїти 3-й, а якого - 4-й ранг. Тоді він пропонує наступне ранжування:
(Для способів А, Б і Г стандартизований ранг підрахований як (3 + 4 + 5) / 3 = 4)
Розрахунок стандартизованих рангів дозволяє порівнювати рангові оцінки різних експертів між собою і формувати групове ранжування. В іншому випадку таке порівняння було б скрутним (справді, останнє місце для Петрова відповідає четвертому рангу, для Сидорова - другого, в результаті, чим гірше експерт диференціює альтернативи, тим вище ранг у оцінених їм об'єктів).
У методах ранжирування можна виділити:
2а) метод безпосереднього упорядкування (розглянута вище процедура). Його зручно використовувати для впорядкування невеликої кількості об'єктів. Якщо їх багато, використовують інші методи, такі як
2б) двійкове порівняння - при якому об'єкти порівнюються попарно. Результати записуються у вигляді квадратної матриці, наприклад, її елементи можуть бути розраховані за формулою:
де n - число порівнюваних об'єктів.
Діагональ матриці не заповнюється (об'єкт не порівнюється сам з собою).
Якщо експертам вирішується не диференціювати деякі об'єкти, формула може мати вигляд:
3) методи отримання чисельних оцінок. які можуть вимірюватися в шкалі різниць, шкалою відносин верб абсолютної шкалою. Для оцінок в шкалі різниць можна сказати, на скільки одна оцінка більша за іншу; в шкалі відносин - у скільки разів. Оцінка в абсолютній шкалі є число, над яким визначено різні арифметичні дії (оцінки можна складати, множити на інші числа і т.п.) Прикладом шкали різниць є температурна шкала (можна сказати, що завтра буде на 5 про тепліше, ніж сьогодні, але не можна сказати, у скільки разів буде тепліше). Прикладом шкали відносин може служити шкала валют - розташувавши їх в порядку зростання курсу, можна сказати, у скільки разів кожна з них дорожче або дешевше інший, але не можна сказати, на скільки саме, якщо не приводити їх до загальної одиниці виміру.
Всі такі методи можна розділити на дві групи:
3а) оцінка кількісних факторів, для яких існують одиниці виміру, однак відсутній будь-який об'єктивний вимірювальний метод (наприклад, оцінка вартості нового проекту в рублях, часу виконання наукової розробки в місцях і т.п. оцінки). Процедура отримання такої оцінки не вимагає особливих роз'яснень. Найбільший інтерес представляє
Найбільш поширеним прийомом тут є побудова бальних шкал. Для цього розглядається якість ділиться на деяке опорне число градацій, причому кожної градації має відповідати певне поняття, що виражає ступінь інтенсивності прояву якості. Потім кожної таке градації приписується відповідне число балів. Наприклад, при оцінці знань за загальноприйнятою 4-бальною системою оцінка 5 відповідає поняттю «відмінно», 4 - «добре», 3 - «задовільно» і 2 - «незадовільно». П'ята градація, що відповідає одному балу, не використовується (хоча колись була прийнято використовувати і таку оцінку).
При використанні бальної шкали необхідно враховувати наступне:
- розмах шкали (число градацій) повинен відповідати завданням дослідження. При цьому слід пам'ятати, що збільшення цього числа дозволяє більш тонко диференціювати об'єкти; але занадто велике число градацій ускладнює експерту розрізняти переходи між градаціями, і цілим рядом градацій він просто перестає користуватися (це пов'язано з психологічним поняттям «порога сприйняття»). Наприклад, багато викладачів використовують не чотирьох-, а 7-бальну шкалу, яка включає 5, 4.5 (5 або 4 +), 4, 3.5 (4 або 3 +), 3, 2.5 (3 або 2 +) і 2 бали. Така шкала дозволяє більш тонко врахувати в оцінці відмінності в знаннях. Однак, коли пропонують оцінювати знання за 100-бальною шкалою, це зазвичай призводить до того, що викладач в неявному вигляді просто замінює її на звичні і більш зручні шкали меншого розмаху (справді, яким чином вловити різницю між 51 і 52 балами?) ;
Відзначимо, що іноді поняття розмаху шкали і числа балів розглядають окремо (наприклад, говорять про 5-бальною шкалою з чотирма градаціями, маючи на увазі, що найбільш високий бал дорівнює 5). Пропонується в подальшому вважати число градацій і балів рівними, причому кожної градації відповідає одна оцінка з постійним кроком (і найменший бал не обов'язково 1), як це робилося в розглянутих прикладах. Це означає, що мова буде йти про дискретних бальних шкалах (що складаються з окремих значень). Крім того, бальні шкали можуть бути безперервними або змішаними - коли кожної градації встановлюється відповідно не одне певне число, а інтервал, в рамках якого експерт може вибрати будь-яке число або будь-яке з набору чисел (наприклад, якщо за відмінні знання можна поставити будь-яку оцінку на проміжку] 4; 5] - 4.1, 4.98 і т.п. то шкала безперервна, а якщо можна поставити 5 або будь-яке число на проміжку] 4; 4,5], то змішана). Дискретні бальні шкали мають найбільшого поширення, причому не рекомендується використовувати більше 10 дискретних значень оцінок.
- шкала повинна бути рівномірною. тобто різниця в ступені інтенсивності прояву досліджуваної ознаки повинна бути однакова між будь-якими двома сусідніми градаціями. Якщо ця вимога не виконується, отримана шкала буде по суті рангової шкалою.
Це легко проілюструвати на прикладі побудови бальної шкали для кількісної ознаки, наприклад, для рівня прибутковості деякого проекту. Якщо прибуток коливається від 0 до 100 тис. Руб. за певний проміжок часу, можна побудувати 5-бальну шкалу, приймаючи за один бал 20 тис. руб. Тоді оцінка 1 відповідає прибутку від 0 до 20 тис. Руб. включно, 2 - від 20 до 40 тис. руб. і т.д. 5 - від 80 до 100 тис. Руб. При цьому можна очікувати, що об'єкт, який отримав 4 бали, буде приблизно вдвічі прибутковіше об'єкта, який отримав 2 бали. Насправді це відношення може прийняти значення [1.5; 4 [([1.5 = 60/40; 4 = 80/20 [). Звичайно, рівень наближення досить значний, але все ж число 2 потрапляє в отриманий інтервал. Тому можна сказати, що оцінка 4 вдвічі вище, ніж оцінка 2. Можна також сказати, що оцінка 4 на бал вище, ніж оцінка 3, яка, в свою чергу на бал вище, ніж оцінка 2 (тобто об'єкт, що отримав 4 бали приблизно на стільки ж краще отримав 3 бали, ніж той краще отримав 2 бали). Можливо, це завжди буде так?
Припустимо тепер, що шкала побудована по-іншому, і оцінка 1 відповідає прибутку від 0 до 2 тис. Руб. включно, 2 - від 2 до 5 тис. руб. 3 - від 5 до 30 тис. Руб. 4 - від 30 до 60 тис. Руб. і 5 - від 60 до 100 тис. руб. Тут різниця між кордонами інтервалів однакова (дорівнює 20), як в першому прикладі, а спочатку дорівнює 2 = 20, потім 3 = 5 - 2, потім 25, 30 і 40 відповідно. Тепер об'єкт, що отримав 4 бали, може за величиною прибутку бути краще об'єкта, який отримав 2 бали, в число раз [6; 30 [([6 = 30/5; 30 = 60/2 [), але ніяк не в два рази. Говорити про шкалою різниць також безглуздо. Зате про шкалою порядків говорити, безумовно, можна, оскільки оцінені за такою бальною шкалою об'єкти виявляться проранжувати (якщо оцінка менше, то і прибуток менше, тобто відношення більше-менше визначено).
Повернемося до оцінки якісних ознак.
Для якісних ознак дотримання вимоги рівномірності є досить складною проблемою. Воно визначається насамперед чіткістю і точністю змістовних формулювань самих градацій. Приклад неправильно побудованої шкали наводиться у відомому анекдоті - оцінка в 5 балів за відмінні знання, 4 - за правильну відповідь на запитання «Як звуть викладача?», 3 - на питання «Який предмет Ви прийшли здавати?» І 2, якщо студент не знає навіть цього. Тут різниця в ступені інтенсивності прояву досліджуваної ознаки (рівня знань), які значно відрізняються градаціями 4-5 і, наприклад, градаціями 2-3.
Бальна шкала легко переводиться в процентну. Для цього оцінки необхідно спочатку нормувати (після цього вони будуть вимірюватися в частках одиниці), а потім помножити на 100. Наприклад, якщо компетентність Петрова, Сидорова і Кузнєцова, оцінена за 4-бальною шкалою (від 1 до 4) складає відповідно 3, 3 і 4 бали, то сума цих балів становить 3 + 3 + 4 = 10. Нормовані оцінки складуть 0.3, 0.3 і 0.4 бала, а процентні - 30%, 30% і 40%. Отже, якщо використовувати оцінки компетентності в якості ваг при розрахунку групової оцінки, то по 30% груповий оцінки повинні складати оцінки Петрова і Сидорова, а 40% - оцінка Кузнєцова.