Методы сложных экспертиз компьютерных систем

Способ экспертных оценок

1. Определение способа экспертных оценок.
Способ экспертных оценок, именуемый кроме этого экспертным опросом, в общем виде является опросом экспертов, компетентных в какой-либо, нужной исследователю области. Опрос таких лиц именуется экспертным, а установленные в его ходе суждения опрощеных о особенностях изучаемого явления — экспертными оценками.
Экспертная оценка — компетентное вывод, вывод специалиста по какой-либо из неприятностей, находящихся в сфере его компетенции.
Главные отличия экспертного опроса от массового пребывают в следующем:
— количество опрощеных в массовом опросе намного больше, чем в экспертном;
— экспертный опрос не есть неизвестным;
— экспертный опрос отличается более сложным инструментарием;
— труд специалистов, в отличие от труда опрощеных постоянно оплачивается.

2. Отбор специалистов.
При определении конкретного состава специалистов надлежит руководствоваться не только и не столько компетентностью специалистов, сколько валидностью их заключений. Как свидетельствует опыт, нередки случаи, в то время, когда компетентность специалиста не дает адекватной валидности. Это разъясняется многими событиями, в различной мере зависимыми от исследователя, организующего экспертный опрос и проводящего экспертизу.
Последовательность этих событий имеет психотерапевтическое свойство. Специалист с задатками фаворита пытается к доминированию собственных оценок, настаивая на них кроме того тогда, в то время, когда внутренне сомневается в их истинности. Человек конформистского склада ведет себя прямо противоположным образом, а конфликтогенный — склонен к оспариванию кроме того тех точек зрения вторых людей, с которыми по существу согласен. Практически всем людей свойственно смещать собственные оценки в сторону нейтральной середины, а часть специалистов возможно заинтересована в преднамеренном искажении информации. Все это должно учитываться исследователем. ‘
Проведение отбора специалистов, в большинстве случаев, осуществляется определением коэффициента и методом самооценки компетентности. Кандидатам раздаются карточки с тремя позициями оценки: К1 — высокая оценка- 1балл; К2 — средняя оценка — 0,5 балла; КЗ — низкая оценка — 0 баллов.
С их помощью, кандидаты оценивают собственный уровень теоретических знаний, уровень и практический опыт прогностической компетентности. По окончании ответов кандидатов, вычисляют коэффициент компетентности каждого по формуле К= (К1+К2+КЗ)/3 (пример карточки прилагается).
Слабость данного способа пребывает в вероятной неадекватности оценки.
Для подкрепления способа самооценки применяют способ коллективной (обоюдной) оценки. Но необходимо заметить, что этот способ может использоваться лишь в том случае, если специалисты знают друг друга в качестве экспертов. При применении этого способа кандидатам предлагается перечень их «соперников» и ставится вопрос: «Кого бы Вы выбрали в качестве специалиста из предложенного перечня?». Помимо этого, в вопросе задается параметр выбора (Укажите ровно 25 человек).
На основании взятых данных строится таблица обоюдных оценок. , если результатов первой таблицы не хватает для определения специалистов, нужно выстроить уточненную таблицу обоюдных оценок, (материал прилагается).
На основании способа самооценки и/либо способа обоюдной оценки отбирается необходимое количество специалистов-респондентов, которым и предлагаются анкеты.

3. Интеграция экспертных оценок.
Интеграция экспертных оценок имеется по сути дела совокупность приемов перевода количественного анализа этих оценок в качественный. Исходя из этого он, с одной стороны, неосуществим без предварительного обнаружения количественных показателей точек зрения специалистов, с другой — принципиально отличен от их традиционно количественной интерпретации.
Интегрирование (согласование, комплексирование) экспертных оценок нужно тогда, в то время, когда необходимо:
1) выработать научно обоснованное управленческое ответ;
2) сформулировать миниконцепцию, растолковывающую процессы и новые явления, происходящие в изучаемом микросоциуме, и дающую основание для теоретизирования.
Реализация интегрирования предполагает исполнение последовательности исследовательских операций в следующей последовательности:
1. Установление точек зрения специалистов по исследуемой проблеме в заочной форме, другими словами методом анкетирования, заполнения специалистами особых документов (карт, бланков), изучение монитором (исследователем) иных материалов и докладных записок экспертного характера.
2. Шкалирование распознанных точек зрения специалистов, т.е. сопоставление показателей их отношения к предмету экспертизы или по ранговой, или по номинальной, или метрической шкалам, либо по некоей совокупности этих шкал.
3. Согласование точек зрения специалистов по технике Делъфи, предусматривающей трех-шестикратное повторение заочных опросов специалистов и соответствующее число шкалирования их оценок. На каждом новом этапе опроса (интеграции) монитор информирует специалистов о итогах прошлого опроса, информирует им о мнении большинства и требует аргументировать собственный вывод, т.е. его совпадение либо расхождение с тем, которое претендует на господствующую роль. Наряду с этим на каждом этапе специалисту предлагается выяснить место собственного мнения в заблаговременно подготовленной шкале. Любой этап завершается статистической обработкой взятых от специалистов шкал, исчислением средних арифметических показателей, квартилей и медианы, определением показателей разброса точек зрения, обнаружением крайних точек зрения, т.е. очень отклоняющихся от оценок большинства. Обычных выразителей крайних господствующей оценки и мнений приглашают для принятие участия в последующих процедурах интегрирования экспертных оценок.
4. Очное выяснение взаимоотношений специалистов к разным вариантам и предмету экспертизы ответа обсуждаемой неприятности в групповой дискуссии. Она может проводиться как способами фокус-проблемного колеса «и группы», так и на базе иных способов активизации творческого мышления в группе — «мозговой штурм, синектика, ИПИД и т.п.
5. Ранжирование предложенных специалистами вариантов ответа исследуемой неприятности, их упорядочивание по трем, как минимум, основаниям:
1) степени популярности, т.е. представленности в коллективном мнении специалистов;
2) мере реализуемости, возможности практического исполнения;
3) последствиям их реализации для тех социальных совокупностей (и систем), в которых сложилась исследуемая неприятность.
Эта исследовательская операция делается по окончании и по результатам очного сопоставления точек зрения специалистов. В то время, когда в изучении используются не одна, а пара форм групповых дискуссий, появляется необходимость нескольких туров ранжирования, переплетения данной исследовательской операции с предыдущей. Данное ранжирование нужно для выработки оптимального последующего этапа и решения проблемы интеграции оценок специалистов.
6. Синтезирование экспертных оценок в форме мини-теории, т.е. непротиворечивого научно доказательного объяснения изученного явления, его тенденций и причин трансформации, возможностей влияния на него со стороны разных субъектов социальной судьбе. Эта операция требует от исследователя солидной теоретической подготовки (потому что создание мини-теории предполагает знание теорий более большого уровня), научной достоверности и аналитических навыков. Она призвана обобщить все оценки специалистов, отразить не только достигнутый уровень их согласия, но и мнения, выпадающие из неспециализированной их картины.
Разработка таковой мини-концепции нужна в двух отношениях:
во-первых, в качестве одного из «кирпичиков», из которых строятся социологические теории «среднего», а после этого и «большего» уровней;
во-вторых, для завершения процедуры интегрирования экспертных оценок.
7. Комплексирование экспертных оценок — последняя исследовательская операция по интеграции точек зрения специалистов. Ее конечный итог -комплексная программа ответа изученной неприятности (либо пара вариантов таковой программы). Она обязана логично вытекать из выше охарактеризованной мини-теории и содержать список мер, реализация которых обеспечит ответ исследовательского вопроса.
Предлагаемые меры дифференцируются:
— на стратегические (серьёзные и долгосрочные) и тактические (детализирующие первые);
— по времени выполнения (первостепенные, второочередные и т.п.);
— по затратам разнообразных ресурсов;
— по ожидаемому эффекту от этих затрат;
— по адресатам (организациям, персонам), могущим реализовать советы;
— по вторым основаниям, зависящим от способов и характера проблемы ее решения.
В большинстве случаев, экспертный опрос нацелен на уточнение догадок, пополнение интерпретации и разработку прогноза определенных социальных процессов и явлений. В таких опросах господствуют открытые формулировки, а закрытые вопросы предназначены только для оценки уровня уверенности, меры согласия либо несогласия с уже высказанными позициями вторых экспертов.
Обнаружение экспертных оценок нужно при анализе самые существенных качеств исследуемой неприятности, в особенности в обстановках дискуссионности их трактовок либо фактического отсутствия определенности в их осмыслении наукой. В таких случаях способ экспертных оценок выступает в роли главного способа изучения, программа его проведения отражается в общей программе изучения. В случае если же этот способ играется запасного роль, додавая данные к взятой иными способами, то исследователи обязаны составить особенную (независимую) программу его реализации. Главными ее компонентами будут формулировки, четко фиксирующие: а) проблемную обстановку; б) терминологию экспертных оценок (методом операционализации неспециализированных понятий); в) догадки, выносимые на экспертизу; г) комплекс требований, на базе которых будет производиться подбор специалистов (критерии их компетентности); д) индикаторы, разрешающие измерять суждения специалистов; е) инструментарий этих первичной обработки и замеров данных; ж) правила проведения и сценарий экспертизы, т.е. интегрирования оценок и процедуры согласования специалистов.

Литература
1. Григорьев С.И., Растов Ю.Е. Базы современной социологии, М., 2002.
2. Учебный социологический словарь/Под редакцией С.А.Кравченко. М., 1999.
3. Ядов В.А. Стратегия социологического изучения, М.,2001.

Способ организации сложных экспертиз

Рассмотренные выше недочёты экспертных оценок стали причиной необходимости создания способов, повышающих объективность получения оценок методом расчленения громадной начальной неопределенности неприятности, предлагаемой специалисту для оценки, на более небольшие, лучше поддающиеся осмыслению.

В качестве несложного из этих способов возможно использован метод усложненной экспертной процедуры, предложенный в методике ПАТТЕРН. В данной методике выделяются группы параметров оценки и рекомендуется ввести весовые коэффициенты параметров. Введение параметров разрешает организовать опрос специалистов более дифференцированно, а весовые коэффициенты повышают объективность результирующих оценок.

Развитием этого способа есть введение коэффициентов компетентности специалистов и разные способы совершенствования обработки оценок, даваемых различными специалистами по разным параметрам.

В качестве второго способа организации сложных экспертиз необходимо отметить способ решающих матриц, мысль которого была предложена Поспеловым как средство стратифицированного представления неприятности с громадной неопределенностью (разделение на пошаговое получение и проблемы оценок). К примеру, оценка влияния фундаментальных научно- исследовательских работ на проектирование сложного объекта. Наряду с этим конкретно специалистами оцениваются лишь веса направлений работ (подпроблем), каковые после этого нормируются на каждом из уровней (строчков матрицы). Так, любая строка характеризует относительный вклад каждой подпроблемы в реализацию всей неприятности, а в подпроблемы – каждого направления, …

В следствии при применении способа решающих матриц оценка относительной важности сложной альтернативы сводится к последовательности оценок более частных альтернатив, что снабжает их громадную достоверность при других равных условиях. Иными словами, громадная неопределенность, имевшая место в начале ответа задачи, как бы поделена на более “небольшие”, лучше поддающиеся оценке, в соответствии с одной из главных идей системного анализа.

Способ решающих матриц использовался для реализации больших дорогостоящих проектов (космос, защита, фундаментальные НИР, …), при создании, реконструкции, конверсии фирм и научно-исследовательских организаций, инвестируемых страной, т. е. в обстановках, для которых увеличиваются требования к тщательности анализа факторов, воздействующих на принятие ответов.

Способы организации сложных экспертиз разрабатывают для увеличения объективности получения оценок методом применения главной идеи системного анализа — расчленения громадной начальной неопределенности неприятности на более обозримые, лучше поддающиеся осмыслению.

Эти способы возможно поделить па пара групп: способы, основанные на усложненной экспертной процедуре, предложенной в методике ПАТТЕРН (параграф 7.2); способ парных (попарных) сравнений Т. Саати (параграф 7.3); способ решающих матриц Г. С. его модификации и Поспелова (параграф 7.5); модели (способы) организации сложных экспертиз, основанные на применении информационного подхода (параграф 7.6). В их числе — модели оценки новшеств, хода и сравнительного анализа проектов их внедрения, способы анализа обстановок в динамике и статике, а также рыночных. Существуют кроме этого комплексные модели, объединяющие пара способов.

Способы экспертных оценок

Экспертными оценками именуют группу способов, применяемых для оценивания сложных совокупностей на качественном уровне. Термин специалист происходит от латинского слова expert (умелый).

При применении экспертных оценок в большинстве случаев предполагается, что вывод группы специалистов надежнее, чем вывод отдельного специалиста. В некоторых теоретических изучениях отмечается, что это предположение не есть очевидным, но в один момент утверждается, что при соблюдении определенных требований как правило групповые оценки надежнее личных. Исходя из этого принципиально важно при организации экспертных опросов вводить определенные правила и применять обработки и соответствующие методы получения экспертных оценок.

Метод организации экспертных обработки и опросов оценок

Изучению возможностей и особенностей применения экспертных оценок посвящено большое количество работ.

В них рассматриваются (рис. 7.1):

• неприятности формирования групп экспертов, включая требования к специалистам, размеры группы, вопросы тренировки специалистов, оценки их компетентности;

• формы экспертного опроса (разнообразные анкетирования, интервью, смешанные формы опроса) и методики организации опроса (а также методики анкетирования, мозговая атака, деловые игры и т.п.);

• подходы к оцениванию (ранжирование, нормирование, разные виды упорядочения, а также способы предпочтений, парных сравнений и др.);

• способы обработки экспертных оценок;

методы определения согласованности точек зрения специалистов, достоверности экспертных оценок (а также статистические способы оценки дисперсии, возможности для заданного диапазона трансформаций оценок, ранговой корреляции Кендалла, Спирмена, коэффициента конкордации и т.п.) и способы увеличения согласованности оценок методом соответствующих способов обработки результатов экспертного опроса.

Рис. 7.1

С обзором форм и обработки и методов получения экспертных оценок возможно познакомиться, к примеру, в [15], [18] и др.

В частности, Б. Г. Литвак на базе исследования и обобщения отношений шкал и видов измерений разглядывает изюминке мер близости разнообразные (на неметризованных и векторных отношениях, структурные, Евклидовы); характеризует методы и принципы, основанные на выборе разных отношений предпочтения и способов упорядочения (а также способы ранжирования и гиперупорядочения, способы парных сравнений Черчмена — Акоффа, Терстоуна, способ смешанной альтернативы Неймана -Моргенштерна, принцип отбрасывания альтернатив Эрроу, методы отыскания медианы Кемени, метризованные ранжирования, методы выбора по принципу Парето, способы определения предпочтений на множествах многомерных альтернатив и т.п.).

Целесообразность применения того либо иного способа определяется характером разбираемой неприятности, применяемой информации.

В случае если оправданы только качественные оценки объектов по тем либо иным качественным показателям, то употребляются способы ранжирования, парного и множественного сравнения. В случае если темперамент разбираемой информации таков, что целесообразно взять численные оценки объектов, то возможно применять тот либо другой способ, начиная от ярких численных оценок и заканчивая более узкими способами Терстоуна и Неймана — Моргенштерна.

Способы экспертных оценок владеют разными качествами, но приводят в общем случае к родным итогам. Практика применения этих способов продемонстрировала, что самый действенно комплексное использование разных способов для ответа одной и той же задачи. Сравнительный анализ результатов повышает обоснованность сделанных выводов. Наряду с этим направляться учитывать, что способом, требующим минимальных затрат, есть ранжирование, а самый трудоёмким — способ последовательного сравнения (Черчмена — Акоффа). Способ парного сравнения без дополнительной обработки не дает полного упорядочения объектов.

При проведении социологических измерений, каковые возможно разглядывать как разновидность экспертных оценок (особенно при организации выборочного социологического изучения), применяют в большинстве случаев качественные шкалы разнообразные, которым ставятся в соответствие количественные оценки степени значимости (крайне важно, принципиально важно, скорее принципиально важно, чем нет и т.д.) либо оценивается введенный в вопросе качественный показатель (в форме всецело согласен, согласен, не согласен, категорически не согласен либо да, скорее да, чем нет, скорее нет, чем да, нет и т.д.).

Наряду с этим смогут использоваться соответствующие способы обработки результатов. К примеру, при применении шкалы Р. Лайкерта, в которой задаваемые группе лиц вопросы должны оцениваться по пятибалльной шкале (5 -всецело согласен, 4 — согласен, 3 — нейтрален, 2 — не согласен, 1 — полностью не согласен), при обработке рекомендуется использовать способ суммарных оценок. Шкалограммный анализ Л. Гуттмана сводится к построению шкал порядкового уровня измерения, воображающих собой одноместные шкалы, формируемые на базе первоначально применяемой иерархизированной шкалы методом исключения вопросов либо факторов, посторонних по отношению к измеряемой чёрту. При применении способа семантического дифференциала (СД), созданного Ч. Осгудом для слов смысла и измерения понятий и дифференциации эмоциональной стороны значения оцениваемого понятия, в качестве промежуточных способов обработки используются графические, помогающие выяснить профиль распределения установок.

Способы сложных экспертиз компьютерных совокупностей

Теоретические положения системного анализа определенное время рассматривались лишь как некая философия инженера и исходя из этого при ответе задач создания неестественных совокупностей время от времени не учитывались. Но развитие техники стало причиной тому, что без системного анализа, одним из результатов которого являются абстрактные модели, изучение функционирования совокупностей делается неосуществимым.

Первоначально компьютер отождествлялся с центральным процессором, главной и понятной чёртом которого было быстродействие, измеряемое числом команд в единицу времени. Исходя из этого классические методики оценки (benchmarks) отражают лишь возможности центрального процессора. В базе таковой оценки лежит понятие производительности. Наряду с этим выделяют так именуемое чистое процессорное время — период работы фактически процессора при исполнении внутренних операций и время ответа, включающее исполнение операций ввода-вывода, работу ОС и т.д.

Имеется два показателя производительности процессоров по чистому времени:

1) показатель производительности процессоров на операциях с данными целочисленного типа (integer) MIPS (Million Instruction Per Second — миллион машинных команд в секунду) — отношение числа команд в программе к времени ее исполнения;

2) показатель производительности процессоров на операциях с данными вещественного типа (float point) MFLOPS (миллион арифметических операций над числами с плавающей точкой в секунду).

С понятием MIPS связывалась ранее и вторая метрика, основанная на производительности вычислительной совокупности DEC VAX 11/780. Еще одно определение MIPS употребляется производителями и пользователями техники IBM, в то время, когда за норму выбирается одна из моделей RS/6000. Наряду с этим 1 MIPS IBM = 1.6 MIPS DEC.

При всей кажущейся простоте критерия оценки (чем больше MIPS (MFLOPS), тем стремительнее выполняется программа) его применение затруднено благодаря нескольких обстоятельств:

Процессоры различной архитектуры (особенно RISC) имеют разный комплект команд. Так, совмещенная сложения векторов и операция умножения в процессоре POWER 2 значительно сокращает число операций. Помимо этого, возможно выделить стремительные (к примеру, сложение, вычитание) и медленные (к примеру, деление) операции, а в следствии рейтинг MFLOPS для различных программ окажется различным.

Использование математических сопроцессоров и оптимизирующих компиляторов увеличивает производительность совокупности, но рейтинг MIPS может уменьшиться, поскольку время исполнения команд для операций над данными с плавающей точкой намного больше и за единицу времени возможно выполнено меньшее число команд, нежели при исполнении соответствующих этим командам подпрограмм.

Научные приложения по большей части связаны с интенсивными вычислениями над вещественными числами с плавающей точкой, коммерческие и офисные – с обработкой транзакций и целочисленной арифметикой баз данных. Графические приложения критичны и к вычислительным мощностям, и к параметрам графической системы.

Ещё более непростые неприятности появляются при необходимости оценок многопроцессорных совокупностей, в частности SMP (Symmetric MultiProcessing – симметричная мультипроцессорная обработка) к МРР(Massively Parallel Processing — обработка с массовым параллелизмом). В целом показатели MFLOPS и MIPS зависят от типа и архитектуры процессора делаемой программы. Такое положение стало причиной использованию и разработке последовательности тестов, ориентированных на оценку вычислительных совокупностей с учетом специфики их предполагаемого применения. Исходя из этого оценка процессоров с различной архитектурой основана на создании тестовой смеси из типовых операторов, воздействующих на их производительность.

Судебно медицинская экспертиза часть 1


Также читать:

Понравилась статья? Поделиться с друзьями: