[1]Изобретение относится к цифровой вычислительной технике, а именно к цифровым вычислительным системам для определения качества сравниваемых сложных систем, средств, изделий и различных объектов или их вариантов, описываемых значительным числом разнородных единичных показателей. При невозможности или большом затруднении установления важности свойств (характеристик) сравниваемых объектов или их вариантов и отсутствии обучающей выборки для формирования шкалы оценки предлагается использовать исходные данные самой оцениваемой выборки при определении предпочтительного объекта, средства, варианта.
[2]Изобретение может быть использовано в военной отрасли - для планирования, разработки, создания и приема на вооружение более совершенных систем и средств вооружения, а в гражданской - более качественных и конкурентоспособных систем и изделий.
[3]Техническим результатом является расширение арсенала технических средств для повышения эффективности и качества объектов за счет использования способа и создания устройства выбора предпочтительного из ряда сравниваемых на разных этапах его жизненного цикла без привлечения высококвалифицированных экспертов.
[4]Выбор предпочтительного средства связан с решением многокритериальной задачи. Рассмотрим несколько известных способов ее решения.
[5]1. Известен способ, основанный на использовании метода анализа иерархий [1] и его модификаций. Применение указанного способа предусматривает возможность установления соотношения характеристик сравниваемых средств:
[6]- свойства или характеристики оцениваемых средств одинаково значимы и важны;
[7]- одно свойство или характеристика несколько важнее другого;
[8]- одно свойство или характеристика важнее другого;
[9]- одно свойство или характеристика явно важнее других;
[10]- одно свойство или характеристика абсолютно важнее других.
[11]При возможности установления таких соотношений задача сводится к нахождению коэффициентов весомости Wj и объединению нормированных единичных показателей в комплексный Q=f(Wj, qj). Однако при наличии у рассматриваемых средств явно разнородных свойств (характеристик) становится невозможным использование метода иерархий и его модификаций.
[12]2. Известны способы нахождения коэффициентов весомости с помощью методов ранжирования [2, 3] характеристик сравниваемых средств, ставящие в затруднение экспертов в случае разнородности свойств.
[13]3. Известны экспертные способы оценки качества рассматриваемых средств [3-5], основанные на упрощении первых двух методов. Это способы, связанные с лексикографическим методом, с методом усреднения единичных показателей, максиминным методом оценки качества, методом идеальной точки и другими.
[14]Всем рассмотренным способам выбора предпочтительного средства присущи погрешности экспертных систем, связанные с наличием «субъективизма».
[15]4. Известны и другие изобретения [8-11] оценки качества объектов, не решающие сформулированную авторами задачу разработки способа выбора предпочтительного средства без привлечения высококвалифицированных экспертов в условиях отсутствия обучающей выборки.
[16]5. Известен способ [6, 7], основанный на формировании обучающей выборки для создания шкалы оценки качества, который позволяет сравнить изделия оцениваемой выборки. Его основной недостаток - требование наличия значительного объема обучающей выборки. Другой недостаток связан с формированием широкой шкалы оценки от худшего эталона Эх качества до лучшего Эл. Во-первых, нижняя часть шкалы в районе худшего эталона представляет определенный интерес при выборе худших по качеству систем и средств. Во-вторых, наличие в шкале оценки худшего эталона снижает достоверность оценки при выборе предпочтительного варианта из выборки высококачественных изделий.
[17]С целью повышения объективности и достоверности оценки качества рассматриваемых средств авторами предлагается использовать оцениваемую выборку, состоящую из нормированных единичных показателей качества, позволяющих создать два эталона Эс - со среднестатистическим уровнем качества и Эл - уровнем лучшего качества. На основе их использования из всей совокупности оцениваемых средств выбрать предпочтительный объект, обладающий наибольшим комплексным показателем качества.
[18]1. Способ и устройство выбора предпочтительного средства защиты информации, заключающийся в том, что коммутируют информацию о единичных показателях сравниваемых средств, записывают ее в первый блок памяти, отличающийся тем, что ее пересылают в блок формирования шкалы оценки с определением среднестатистического и лучшего уровней качества, образующих соответственно начало и конец прямой, определяющей шкалу оценки качества, проводят плоскости перпендикулярно к этой прямой через точки координат сравниваемых средств в пространстве единичных показателей, находят параметры точек пересечения плоскостей со шкалой оценки, значения которых и образуют комплексные показатели качества сравниваемых средств, максимальная величина одного из них соответствует предпочтительному средству (фиг.1).
[19]Сущность способа нагляднее всего проиллюстрировать на примере сравнения объектов, обладающих разнородными характеристиками (свойствами). К таким относятся средства защиты информации (СЗИ), единичные показатели которых приведены в таблице 1.
[20]В качестве обучающей выборки (ОбВ) используем саму оцениваемую выборку (ОцВ). Для проведения оценки качества разнородные показатели СЗИ в таблице 1 приводим к безразмерному виду. После нормирования
[21]qj=Xj/Xjmax,i=1,3¯
; j=1,10¯
[22]они принимают значения, указанные в таблице 2.
[23]| Таблица 1 |
| Исходные данные для сравнительной оценки СЗИ |
| Показатель СЗИ, размерность | Средства защиты информации |
| СЗИ1 | СЗИ2 | СЗИ3 |
| X1 | Наличие средств аутентификации (идентификации), балл | 5 | 4 | 3 |
| X2 | Наличие средств разграничения доступа к ресурсам, балл | 3 | 4 | 3 |
| X3 | Наличие средств криптографической защиты, балл | 1 | 1 | 5 |
| X4 | Наличие средств контроля целостности, балл | 4 | 3 | 2 |
| X5 | Наличие средств управления механизмами защиты, балл | 3 | 4 | 5 |
| X6 | Уровень гарантий защиты (сети, ОС, СУБД и СПО), количество уровней | 4 | 4 | 1 |
| X7 | Интеграция с другими СЗИ, вероятность | 0.75 | 0.85 | 0.9 |
| X8 | Средства оповещения, протоколирования и анализа журналов регистрации (есть/нет) | 0 | 1 | 1 |
| X9 | Наличие Flash-memory (есть/нет) | 1 | 0 | 1 |
| X10 | Количество лицензий на вид деятельности, количество | 3 | 2 | 4 |
[24]| Таблица 2 |
| Нормированные ЕП qj для оценки качества СЗИ |
| Нормированные показатели СЗИ | Средства защиты информации |
| СЗИ1 | СЗИ2 | СЗИ3 |
| q1 | Наличие средств аутентификации (идентификации) | 1 | 0.8 | 0.6 |
| q2 | Наличие средств разграничения доступа к ресурсам | 0.75 | 1 | 0.75 |
| q3 | Наличие средств криптографической защиты | 0.2 | 0.2 | 1 |
| q4 | Наличие средств контроля целостности | 1 | 0.75 | 0.5 |
| q5 | Наличие средств управления механизмами защиты | 0.6 | 0.8 | 1 |
| q6 | Уровень гарантий защиты (сети, ОС, СУБД и СПО) | 1 | 1 | 0.25 |
| q7 | Интеграция с другими СЗИ | 0.83 | 0.94 | 1 |
| q8 | Средства оповещения, протоколирования и анализа | 0 | 1 | 1 |
| q9 | Наличие Flash-memory | 1 | 0 | 1 |
| q10 | Количество лицензий на вид деятельности | 0.75 | 0.5 | 1 |
[25]Обязательным условием нормирования является рост комплексного показателя качества (КПК) с ростом его единичных показателей (ЕП).
[26]Суть предлагаемой шкалы Q(Эс, Эл) оценки качества и недостатки расширенной шкалы Q(Эх, Эл) проиллюстрируем на примере двух СЗИ C1 и C2 в пространстве двух ЕП с помощью рисунка (фиг.2).
[28]При переходе к другой предлагаемой шкале {Эс, Эл} оценки качества видно, что СЗИ поменялись ролями. Точки K1, K2 на шкале Q(Эс,Эл) говорят о предпочтительности по качеству СЗИ1>СЗИ2, т.к. К1 ближе, чем K2, к лучшему эталону Эk. Следовательно, КПК Q(СЗИ1)>Q(СЗИ2) в шкале {Эс, Эл} оценки качества и первое СЗИ предпочтительнее второго. Таким образом, предлагаемая верхняя (правая) часть шкалы оценки {Эс, Эл} по сравнению с прежней расширенной шкалой оценки {Эх,Эл} уточнила предпочтительность иного, первого средства, по сравнению со вторым СЗИ2.
[29]Безусловно, верным остается и альтернативное предложение использования левой (нижней) {Эх,Эс} расширенной шкалы оценки {Эх,Эл}. В этом случае достоверность определения худшего изделия также возрастает.
[30]После убедительного доказательства перехода от первой расширенной шкалы {Эх,Эл} ко второй {Эс,Эл} на элементарном примере в двумерном пространстве ЕП перейдем к математическому обоснованию использования шкалы оценки качества {Эс,Эл} на примере трех СЗИ с 10 ЕП, приведенными в таблице 2 нормированных значений ЕП.
[31]Для удобства определения предпочтительного СЗИ из ряда альтернативных разобьем процесс оценки на ряд этапов.
[32]1. Геометрический смысл оценки качества средств защиты информации. Выбор КПК начинается с формирования шкалы оценки качества в виде прямой ЭсЭл, соединяющей точки среднестатистического эталона Эс, сформированного из ЕП оцениваемых СЗИ, и лучшего эталона Эл в пространстве оцениваемых ЕП qj, j=1,…, k=10 (см. фиг.2 для k=2). Если начало шкалы будет представлять среднестатистический эталон Эс качества, а конец шкалы - эталон Эл с лучшими значениями ЕП, то прямая ЭсЭл будет представлять новую прогрессивную шкалу оценки качества.
[33]«Прогрессивной» шкала {Эс,Эл} оценки качества по сравнению со шкалой {Эх,Эл} названа по следующим причинам:
[34]- во-первых, нижняя (левая) часть шкалы в районе худшего эталона Эх качества представляет определенный интерес только при выборе худших по качеству систем и средств (нам же приходится решать обратную задачу выбора предпочтительного среди альтернативных средств, вариантов);
[35]- во-вторых, переход к новой шкале оценки эталона повышает достоверность оценки при выборе предпочтительного варианта из выборки высококачественных изделий, как показано на фиг.2;
[36]- в-третьих, переход к верхней (правой) части шкалы оценки качества от среднестатистического эталона Эс до лучшего по качеству Эл с выбором предпочтительного СЗИ в этой области будет напрямую способствовать прогрессу совершенствования СЗИ или других оцениваемых средств, изделий, вариантов.
[37]Через точку C1 в пространстве ЕП первого СЗИ проведем плоскость (при k=2 - прямую C1K1) перпендикулярно прямой ЭсЭл. Точка пересечения K1 этой плоскости с указанной прямой будет определять меру качества Q(K1) первого СЗИ1.
[38]Осуществив аналогичную операцию со следующим оцениваемым СЗИ2 (точка C2), определяем другую точку K2. Из фиг.2 видно неравенство
[39]Q(СЗИ1)>Q(СЗИ2), которое свидетельствует о предпочтительности по качеству первого СЗИ1 по отношению ко второму
[41]2. Формирование прогрессивной шкалы оценки СЗИ в пространстве ЕП qj, j=1, k эталонов Эс и Эл согласно таблице 2 упрощается по причине возрастания КПК с ростом ЕП. Поэтому лучшему СЗИл придаются значения их наибольших величин (строка 2 таблицы 3). Среднестатистический гипотетический эталон Эс с ЕП достигнутого уровня качества формируется по формуле
[42]qj(Y/с)=N−1∑i=1Nqij(CС,E\),j=1,k=10,N=3.(1а)
[43]По формуле (1а) вычисляется каждый j-й единичный среднестатистический показатель качества от 1-го до 10 (j=1, к=10) эталона Эс. Для нашего случая усреднение осуществляется по трем оцениваемым СЗИ, например для 1-го ЕП (1-я строка таблицы 2)
[44]q1(Эс)=(1+0.8+0.6)/3=0.8.(1б)
[45]Значение q1=0.8 заносится в таблицу 3 (1-я строка, столбец 1). По аналогии с формулой (16) вычисляются остальные значения, например qj, j=2, k=10, которые заносятся во 2, 3, …, k-й столбцы 1-й строки табл.3.
[46]Направление прямой ЭсЭл прогрессивной шкалы оценки качества в пространстве ЕП описывается уравнениями
[47]Δqj(ЭсЭл)=qj(Эл)−qj(Эс),j=1,…,k,(2а)
[48]значения которых занесены в 3-ю строку табл.3.
[49]| Таблица 3 |
| Значения ЕП гипотетических эталонов Эс, Эл и коэффициентов весомости Wj(Эс, Эл), Wj (Эх, Эл) |
| № | ЕП | q1 | q2 | q3 | q4 | q5 | q6 | q7 | q8 | q9 | q10 |
| | | 1 | 2 | 3 | 4 | 5 | 6 | 1 | 8 | 9 | 10 |
| 1 | qj(Эс) | 0.8 | 0.833 | 0.467 | 0.75 | 0.8 | 0.75 | 0.923 | 0.667 | 0.667 | 0.75 |
| 2 | qj(Эл) | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 3 | Δqj(Эс,Эл) | 0.2 | 0.167 | 0.533 | 0.25 | 0.2 | 0.25 | 0.077 | 0.333 | 0.333 | 0.25 |
| 4 | Wj(Эс,Эл) | 0.248 | 0.207 | 0.66 | 0.31 | 0.248 | 0.31 | 0.095 | 0.413 | 0.413 | 0.31 |
| 5 | Wj(Эх, Эл) | 0.097 | 0.061 | 0.195 | 0.121 | 0.097 | 0.182 | 0.041 | 0.243 | 0.243 | 0.121 |
| 6 | Δqj(C1) | 0.2 | -0.083 | -0.267 | 0.25 | -0.2 | 0.25 | -0.093 | -0.667 | 0.333 | 0 |
| 7 | Δqj(C2) | 0 | 0.167 | -0.267 | 0 | 0 | 0.25 | 0.017 | 0.333 | -0.667 | -0.25 |
| 8 | Δqj(C3) | -0.2 | -0.083 | 0.533 | -0.25 | 0.2 | -0.5 | 0.077 | 0.333 | 0.333 | 0.25 |
[50]3. Уравнения прямой в пространстве ЕП. Геометрический смысл построения шкалы оценки заключается в построении прямой, проходящей через точки Эс и Эл, как показано на фиг.2 в двумерном пространстве ЕП. ОбВ, сформированная из двух эталонов, описывается симметричными (каноническими) [12] уравнениями
[51](q1−qc1)/(qе1−qc1)=…=(qj−qcj)/(qеj−qcj)=…=(qk−qck)/(qеk−qck)=Q,k=10(2б)
[52]Переход с введением параметра 0 позволяет переписать формулу (2б) в несколько ином виде
[53]qj=ΔqjQ+qcj,j=1,…,k.(3)
[54]Согласно значениям ЕП (строка 1) таблицы 3 конкретизация формулы (3) для эталона Эс будет выглядеть следующим образом
[55]q1=0.2Q+0.8;q2=0.167Q+0.833;q3=0.533Q+0.467;q4=0.25Q+0.75;q5=0.2Q+0.8;(3а)q6=0.25Q+0.75;q7=0.077Q+0.923;q8=0.333Q+0.667;q9=0.333Q+0.667;q10=0.25Q+0.75;
[56]Нетрудно заметить, что при Q=0 уравнения (3а) составляют в пространстве ЕП координаты qj(Эс) среднестатистического средства СЗИс точки Эс (см. 1-ю строку таблицы 3). При Q=1 уравнения (3а) представляют в пространстве ЕП координаты qj(Эл) лучшего гипотетического средства СЗИл точки Эл(см. 2-ю строку таблицы 3).
[57]4. Уравнение плоскости P1 в пространстве ЕП, проходящей через точку C1, записывается в виде
[58]∑j=1k(Δqjqj−q1j)=0,j=1,k¯.(4)
[59]Прохождение плоскости P1 перпендикулярно прямой ЭсЭл через точку C1 требует, во-первых, в уравнении (4) введения gj(C1) их значений в параметрической форме
[60]qj=ΔqjQ1+qcj,(3б)
[61]во-вторых, равенства Δqj=qлj-qcj и, в-третьих, замены в формуле (3а) параметра Q на Q1
[62]∑j=1kΔqj(ΔqjQ1−q1j)=0,j=1,k¯.(4a)
[63]5. Определение пересечения плоскости P1 с прямой ЭсЭл связано с преобразованием уравнения (4а) и нахождения значения Q1
[64]∑j=1kΔqj(ΔqjQ1+qcj−q1j)=Q1∑j=1kΔqj2+∑j=1kΔqj(qcj−q1j)=0;(4б)
[65]Q1=∑j=1kΔqj(q1j−qcj)/∑j=1kΔqj2=∑j=1kWj(q1j−qcj),(5)
[66]Wj=Δqj/∑j=1kΔqj2.(5а)
[67]Анализ уравнений (5), (5a) показывает:
[68]- точка K1пересечения плоскости P1, проходящей через точку C1, с прямой ЭсЭл характеризуется величиной Q1, определяемой ЕП q1j(C1);
[69]- при движении точки K1 вдоль прямой ЭсЭл на интервале Эс,Эл значение Q1 находится в пределах от нуля до единицы 0=Q1(Эс)≤Q1(K1)≤Q1(Эл)=1. В начальной точке шкалы оценки, когда K1→Эс, q1j=qcj и, как следует из формул (5), (5а) Q1(K1)=Q1(Эс)=0 только в случае q1j-qcj=0. В конечной точке шкалы оценки, когда K1→Эл, q1j=qлj и, как следует из формул (5), (5а) Q1(K1)=Q1(Эл)=1 только в случае qлj-qcj=Δqj;
[70]- отсюда следует важный вывод, что прямая ЭсЭл может служить шкалой оценки качества, а величина Q1(K1) - мерой качества, т.е. комплексным показателем качества (КПК) Q.
[71]Отметим, что при попадании точки Ki на шкалу оценки качества Q(Ki) левее точки Эс знак КПК становится отрицательным. Это говорит о том, что оцениваемое средство СЗИ находится ниже среднего уровня качества Q(Эс) гипотетического эталона Q(Эс)=0, т.е. Q(СЗИi)<Q(Эс).
[72]6. Определение КПК сравниваемых СЗИi осуществляется по формулам (5), (5а), (5б)
[73]Qi=∑j=1kWj⋅Δqij,(5б)Δqij=qij−qcj,i=1,3¯;j=1,10¯.
[74]Определение КПК СЗИ1 СЗИ2, СЗИ3 происходит путем повторения этапов 4, 5 с применением указанных в них формул (4)÷(5а, б).
[75]В таблице 3 (строки 6, 7, 8) приведены соответственно значения Δq1j(C1), Δq2j(C2), Δq3j(C3). Коэффициенты весомости Wj(Эс, Эл)=Wj(KB), вычисленные по формуле (5а), занесены в табл.3 (строка 4).
[76]Вычисления по формуле (5б) дают значения КПК: Q1=-0.185; Q2=-0.278; Q3=0.462.
[77]7. Выявление предпочтительного СЗИ осуществляется путем ранжирования полученных значений комплексных показателей качества Qi в ряд
[78]Q3(СЗИ3)>Q1(СЗИ1)>Q2(СЗИ2)→0.462>-0.185>-0.278, из которого следует предпочтительность СЗИ3, т.е.
[80]В таблице 3 (строки 4, 5) приведены коэффициенты весомости Wj, вычисленные по формуле (5а), соответственной для расширенной {Эх, Эл} шкалы оценки качества. Значительное отличие коэффициентов весомости для разных шкал оценки, как и рисунок (фиг.2), говорит о необходимости перехода к прогрессивной шкале оценки качества при выборе предпочтительного СЗИ из ряда сравниваемых.
[81]2. Устройство для реализации способа по п.1, изображенное на фиг.1, содержащее коммутатор 1 и первый блок 2 памяти, отличающееся тем, что в его состав введены блок 3 формирования шкалы оценки качества, блок 4 определения комплексных показателей качества, второй блок 5 памяти, блок 6 выбора максимума, блок 7 визуализации и блок 8 управления, при этом выходы коммутатора 1 подключены к информативным входам первого блока 2 памяти, выход которого соединен с входом блока 3 формирования шкалы оценки качества, выходы которого и выход первого блока памяти соединены со входами блока 4 определения комплексных показателей качества, подключенного своим выходом ко входу второго блока 5 памяти, выход которого соединен через блок 6 выбора максимума и блок 7 визуализации со входом блока 8 управления, управляющие выходы которого подключены к управляющим входам всех блоков 1-7.
[82]Работа устройства происходит следующим образом. В соответствии с фиг.1 значения исходных нормированных единичных показателей (ЕП) qij, i=1,N¯
; j=1,k¯
; N=3; k=10, сравниваемых средств СЗИi поступают на вход коммутатора 1 и по управляющей команде с блока 8 управления записываются в 1-й блок 2 памяти. По команде с блока 8 управления информация о ЕП qij поступает в блок 3 формирования шкалы оценки качества (ШОК) СЗИ. ШОК включает подготовку трех величин: 1) среднестатистического эталона Эс качества (1-я стр. табл.3), вычисляемого по формуле (1а), 2) лучшего эталона Эл качества. В простейшем случае значения ЕП эталона Эл равны 1 (см. 2-ю стр. табл.3). 3) Завершение построения шкалы в блоке 3 заканчивается вычислением KB Wj по формуле (5а) - стр.4 табл.3.
[83]Величины Wj, qj(Эс) с выхода блока 3 и значения ЕП qij с выхода блока 2 поступают на вход блока 4 определения КПК Qi согласно формуле (5б). По команде с блока 8 управления значения записываются во 2-й блок 5 памяти. Далее величины КПК Qi пересылаются через блок 6 выбора максимума в блок 7 визуализации, на котором высвечивается: «Значения КПК: Q1=-0.185; Q2=-0.278; Q3=0.462». В случае значительного числа сравниваемых КПК с блока 8 управления выдается команда на блок 6 осуществить выбор максимального значения из ряда КПК Qi(i=1,N¯)
, о чем сообщается в блоке 7 визуализации, например, «Предпочтительное средство - СЗИ3».
[84]Итак, при невозможности или большом затруднении установления важности свойств (характеристик) сравниваемых средств или их вариантов и отсутствии обучающей выборки для формирования шкалы оценки качества можно использовать исходные данные самой оцениваемой выборки без привлечения высококвалифицированных экспертов.
[85]Достоинствами предлагаемого способа оценки качества с использованием прогрессивной шкалы являются:
[86]- возможность формирования шкалы оценки при наличии разнородных свойств (характеристик) оцениваемых средств,
[87]- отсутствие требования наличия высококвалифицированных экспертов для выявления важности свойств при назначении им коэффициентов весомости;
[88]- отсутствие ограничений как на количество единичных показателей, так и на число сравниваемых средств;
[89]- наличие легко программируемых формул, которое приводит к полной автоматизации процесса определения предпочтительного средства;
[90]- возможность осуществления иерархической оценки сложных средств с разбивкой их на группы свойств (показателей);
[91]- повышение достоверности выбора предпочтительного средства, варианта осуществляется как за счет объективного построения шкалы оценки качества, так и введения вместо худшего эталона - эталона со среднестатистическими единичными показателями;
[92]- наглядная необходимость отсеивания вариантов с отрицательными КПК, как уступающих среднестатистическому эталону;
[93]- стратегия постоянного выбора только предпочтительного варианта с положительным КПК несомненно ведет к прогрессу в совершенствовании систем, средств и вариантов на всех этапах их жизненного цикла.
[94]Реализация предлагаемого способа и устройства предполагается на первом этапе - в виде программного комплекса на ПЭВМ, на втором - в виде отдельного прибора типа смартфона.
[96]1. Саати Т. Принятие решений при зависимостях и обратных связях: Аналитические сети. Пер. с англ. - М.: Книжный дом «ЛИБРОКОМ». 2009. - 360 с.
[97]2. Черноруцкий И.Г. Методы принятия решений. - СПб. БХВ-Петербург, 2005. - 416 с.
[98]3. Макаров И.Д. и др. Теория выбора и принятия решений. - М.: НАУКА. Гл. ред. ФМЛ. 1992. - 328 с.
[99]4. Подиновский В.В. Применение качественной информации о важности критериев для решения многокритериальных задач оптимизации. - М.: ВИОЛСА, 1977. - 36 с.
[100]5. Денисов А.А., Колесников Д.Н. Теория больших систем управления. - Л.: Энергоиздат, 1982. - 287 с.
[101]6. Черноскутов А.И. (RU) и др. Устройство для оценки качества изделий. Авторское свидетельство на изобретение №1597883, МПК 6G06F 15/46, 1982.
[102]7. Черноскутов А.И. (RU) и др. Устройство для оценки качества изделий. Авторское свидетельство на изобретение №1485274, МП 6G06F 15/46, 1987.
[103]8. Казаков И.В. (RU) и др. Устройство для решения задач оценки качества ВВТ. Заявка №95120833/09, МПК 6G06F 17/00.
[104]9. Махутов Н.А. (RU) и др. Способ определения качества изделия по достоверной и вероятностной частям остаточной дефектности. Патент №2243586, МПК 7 G05B 23/02, G06F 17/00.
[105]10. Торовин A.H. (RU). Способ ранжирования результатов поиска. Заявка №2008152920/08, G06F 17/30, 31.12.2008.
[106]11. Бурба A.A. (RU) и др. Устройство для оценки и сравнения эффективности функционирования однотипных организаций. Патент №2363042 (13) C1, МПК G06F 17/, G06F 7/02, G06N 1/00.
[107]12. Выгодский М.Я. Справочник по высшей математике. - М.: ВЕК, БОЛЬШАЯ МЕДВЕДИЦА, 1997. - 864 с.
