Как быстро найти аномалии в числовых рядах с помощью метода Хампеля

Копия статьи. Оригинал тут:
https://forworktests.blogspot.com/2022/12/blog-post.html

На практике встречаются задачи, для решения которых требуется найти аномалии в числовых рядах. Для простоты понимания можно считать, что это значения, которые отличаются от большинства чисел в ряде по некоторым признакам (выброс, нестандартное значение, отклонение от нормы). Такие задачи встречаются в различных областях:

• очистка зашумлённых данных в датасайнс (Data Science);
• фильтрация выбросов в обучающей выборке для нейросетей в машинном обучении (Machine Learning);
• поиск аномальной сетевой хакерской активности, при мониторинге трафика и событий в  кибербезопасности (Cybersecurity);
• выявление выбросов или хвостов в потоке биржевых данных в алгоритмической торговле (Algorithmic Trading);
• а также в любых задачах на поиск аномалий, где данные могут быть представлены в виде числового ряда.

Понятия числового ряда в математическом анализе и в статистике отличаются. Мы принимаем под числовым рядом его статистическое понимание, то есть конечную последовательность чисел (аналог выборки). Существуют различные толкования аномалии в числовых рядах. Их мы рассмотрим далее.

Также в статье показаны примеры, как быстро и эффективно найти аномалии в числовых рядах с помощью модифицированного метода Хампеля (Hampel F.R.).

Подходы к автоматизации процесса валидации уязвимостей, найденных автоматическими сканерами безопасности, при помощи нечётких множеств и нейронных сетей

Аннотация: В статье рассмотрены и формально решены проблемы автоматической классификации уязвимостей информационных систем. Поставлена задача нечёткой классификации уязвимостей. Проанализированы возможные способы решения данной задачи. Выбраны и построены измерительные шкалы для чёткой и нечёткой оценки свойств уязвимостей и степеней их принадлежности классам. Для различных интерпретаций результатов указаны функции связи между шкалами. Предложена матрица кодирования свойств уязвимостей. Предложена архитектура нейронной сети для классификации уязвимостей. Разработаны программные модули для нечёткой классификации произвольных объектов, представленных векторами признаков для различного числа классов и структуры нейронной сети.

Опубликовано:
1. Гильмуллин Т.М., Гильмуллин М.Ф. Подходы к автоматизации процесса валидации уязвимостей, найденных автоматическими сканерами безопасности, при помощи нечётких множеств и нейронных сетей // Фундаментальные исследования. – 2014. – № 11 (часть 2). – стр. 266-279;
URL: http://www.fundamental-research.ru/ru/article/view?id=35511, см. PDF-вариант.
2. Гильмуллин Т.М. Сканеры безопасности: автоматическая валидация уязвимостей с помощью нечетких множеств и нейронных сетей // Positive Research 2015: Сборник исследований по практической безопасности. – 2015. – стр. 55-57;
URL: http://www.ptsecurity.ru/download/PT_Positive_Research_2015_RU_web.pdf (С. 57-59)

The Method and Fuzzy Expert System for Information Security Risks Assessment and Management

Source:

Anikin I., Gilmullin T. The Method and Fuzzy Expert System for Information Security Risk Assessment and Management // Varia Informatica 2013 / Edited by Marek Milosz. - Polish Information Processing Society. - Lublin, 2013. - pp. 55-68.

Download pdf-file: 

https://docs.google.com/file/d/0B-1rf8K04ZS5N2RWcmZiemUwNk0/edit?usp=sharing

Full magazine: 

http://pti.cs.pollub.pl/wp-content/uploads/2018/06/VariaInformatica2013.pdf

Preview on cut:

Применение нейросетей для решения классических задач линейного и нелинейного разделения элементов множества на классы

Структура статьи:

1. Общие сведения о нейросистемах.

2. Математический нейрон – персептрон.

    2.1. Обучение персептрона на отдельных примерах с учителем.

3. Задача линейного разделения элементов множества на два класса.

    3.1. Геометрическая интерпретация.

    3.2. Реализация булевых функций AND и OR при помощи персептрона.

4. Задача нелинейного разделения элементов множества на два класса.

    4.1. Реализация булевой функции XOR при помощи сети персептронов.

    4.2. Выделение выпуклых областей при помощи сети персептронов.