суббота, 7 января 2023 г.

How to quickly find anomalies in number series using the Hampel method

Reposted from:
https://forworktests.blogspot.com/2023/01/how-to-quickly-find-anomalies-in-number.html

Translated from Russian. The original article is here:
https://forworktests.blogspot.com/2022/12/blog-post.html

In practice, there are issues for the solution of which it is required to find anomalies in the numerical series. For ease of understanding, we can assume that these are values that differ from most numbers in the series in some way (outlier, non-standard value, deviation from the norm). Such tasks are found in various areas:

  • cleaning of noisy data in Data Science;
  • outlier filtering in the training sample for neural networks in Machine Learning;
  • search for abnormal network hacker activity, while monitoring traffic and events in Cybersecurity;
  • detection of outliers or tails in the stock data stream in Algorithmic Trading;
  • as well as in any anomaly search tasks, where data can be presented as a numerical series.

The concepts of a number series in mathematical analysis and in statistics are different. We accept a numerical series as its statistical understanding, that is, a finite sequence of numbers (analogous to a sample). There are various interpretations of the anomaly in the numerical series. We will consider them further.

The article also shows examples of how to find anomalies quickly and efficiently in numerical series using the modified Hampel method (Hampel F.R.).

вторник, 27 декабря 2022 г.

Как быстро найти аномалии в числовых рядах с помощью метода Хампеля

Копия статьи. Оригинал тут:
https://forworktests.blogspot.com/2022/12/blog-post.html

На практике встречаются задачи, для решения которых требуется найти аномалии в числовых рядах. Для простоты понимания можно считать, что это значения, которые отличаются от большинства чисел в ряде по некоторым признакам (выброс, нестандартное значение, отклонение от нормы). Такие задачи встречаются в различных областях:

  • очистка зашумлённых данных в датасайнс (Data Science);
  • фильтрация выбросов в обучающей выборке для нейросетей в машинном обучении (Machine Learning);
  • поиск аномальной сетевой хакерской активности, при мониторинге трафика и событий в  кибербезопасности (Cybersecurity);
  • выявление выбросов или хвостов в потоке биржевых данных в алгоритмической торговле (Algorithmic Trading);
  • а также в любых задачах на поиск аномалий, где данные могут быть представлены в виде числового ряда.
Понятия числового ряда в математическом анализе и в статистике отличаются. Мы принимаем под числовым рядом его статистическое понимание, то есть конечную последовательность чисел (аналог выборки). Существуют различные толкования аномалии в числовых рядах. Их мы рассмотрим далее.

Также в статье показаны примеры, как быстро и эффективно найти аномалии в числовых рядах с помощью модифицированного метода Хампеля (Hampel F.R.).

понедельник, 11 августа 2014 г.

Подходы к автоматизации процесса валидации уязвимостей, найденных автоматическими сканерами безопасности, при помощи нечётких множеств и нейронных сетей

Аннотация: В статье рассмотрены и формально решены проблемы автоматической классификации уязвимостей информационных систем. Поставлена задача нечёткой классификации уязвимостей. Проанализированы возможные способы решения данной задачи. Выбраны и построены измерительные шкалы для чёткой и нечёткой оценки свойств уязвимостей и степеней их принадлежности классам. Для различных интерпретаций результатов указаны функции связи между шкалами. Предложена матрица кодирования свойств уязвимостей. Предложена архитектура нейронной сети для классификации уязвимостей. Разработаны программные модули для нечёткой классификации произвольных объектов, представленных векторами признаков для различного числа классов и структуры нейронной сети.

Опубликовано:
1. Гильмуллин Т.М., Гильмуллин М.Ф. Подходы к автоматизации процесса валидации уязвимостей, найденных автоматическими сканерами безопасности, при помощи нечётких множеств и нейронных сетей // Фундаментальные исследования. – 2014. – № 11 (часть 2). – стр. 266-279;
URL: http://www.fundamental-research.ru/ru/article/view?id=35511, см. PDF-вариант.
2. Гильмуллин Т.М. Сканеры безопасности: автоматическая валидация уязвимостей с помощью нечетких множеств и нейронных сетей // Positive Research 2015: Сборник исследований по практической безопасности. – 2015. – стр. 55-57;
URL: http://www.ptsecurity.ru/download/PT_Positive_Research_2015_RU_web.pdf (С. 57-59)


воскресенье, 28 апреля 2013 г.

Применение нейросетей для решения классических задач линейного и нелинейного разделения элементов множества на классы

Структура статьи: