Целью выпускной квалификационной работы является разработка программного сервиса для поиска и анализа веб-ресурсов на предмет запрещенного контента.

The purpose of the graduate qualification work is to develop a software service for searching and analyzing web resources for prohibited content.

• ВВЕДЕНИЕ
• ГЛАВА 1. ОБЗОРНАЯ ЧАСТЬ
  • 1.1 Теоретическая часть
  • 1.2 Методы и инструменты анализа контента
  • 1.3 Выводы по главе 1
• ГЛАВА 2. СУЩЕСТВУЮЩИЕ РЕШЕНИЯ
  • 2.1 Основные компоненты и функции сервисов
  • 2.2 Плюсы и минусы сервисов
  • 2.3 Существующие решения
    • 2.3.1 Система Роскомнадзора
    • 2.3.2 Norton Safe Web
    • 2.3.3 Google Safe Browsing
    • 2.3.4 Yandex Safe Browsing
  • 2.4 Выводы по главе 2
• ГЛАВА 3. ЗАКОНОДАТЕЛЬНАЯ БАЗА
  • 3.1 Основные нормативно-правовые акты
  • 3.2 Органы ответственные за блокировки запрещенного контента
    • 3.2.1 Министерство внутренних дел РФ
    • 3.2.2 Роскомнадзор
    • 3.2.3 Федеральная налоговая служба
    • 3.2.4 Росздравнадзор
    • 3.2.5 Генеральная прокуратура РФ
    • 3.2.6 Россельхознадзор
    • 3.2.7 Суды
    • 3.2.8 Федеральное агентство по делам молодежи
    • 3.2.9 Федеральная служба по надзору в сфере защиты прав потребителей и благополучия человека
    • 3.2.10 Федеральная служба по регулированию алкогольного рынка
  • 3.3 Виды запрещенной информации
  • 3.4 Выводы по главе 3
• ГЛАВА 4. РАЗРАБОТКА ПРОГРАММНОГО СЕРВИСА
  • 4.1 Архитектура сервиса и баз данных
  • 4.2 Модуль анализа с нейросетью
    • 4.2.1 Токенизация
    • 4.2.2 Лемматизация и фильтрация стоп слов
    • 4.2.3 TF-IDF векторизация
    • 4.2.4 Эмбеддинг-векторизация
    • 4.2.5 Вычисление весов классов
  • 4.3 Сбор данных и формирование датасета
    • 4.3.1 Получение списка заблокированных ресурсов
    • 4.3.2 Преодоление ограничений
    • 4.3.3 Фильтрация полученных данных
    • 4.3.4 Формирование датасета
  • 4.4 Обучение модели искусственного интелекта
    • 4.4.1 FNN
    • 4.4.2 LSTM
    • 4.4.3 SVM
    • 4.4.4 Random Forest
    • 4.4.5 CatBoost
    • 4.4.6 XGBoost
    • 4.4.7 Stacking
    • 4.4.8 Выбор модели по итогам сравнения
  • 4.5 Архитектура бэкенда
  • 4.6 Модуль сканирования
  • 4.7 Модуль пользователей
    • 4.7.1 Создание пользователя
    • 4.7.2 Вход
    • 4.7.3 Выход
    • 4.7.4 Обновление токенов
    • 4.7.5 Хэширование паролей
    • 4.7.6 Защита в случае кражи токена
  • 4.8 Модуль BI
  • 4.9 Модуль уведомлений
  • 4.10 Интерфейс взаимодействия
  • 4.11 Деплой приложения
  • 4.12 Выводы по главе 4
• ГЛАВА 5. АПРОБАЦИЯ
  • 5.1 Проверка работы с пользователями
  • 5.2 Проверка работы классификатора
  • 5.3 Выводы по главе 5
  • ЗАКЛЮЧЕНИЕ
  • СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ