Актуальность. Малоопытным пользователям сложно выполнять даже базовые действия в Windows: запускать программы, искать файлы, открывать сайты и управлять медиаконтентом. Существующие ассистенты не дают полноценного локального управления Windows через единое приложение. Цель работы. Разработка интеллектуального ассистента «Компас» для управления Windows, приложениями, файлами, браузером и медиаконтентом через текстовые и голосовые команды. Задачи: анализ аналогов; определение требований; проектирование архитектуры и базы данных; реализация интерфейса, агентного контура, браузерного расширения и инструментов управления Windows; проверка типовых сценариев. Результаты и выводы. Разработано приложение «Компас» с графическим интерфейсом, историей диалогов, хранилищем документов, пользовательскими сценариями и выбором языковой модели. Ассистент выполняет команды на естественном языке и снижает сложность работы с компьютером для малоопытных пользователей.

Relevance. Inexperienced users often find it difficult to perform even basic actions in Windows: launching programs, searching for files, opening websites, and managing media content. Existing assistants do not provide full local Windows control through a single application. Aim of the work. To develop the “Compass” intelligent assistant for managing Windows, applications, files, the browser, and media content through text and voice commands. Objectives: to analyze existing solutions; define requirements; design the architecture and database; implement the interface, agent-based processing loop, browser extension, and Windows management tools; and test typical user scenarios. Results and conclusions. The “Compass” application was developed with a graphical interface, dialog history, document storage, user scenarios, and language model selection. The assistant executes natural language commands and reduces the complexity of working with a computer for inexperienced users.

• ВВЕДЕНИЕ
• ГЛАВА 1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ
  • 1.1. Проблема взаимодействия малоопытных пользователей с ПК
  • 1.2. Обзор существующих решений и их ограничения
    • 1.2.1. Microsoft Copilot
    • 1.2.2. Apple Siri и Google Assistant
    • 1.2.3. Яндекс Алиса
    • 1.2.4. OpenClaw
  • 1.3. Сравнительный анализ аналогов
  • 1.4. Анализ технологий реализации
    • 1.4.1. Обработка естественного языка
    • 1.4.2. Распознавание речи и синтез голоса
    • 1.4.3. Wake-word детекция
    • 1.4.4. Автоматизация интерфейса Windows
    • 1.4.5. Управление браузером
    • 1.4.6. Распознавание содержимого экрана
  • 1.5. Анализ текущего процесса взаимодействия пользователя с ПК
  • 1.6. Функциональные требования
• ГЛАВА 2. ПРОЕКТИРОВАНИЕ ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ
  • 2.1. Состав и структура информации, обрабатываемой системой
  • 2.2. Логическая модель базы данных
  • 2.3. Физическая модель базы данных
  • 2.4. Форматы обмена данными между компонентами
    • 2.4.1. Взаимодействие с языковой моделью
    • 2.4.2. Взаимодействие с браузерным расширением
    • 2.4.3. Формат ответа ассистента
  • 2.5. Организация хранения базы приложений и браузерных закладок
  • 2.6. Организация истории действий и механизм отмены
  • 2.7. Информационные потоки в агентной архитектуре
  • 2.8. Интеграция с протоколом MCP
  • 2.9. Организация RAG-системы накопления опыта
• ГЛАВА 3. ПРОЕКТИРОВАНИЕ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
  • 3.1. Сбор датасета активационного слова через Telegram-бот
  • 3.2. Генерация синтетических обучающих данных методом TTS-синтеза
    • 3.2.1. Синтез записей
    • 3.2.2. Подготовка итогового датасета
  • 3.3. Обучение нейросетевой модели детектора активационного слова
    • 3.3.1. . Предобработка аудиосигнала
    • 3.3.2. Извлечение MFCC-признаков
    • 3.3.3. Архитектура и обучение модели
    • 3.3.4. Оценка качества модели
    • 3.3.5. Инференс и экспорт модели
  • 3.4. Реализация интеллектуального ассистента
    • 3.4.1. Общая схема агентной архитектуры
    • 3.4.2. Основные компоненты
    • 3.4.3. Формат обмена данными
    • 3.4.4. Поток выполнения запроса
    • 3.4.5. Подагенты
    • 3.4.6. Слой инструментов
    • 3.4.7. Реализация браузерного расширения и инструментов управления
    • 3.4.8. Пользовательский интерфейс
    • 3.4.9. Память и RAG
    • 3.4.10. Реализация голосового режима работы ассистента
  • 3.5. Методика и результаты экспериментальной оценки системы
• ГЛАВА 4. РУКОВОДСТВО ПОЛЬЗОВАТЕЛЯ
  • 4.1. Установка приложения
  • 4.2. Первый запуск приложения
  • 4.3. Основные элементы интерфейса
  • 4.4. Выбор и изменение модели
  • 4.5. Отправка текстовой команды
  • 4.6. Работа с голосовым чатом
  • 4.7. Работа с документами в хранилище
  • 4.8. Работа со сценариями
  • 4.9. Работа с браузером и веб-сервисами
  • 4.10. Работа с изображениями и экраном
  • 4.11. История диалогов
  • 4.12. Завершение работы с приложением
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСТОЧНИКОВ