Извлечение признаков из визуального сигнала

Импорт необходимых инструментов

[2]:

from oceanai.modules.lab.build import Run

INFO: Created TensorFlow Lite XNNPACK delegate for CPU.

Сборка

[3]:

_b5 = Run(
    lang = 'ru', # Язык
    color_simple = '#333', # Цвет обычного текста (шестнадцатеричный код)
    color_info = '#1776D2', # Цвет текста содержащего информацию (шестнадцатеричный код)
    color_err = '#FF0000', # Цвет текста содержащего ошибку (шестнадцатеричный код)
    color_true = '#008001', # Цвет текста содержащего положительную информацию (шестнадцатеричный код)
    bold_text = True, # Жирное начертание текста
    num_to_df_display = 30, # Количество строк для отображения в таблицах
    text_runtime = 'Время выполнения', # Текст времени выполнения
    metadata = True # Отображение информации о библиотеке
)

[2024-03-28 21:50:44] OCEANAI - персональные качества личности человека: Авторы: Рюмина Елена [ryumina_ev@mail.ru] Рюмин Дмитрий [dl_03.03.1991@mail.ru] Карпов Алексей [karpov@iias.spb.su] Сопровождающие: Рюмина Елена [ryumina_ev@mail.ru] Рюмин Дмитрий [dl_03.03.1991@mail.ru] Версия: 1.0.0a22 Лицензия: BSD License

Формирование нейросетевой архитектуры модели

[4]:

res_load_video_model_deep_fe = _b5.load_video_model_deep_fe(
    show_summary = False, # Отображение сформированной нейросетевой архитектуры модели
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2024-03-28 21:50:46] Формирование нейросетевой архитектуры для получения нейросетевых признаков (видео модальность) …

— Время выполнения: 1.001 сек. —

Загрузка весов нейросетевой модели

[5]:

# Настройки ядра
_b5.path_to_save_ = './models' # Директория для сохранения файла
_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг

url = _b5.weights_for_big5_['video']['fi']['fe']['sberdisk']

res_load_video_model_weights_deep_fe = _b5.load_video_model_weights_deep_fe(
    url = url, # Полный путь к файлу с весами нейросетевой модели
    force_reload = True, # Принудительная загрузка файла с весами нейросетевой модели из сети
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2024-03-28 21:50:50] Загрузка весов нейросетевой модели для получения нейросетевых признаков (видео модальность) …

[2024-03-28 21:50:56] Загрузка файла “weights_2022-11-01_12-27-07.h5” 100.0% …

— Время выполнения: 6.461 сек. —

Процесс извлечения визуальных признаков (`FI V2`)

[6]:

# Настройки ядра
# Путь к видеофайлу
path = 'video_FI/test/_plk5k7PBEg.003.mp4'

hc_features, nn_features = _b5.get_visual_features(
    path = path, # Путь к видеофайлу
    reduction_fps = 5, # Понижение кадровой частоты
    window = 10, # Размер окна сегмента сигнала (в кадрах)
    step = 5, # Шаг сдвига окна сегмента сигнала (в кадрах)
    lang = 'en',
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2024-03-28 21:50:58] Извлечение признаков (экспертных и нейросетевых) из визуального сигнала …

[2024-03-28 21:51:22] Статистика извлеченных признаков из визуального сигнала: Общее количество сегментов с: 1. экспертными признаками: 16 2. нейросетевыми признаками: 16 Размерность матрицы экспертных признаков одного сегмента: 10 ✕ 115 Размерность матрицы с нейросетевыми признаками одного сегмента: 10 ✕ 512 Понижение кадровой частоты: с 30 до 5

— Время выполнения: 23.465 сек. —

Процесс извлечения визуальных признаков (`MuPTA`)

[7]:

# Настройки ядра
# Путь к видеофайлу
path = 'video_FI/test/_plk5k7PBEg.003.mp4'

hc_features, nn_features = _b5.get_visual_features(
    path = path, # Путь к видеофайлу
    reduction_fps = 5, # Понижение кадровой частоты
    window = 10, # Размер окна сегмента сигнала (в кадрах)
    step = 5, # Шаг сдвига окна сегмента сигнала (в кадрах)
    lang = 'ru',
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2024-03-28 21:51:25] Извлечение признаков (экспертных и нейросетевых) из визуального сигнала …

[2024-03-28 21:51:43] Статистика извлеченных признаков из визуального сигнала: Общее количество сегментов с: 1. экспертными признаками: 16 2. нейросетевыми признаками: 16 Размерность матрицы экспертных признаков одного сегмента: 10 ✕ 109 Размерность матрицы с нейросетевыми признаками одного сегмента: 10 ✕ 512 Понижение кадровой частоты: с 30 до 5

— Время выполнения: 18.659 сек. —

[ ]: