Получение прогнозов по видео

76a4e5f1489941a282c70e804c2ad0f0

Импорт необходимых инструментов

[2]:

from oceanai.modules.lab.build import Run

Сборка

[3]:

_b5 = Run(
    lang = 'ru', # Язык
    color_simple = '#333', # Цвет обычного текста (шестнадцатеричный код)
    color_info = '#1776D2', # Цвет текста содержащего информацию (шестнадцатеричный код)
    color_err = '#FF0000', # Цвет текста содержащего ошибку (шестнадцатеричный код)
    color_true = '#008001', # Цвет текста содержащего положительную информацию (шестнадцатеричный код)
    bold_text = True, # Жирное начертание текста
    num_to_df_display = 30, # Количество строк для отображения в таблицах
    text_runtime = 'Время выполнения', # Текст времени выполнения
    metadata = True # Отображение информации о библиотеке
)

[2023-12-14 21:05:26] OCEANAI - персональные качества личности человека:    Авторы:        Рюмина Елена [ryumina_ev@mail.ru]        Рюмин Дмитрий [dl_03.03.1991@mail.ru]        Карпов Алексей [karpov@iias.spb.su]    Сопровождающие:        Рюмина Елена [ryumina_ev@mail.ru]        Рюмин Дмитрий [dl_03.03.1991@mail.ru]    Версия: 1.0.0a16    Лицензия: BSD License

Получение и отображение версий установленных библиотек

  • _b5.df_pkgs_ - DataFrame c версиями установленных библиотек

[4]:

_b5.libs_vers(runtime = True, run = True)
Package Version
1 TensorFlow 2.15.0
2 Keras 2.15.0
3 OpenCV 4.8.1
4 MediaPipe 0.9.0
5 NumPy 1.26.2
6 SciPy 1.11.4
7 Pandas 2.1.3
8 Scikit-learn 1.3.2
9 OpenSmile 2.5.0
10 Librosa 0.10.1
11 AudioRead 3.0.1
12 IPython 8.18.1
13 PyMediaInfo 6.1.0
14 Requests 2.31.0
15 JupyterLab 4.0.9
16 LIWC 0.5.0
17 Transformers 4.36.0
18 Sentencepiece 0.1.99
19 Torch 2.0.1+cpu
20 Torchaudio 2.0.2+cpu

— Время выполнения: 0.005 сек. —

Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам

  • _b5.video_model_hc_ - Нейросетевая модель tf.keras.Model для получения оценок по экспертным признакам

[5]:

res_load_video_model_hc = _b5.load_video_model_hc(
    lang = 'en',
    show_summary = False, # Отображение сформированной нейросетевой архитектуры модели
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2023-12-14 21:05:26] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (видео модальность) …

— Время выполнения: 0.321 сек. —

Загрузка весов нейросетевой модели для получения оценок по экспертным признакам

  • _b5.video_model_hc_ - Нейросетевая модель tf.keras.Model для получения оценок по экспертным признакам

[6]:

# Настройки ядра
_b5.path_to_save_ = './models' # Директория для сохранения файла
_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг

url = _b5.weights_for_big5_['video']['fi']['hc']['sberdisk']

res_load_video_model_weights_hc = _b5.load_video_model_weights_hc(
    url = url, # Полный путь к файлу с весами нейросетевой модели
    force_reload = True, # Принудительная загрузка файла с весами нейросетевой модели из сети
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2023-12-14 21:05:27] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (видео модальность) …

[2023-12-14 21:05:27] Загрузка файла “weights_2022-08-27_18-53-35.h5” 100.0% …

— Время выполнения: 0.249 сек. —

Формирование нейросетевой архитектуры для получения нейросетевых признаков

  • _b5.video_model_deep_fe_ - Нейросетевая модель tf.keras.Model для получения нейросетевых признаков

[7]:

res_load_video_model_deep_fe = _b5.load_video_model_deep_fe(
    show_summary = False, # Отображение сформированной нейросетевой архитектуры модели
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2023-12-14 21:05:27] Формирование нейросетевой архитектуры для получения нейросетевых признаков (видео модальность) …

— Время выполнения: 0.823 сек. —

Загрузка весов нейросетевой модели для получения нейросетевых признаков

  • _b5.video_model_deep_fe_ - Нейросетевая модель tf.keras.Model для получения нейросетевых признаков

[8]:

# Настройки ядра
_b5.path_to_save_ = './models' # Директория для сохранения файла
_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг

url = _b5.weights_for_big5_['video']['fi']['fe']['sberdisk']

res_load_video_model_weights_deep_fe = _b5.load_video_model_weights_deep_fe(
    url = url, # Полный путь к файлу с весами нейросетевой модели
    force_reload = True, # Принудительная загрузка файла с весами нейросетевой модели из сети
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2023-12-14 21:05:28] Загрузка весов нейросетевой модели для получения нейросетевых признаков (видео модальность) …

[2023-12-14 21:05:31] Загрузка файла “weights_2022-11-01_12-27-07.h5” 100.0% …

— Время выполнения: 3.342 сек. —

Формирование нейросетевой архитектуры модели для получения оценок по нейросетевым признакам

  • _b5.video_model_nn_ - Нейросетевая модель tf.keras.Model для получения оценок по нейросетевым признакам

[9]:

res_load_video_model_nn = _b5.load_video_model_nn(
    show_summary = False, # Отображение сформированной нейросетевой архитектуры модели
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2023-12-14 21:05:31] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (видео модальность) …

— Время выполнения: 0.708 сек. —

Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам

  • _b5.video_model_nn_ - Нейросетевая модель tf.keras.Model для получения оценок по нейросетевым признакам

[10]:

# Настройки ядра
_b5.path_to_save_ = './models' # Директория для сохранения файла
_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг

url = _b5.weights_for_big5_['video']['fi']['nn']['sberdisk']

res_load_video_model_weights_nn = _b5.load_video_model_weights_nn(
    url = url, # Полный путь к файлу с весами нейросетевой модели
    force_reload = False, # Принудительная загрузка файла с весами нейросетевой модели из сети
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2023-12-14 21:05:32] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (видео модальность) …

[2023-12-14 21:05:32] Загрузка файла “weights_2022-03-22_16-31-48.h5”

— Время выполнения: 0.209 сек. —

Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств

  • _b5.video_models_b5_ - Нейросетевые модели tf.keras.Model для получения результатов оценки персональных качеств

[11]:

res_load_video_models_b5 = _b5.load_video_models_b5(
    show_summary = False, # Отображение сформированной нейросетевой архитектуры модели
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2023-12-14 21:05:32] Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств (видео модальность) …

— Время выполнения: 0.046 сек. —

Загрузка весов нейросетевых моделей для получения результатов оценки персональных качеств

  • _b5.video_models_b5_ - Нейросетевые модели tf.keras.Model для получения результатов оценки персональных качеств

[12]:

# Настройки ядра
_b5.path_to_save_ = './models' # Директория для сохранения файла
_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг

url_openness = _b5.weights_for_big5_['video']['fi']['b5']['openness']['sberdisk']
url_conscientiousness = _b5.weights_for_big5_['video']['fi']['b5']['conscientiousness']['sberdisk']
url_extraversion = _b5.weights_for_big5_['video']['fi']['b5']['extraversion']['sberdisk']
url_agreeableness = _b5.weights_for_big5_['video']['fi']['b5']['agreeableness']['sberdisk']
url_non_neuroticism = _b5.weights_for_big5_['video']['fi']['b5']['non_neuroticism']['sberdisk']

res_load_video_models_weights_b5 = _b5.load_video_models_weights_b5(
    url_openness = url_openness, # Открытость опыту
    url_conscientiousness = url_conscientiousness, # Добросовестность
    url_extraversion = url_extraversion, # Экстраверсия
    url_agreeableness = url_agreeableness, # Доброжелательность
    url_non_neuroticism = url_non_neuroticism, # Нейротизм
    force_reload = False, # Принудительная загрузка файла с весами нейросетевой модели из сети
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2023-12-14 21:05:32] Загрузка весов нейросетевых моделей для получения результатов оценки персональных качеств (видео модальность) …

[2023-12-14 21:05:32] Загрузка файла “weights_2022-06-15_16-46-30.h5” Открытость опыту

[2023-12-14 21:05:32] Загрузка файла “weights_2022-06-15_16-48-50.h5” Добросовестность

[2023-12-14 21:05:33] Загрузка файла “weights_2022-06-15_16-54-06.h5” Экстраверсия

[2023-12-14 21:05:33] Загрузка файла “weights_2022-06-15_17-02-03.h5” Доброжелательность

[2023-12-14 21:05:33] Загрузка файла “weights_2022-06-15_17-06-15.h5” Эмоциональная стабильность

— Время выполнения: 1.013 сек. —

Получение прогнозов (видео модальность)

  • _b5.df_files_ - DataFrame с данными

  • _b5.df_accuracy_ - DataFrame с результатами вычисления точности

[13]:

# Настройки ядра
_b5.path_to_dataset_ = 'E:/Databases/FirstImpressionsV2/test' # Директория набора данных
# Директории не входящие в выборку
_b5.ignore_dirs_ = []
# Названия ключей для DataFrame набора данных
_b5.keys_dataset_ = ['Path', 'Openness', 'Conscientiousness', 'Extraversion', 'Agreeableness', 'Non-Neuroticism']
_b5.ext_ = ['.mp4'] # Расширения искомых файлов
_b5.path_to_logs_ = './logs' # Директория для сохранения LOG файлов

# Полный путь к файлу с верными предсказаниями для подсчета точности
url_accuracy = _b5.true_traits_['fi']['sberdisk']

res_get_video_union_predictions = _b5.get_video_union_predictions(
    depth = 1,         # Глубина иерархии для получения аудио и видеоданных
    recursive = False, # Рекурсивный поиск данных
    reduction_fps = 5, # Понижение кадровой частоты
    window = 10,       # Размер окна сегмента сигнала (в секундах)
    step = 5,          # Шаг сдвига окна сегмента сигнала (в секундах)
    lang = 'en',
    accuracy = True,   # Вычисление точности
    url_accuracy = url_accuracy,
    logs = True,       # При необходимости формировать LOG файл
    out = True,        # Отображение
    runtime = True,    # Подсчет времени выполнения
    run = True         # Блокировка выполнения
)

[2023-12-14 22:24:55] Получение прогнозов и вычисление точности (видео модальность) …

    2000 из 2000 (100.0%) … test80_25_Q4wOgixh7E.004.mp4 …

Path Openness Conscientiousness Extraversion Agreeableness Non-Neuroticism
ID
1 E:\Databases\FirstImpressionsV2\test\test80_01... 0.526971 0.460063 0.422793 0.502726 0.450519
2 E:\Databases\FirstImpressionsV2\test\test80_01... 0.559385 0.432843 0.504231 0.578673 0.513424
3 E:\Databases\FirstImpressionsV2\test\test80_01... 0.466969 0.51701 0.331863 0.451395 0.406188
4 E:\Databases\FirstImpressionsV2\test\test80_01... 0.626113 0.597363 0.564068 0.574056 0.589245
5 E:\Databases\FirstImpressionsV2\test\test80_01... 0.5925 0.507246 0.505394 0.585405 0.493066
6 E:\Databases\FirstImpressionsV2\test\test80_01... 0.671855 0.642559 0.614689 0.613508 0.619511
7 E:\Databases\FirstImpressionsV2\test\test80_01... 0.411555 0.394029 0.329323 0.488684 0.39105
8 E:\Databases\FirstImpressionsV2\test\test80_01... 0.583696 0.568682 0.505574 0.625314 0.587337
9 E:\Databases\FirstImpressionsV2\test\test80_01... 0.551353 0.450333 0.449763 0.495501 0.438009
10 E:\Databases\FirstImpressionsV2\test\test80_01... 0.575084 0.517972 0.46315 0.582468 0.537961
11 E:\Databases\FirstImpressionsV2\test\test80_01... 0.559182 0.398618 0.433806 0.480592 0.492383
12 E:\Databases\FirstImpressionsV2\test\test80_01... 0.50948 0.432549 0.3319 0.495221 0.486891
13 E:\Databases\FirstImpressionsV2\test\test80_01... 0.330026 0.322635 0.235595 0.369766 0.25056
14 E:\Databases\FirstImpressionsV2\test\test80_01... 0.649351 0.550074 0.502858 0.526621 0.566755
15 E:\Databases\FirstImpressionsV2\test\test80_01... 0.651914 0.83048 0.535514 0.695223 0.734383
16 E:\Databases\FirstImpressionsV2\test\test80_01... 0.523986 0.435594 0.382946 0.41001 0.466265
17 E:\Databases\FirstImpressionsV2\test\test80_01... 0.575113 0.678301 0.468646 0.602139 0.626021
18 E:\Databases\FirstImpressionsV2\test\test80_01... 0.566349 0.558975 0.462116 0.606252 0.569516
19 E:\Databases\FirstImpressionsV2\test\test80_01... 0.672282 0.6552 0.656699 0.627328 0.663199
20 E:\Databases\FirstImpressionsV2\test\test80_01... 0.684442 0.602593 0.680469 0.635343 0.652304
21 E:\Databases\FirstImpressionsV2\test\test80_01... 0.550788 0.492015 0.404885 0.562745 0.478233
22 E:\Databases\FirstImpressionsV2\test\test80_01... 0.525446 0.469039 0.428517 0.491442 0.45359
23 E:\Databases\FirstImpressionsV2\test\test80_01... 0.473489 0.442729 0.353017 0.447929 0.358706
24 E:\Databases\FirstImpressionsV2\test\test80_01... 0.667829 0.655159 0.603695 0.630121 0.614812
25 E:\Databases\FirstImpressionsV2\test\test80_01... 0.469207 0.594029 0.364701 0.522734 0.481228
26 E:\Databases\FirstImpressionsV2\test\test80_01... 0.625514 0.641622 0.514204 0.547718 0.54766
27 E:\Databases\FirstImpressionsV2\test\test80_01... 0.568821 0.524382 0.475687 0.520644 0.531275
28 E:\Databases\FirstImpressionsV2\test\test80_01... 0.696397 0.665074 0.70902 0.655993 0.689747
29 E:\Databases\FirstImpressionsV2\test\test80_01... 0.578405 0.577321 0.487293 0.557221 0.52153
30 E:\Databases\FirstImpressionsV2\test\test80_01... 0.637576 0.587702 0.614512 0.637398 0.613861

[2023-12-14 22:24:55] Точность по отдельным персональным качествам личности человека …

Openness Conscientiousness Extraversion Agreeableness Non-Neuroticism Mean
Metrics
MAE 0.0873 0.082 0.0805 0.087 0.0872 0.0848
Accuracy 0.9127 0.918 0.9195 0.913 0.9128 0.9152

[2023-12-14 22:24:55] Средняя средних абсолютных ошибок: 0.0848, средняя точность: 0.9152 …

Лог файлы успешно сохранены …

— Время выполнения: 4762.254 сек. —