{ "cells": [ { "cell_type": "markdown", "metadata": { "tags": [] }, "source": [ "## Получение прогнозов по тексту\n", "\n", "\n", "\n", "
" ] }, { "cell_type": "code", "execution_count": 1, "metadata": { "nbsphinx": "hidden", "tags": [] }, "outputs": [], "source": [ "import os # Взаимодействие с файловой системой\n", "import sys # Доступ к некоторым переменным и функциям Python\n", "\n", "PATH_TO_SOURCE = os.path.abspath(os.path.dirname(globals()['_dh'][0]))\n", "PATH_TO_ROOT = os.path.join(PATH_TO_SOURCE, '..', '..', '..')\n", "\n", "sys.path.insert(0, os.path.abspath(PATH_TO_ROOT))" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Импорт необходимых инструментов" ] }, { "cell_type": "code", "execution_count": 2, "metadata": {}, "outputs": [], "source": [ "from oceanai.modules.lab.build import Run" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Сборка" ] }, { "cell_type": "code", "execution_count": 3, "metadata": {}, "outputs": [ { "data": { "text/markdown": [ "**[2024-10-08 19:27:28] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a40
    Лицензия: BSD License

" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "_b5 = Run(\n", " lang = 'ru', # Язык\n", " color_simple = '#333', # Цвет обычного текста (шестнадцатеричный код)\n", " color_info = '#1776D2', # Цвет текста содержащего информацию (шестнадцатеричный код)\n", " color_err = '#FF0000', # Цвет текста содержащего ошибку (шестнадцатеричный код)\n", " color_true = '#008001', # Цвет текста содержащего положительную информацию (шестнадцатеричный код)\n", " bold_text = True, # Жирное начертание текста\n", " num_to_df_display = 30, # Количество строк для отображения в таблицах\n", " text_runtime = 'Время выполнения', # Текст времени выполнения\n", " metadata = True # Отображение информации о библиотеке\n", ")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Получение и отображение версий установленных библиотек\n", "\n", "> - `_b5.df_pkgs_` - DataFrame c версиями установленных библиотек" ] }, { "cell_type": "code", "execution_count": 4, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
PackageVersion
1OpenCV4.10.0
2MediaPipe0.10.14
3NumPy1.26.4
4SciPy1.14.1
5Pandas2.2.3
6Scikit-learn1.5.2
7OpenSmile2.5.0
8Librosa0.10.2.post1
9AudioRead3.0.1
10IPython8.28.0
11Requests2.32.3
12JupyterLab4.2.5
13LIWC0.5.0
14Transformers4.45.1
15Sentencepiece0.2.0
16Torch2.4.1+cu118
17Torchaudio2.4.1+cu118
18Torchvision0.19.1+cu118
\n", "
" ], "text/plain": [ " Package Version\n", "1 OpenCV 4.10.0\n", "2 MediaPipe 0.10.14\n", "3 NumPy 1.26.4\n", "4 SciPy 1.14.1\n", "5 Pandas 2.2.3\n", "6 Scikit-learn 1.5.2\n", "7 OpenSmile 2.5.0\n", "8 Librosa 0.10.2.post1\n", "9 AudioRead 3.0.1\n", "10 IPython 8.28.0\n", "11 Requests 2.32.3\n", "12 JupyterLab 4.2.5\n", "13 LIWC 0.5.0\n", "14 Transformers 4.45.1\n", "15 Sentencepiece 0.2.0\n", "16 Torch 2.4.1+cu118\n", "17 Torchaudio 2.4.1+cu118\n", "18 Torchvision 0.19.1+cu118" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**--- Время выполнения: 0.004 сек. ---**" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "_b5.libs_vers(runtime = True, run = True)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Загрузка словаря с экспертными признаками" ] }, { "cell_type": "code", "execution_count": 5, "metadata": {}, "outputs": [ { "data": { "text/markdown": [ "**[2024-10-08 19:27:28] Загрузка словаря с экспертными признаками ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**[2024-10-08 19:27:28] Загрузка файла \"LIWC2007.txt\" 100.0% ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**--- Время выполнения: 0.207 сек. ---**" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "# Настройки ядра\n", "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", "res_load_text_features = _b5.load_text_features(\n", " force_reload = True, # Принудительная загрузка файла\n", " out = True, # Отображение\n", " runtime = True, # Подсчет времени выполнения\n", " run = True # Блокировка выполнения\n", ")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Формирование токенизатора и нейросетевой модели машинного перевода (`RU -> EN`)" ] }, { "cell_type": "code", "execution_count": 6, "metadata": {}, "outputs": [ { "data": { "text/markdown": [ "**[2024-10-08 19:27:28] Формирование токенизатора и нейросетевой модели машинного перевода ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**--- Время выполнения: 2.458 сек. ---**" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "res_setup_translation_model = _b5.setup_translation_model(\n", " out = True, # Отображение\n", " runtime = True, # Подсчет времени выполнения\n", " run = True # Блокировка выполнения\n", ")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Формирование токенизатора и нейросетевой модели BERT (`для кодирования слов`)" ] }, { "cell_type": "code", "execution_count": 7, "metadata": {}, "outputs": [ { "data": { "text/markdown": [ "**[2024-10-08 19:27:30] Формирование токенизатора и нейросетевой модели BERT ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**[2024-10-08 19:27:30] Загрузка файла \"bert-base-multilingual-cased.zip\"** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**[2024-10-08 19:27:30] Формирование токенизатора и нейросетевой модели BERT ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**[2024-10-08 19:27:30] Загрузка файла \"bert-base-multilingual-cased.zip\"** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**[2024-10-08 19:27:31] Разархивирование архива \"bert-base-multilingual-cased.zip\" ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**--- Время выполнения: 0.938 сек. ---**" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "# Настройки ядра\n", "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", "res_setup_translation_model = _b5.setup_bert_encoder(\n", " force_reload = False, # Принудительная загрузка файла\n", " out = True, # Отображение\n", " runtime = True, # Подсчет времени выполнения\n", " run = True # Блокировка выполнения\n", ")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### `FI V2`\n", "\n", "#### Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам\n", "\n", "> - `_b5.text_model_hc_` - Нейросетевая модель **nn.Module** для получения оценок по экспертным признакам" ] }, { "cell_type": "code", "execution_count": 8, "metadata": {}, "outputs": [ { "data": { "text/markdown": [ "**[2024-10-08 19:27:31] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (текстовая модальность) ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**--- Время выполнения: 0.002 сек. ---**" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "res_load_text_model_hc_fi = _b5.load_text_model_hc(\n", " corpus = \"fi\", # Корпус для тестирования нейросетевой модели\n", " show_summary = False, # Отображение сформированной нейросетевой архитектуры модели\n", " out = True, # Отображение\n", " runtime = True, # Подсчет времени выполнения\n", " run = True # Блокировка выполнения\n", ")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Загрузка весов нейросетевой модели для получения оценок по экспертным признакам\n", "\n", "> - `_b5.text_model_hc_` - Нейросетевая модель **nn.Module** для получения оценок по экспертным признакам" ] }, { "cell_type": "code", "execution_count": 9, "metadata": {}, "outputs": [ { "data": { "text/markdown": [ "**[2024-10-08 19:27:31] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (текстовая модальность) ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**[2024-10-08 19:27:34] Загрузка файла \"weights_2023-07-15_10-52-15.pth\" 100.0% ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**--- Время выполнения: 2.426 сек. ---**" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "# Настройки ядра\n", "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", "url = _b5.weights_for_big5_['text']['fi']['hc']['googledisk']\n", "\n", "res_load_text_model_weights_hc_fi = _b5.load_text_model_weights_hc(\n", " url = url, # Полный путь к файлу с весами нейросетевой модели\n", " force_reload = True, # Принудительная загрузка файла с весами нейросетевой модели из сети\n", " out = True, # Отображение\n", " runtime = True, # Подсчет времени выполнения\n", " run = True # Блокировка выполнения\n", ")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Формирование нейросетевой архитектуры модели для получения оценок по нейросетевым признакам\n", "\n", "> - `_b5.text_model_nn_` - Нейросетевая модель **nn.Module** для получения оценок по нейросетевым признакам" ] }, { "cell_type": "code", "execution_count": 10, "metadata": {}, "outputs": [ { "data": { "text/markdown": [ "**[2024-10-08 19:27:34] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (текстовая модальность) ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**--- Время выполнения: 0.002 сек. ---**" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "res_load_text_model_nn_fi = _b5.load_text_model_nn(\n", " corpus = \"fi\", # Корпус для тестирования нейросетевой модели\n", " show_summary = False, # Отображение сформированной нейросетевой архитектуры модели\n", " out = True, # Отображение\n", " runtime = True, # Подсчет времени выполнения\n", " run = True # Блокировка выполнения\n", ")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам\n", "\n", "> - `_b5.text_model_nn_` - Нейросетевая модель **nn.Module** для получения оценок по нейросетевым признакам" ] }, { "cell_type": "code", "execution_count": 11, "metadata": {}, "outputs": [ { "data": { "text/markdown": [ "**[2024-10-08 19:27:34] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (текстовая модальность) ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**[2024-10-08 19:27:37] Загрузка файла \"weights_2023-07-03_15-01-08.pth\" 100.0% ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**--- Время выполнения: 2.99 сек. ---**" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "# Настройки ядра\n", "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", "url = _b5.weights_for_big5_['text']['fi']['nn']['googledisk']\n", "\n", "res_load_text_model_weights_nn_fi = _b5.load_text_model_weights_nn(\n", " url = url, # Полный путь к файлу с весами нейросетевой модели\n", " force_reload = True, # Принудительная загрузка файла с весами нейросетевой модели из сети\n", " out = True, # Отображение\n", " runtime = True, # Подсчет времени выполнения\n", " run = True # Блокировка выполнения\n", ")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Формирование нейросетевой архитектуры модели для получения оценок персональных качеств\n", "\n", "> - `_b5.text_model_b5_` - Нейросетевая модель **nn.Module** для получения оценок персональных качеств" ] }, { "cell_type": "code", "execution_count": 12, "metadata": {}, "outputs": [ { "data": { "text/markdown": [ "**[2024-10-08 19:27:37] Формирование нейросетевой архитектуры модели для получения оценок персональных качеств (текстовая модальность) ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**--- Время выполнения: 0.001 сек. ---**" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "res_load_text_model_b5 = _b5.load_text_model_b5(\n", " show_summary = False, # Отображение сформированной нейросетевой архитектуры модели\n", " out = True, # Отображение\n", " runtime = True, # Подсчет времени выполнения\n", " run = True # Блокировка выполнения\n", ")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Загрузка весов нейросетевой модели для получения оценок персональных качеств\n", "\n", "> - `_b5.text_model_b5_` - Нейросетевая модель **nn.Module** для получения оценок персональных качеств" ] }, { "cell_type": "code", "execution_count": 13, "metadata": {}, "outputs": [ { "data": { "text/markdown": [ "**[2024-10-08 19:27:37] Загрузка весов нейросетевой модели для получения оценок персональных качеств (текстовая модальность) ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**[2024-10-08 19:27:39] Загрузка файла \"ft_fi_2023-12-09_14-25-13.pth\" 100.0% ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**--- Время выполнения: 2.512 сек. ---**" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "# Настройки ядра\n", "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", "url = _b5.weights_for_big5_['text']['fi']['b5']['googledisk']\n", "\n", "res_load_text_model_weights_b5 = _b5.load_text_model_weights_b5(\n", " url = url,\n", " force_reload = False, # Принудительная загрузка файла с весами нейросетевой модели из сети\n", " out = True, # Отображение\n", " runtime = True, # Подсчет времени выполнения\n", " run = True # Блокировка выполнения\n", ")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Получение прогнозов (текстовая модальность)\n", "\n", "> - `_b5.df_files_` - DataFrame с данными\n", "> - `_b5.df_accuracy_` - DataFrame с результатами вычисления точности" ] }, { "cell_type": "code", "execution_count": 14, "metadata": {}, "outputs": [ { "data": { "text/markdown": [ "**[2024-10-08 19:41:02] Извлечение признаков (экспертных и нейросетевых) из текста ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**[2024-10-08 19:41:02] Получение прогнозов и вычисление точности (текстовая модальность) ...**

    2000 из 2000 (100.0%) ... test80_25\\_Q4wOgixh7E.004.mp4 ...

" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
PathOpennessConscientiousnessExtraversionAgreeablenessNon-Neuroticism
Person ID
113kjwEtSyXc.003.mp40.624250.5887140.5370810.6015780.586728
21Lv72Si4GnY.000.mp40.5179810.4053530.440520.4861530.428741
31uC-2TZqplE.003.mp40.5158090.482580.4188190.5206850.462983
42Z8Xi_DTlpI.000.mp40.6532890.6457370.5610410.6384370.635568
53df_Uk9EmwU.002.mp40.672610.5628980.5972370.6180130.627053
63gmc2kLV4Bo.003.mp40.5712530.4940580.4772920.5480540.509251
73hKgh9AB3tk.003.mp40.5787460.5905730.4705410.5799490.544828
83S72dDIm1fM.005.mp40.5471110.5398190.4411050.553850.525304
93tPq9fNOXZQ.000.mp40.6303490.5461830.5486390.5925160.576403
1043tayteIFRk.001.mp40.643420.6499160.5615780.6318220.63633
114RKQGZzPClk.000.mp40.6101160.5093490.5320120.5628680.547921
126zm71IHOCZA.005.mp40.5013620.4383110.4076230.4934550.43261
137qGYGbIg45c.001.mp40.5163590.5215570.4119880.5354510.474974
148YQKwMdiaAE.003.mp40.6256650.5956160.5450010.6080490.601337
159Crw2RtrBcY.005.mp40.506070.4669660.4283070.4971290.451417
169eNHxfOV2Kg.005.mp40.6383570.5641540.5608470.5993120.594394
179J-KIPMQmqk.002.mp40.5173840.5878790.3921570.5697420.511946
189RfE2-aTvaM.002.mp40.580780.5162290.4894370.5573680.520621
199_6auSk_wkY.002.mp40.5452130.4672150.4678460.5182540.478097
20aaylz9A9K80.000.mp40.6189260.5288680.5356520.5811950.571601
21Af_F0IzHK6o.002.mp40.5844890.4886110.4996350.5377390.524559
22Ah5PEPT4xbo.000.mp40.5042690.4495090.4274880.4882530.441146
23AotbiNsU85A.003.mp40.5869780.5917030.5030080.5784370.566063
24BLc_GvsbI1U.001.mp40.6445850.5817760.5581280.6132480.601142
25bLOSPQ8MAC8.005.mp40.5752150.5171740.4810760.5477830.5145
26bPLhV0PGR50.001.mp40.5615840.5941210.4557850.562250.535579
27bYXRyimxh7A.001.mp40.5223950.4683910.4257130.5102650.450677
28ch2BcBv4SdQ.003.mp40.6423720.5381920.5640620.6024770.595606
29cpch8WDydcM.004.mp40.6155390.5411180.5221980.5852640.57033
30De4i7-FX9Og.002.mp40.6200140.5225980.5435950.5687190.558633
\n", "
" ], "text/plain": [ " Path Openness Conscientiousness Extraversion \\\n", "Person ID \n", "1 13kjwEtSyXc.003.mp4 0.62425 0.588714 0.537081 \n", "2 1Lv72Si4GnY.000.mp4 0.517981 0.405353 0.44052 \n", "3 1uC-2TZqplE.003.mp4 0.515809 0.48258 0.418819 \n", "4 2Z8Xi_DTlpI.000.mp4 0.653289 0.645737 0.561041 \n", "5 3df_Uk9EmwU.002.mp4 0.67261 0.562898 0.597237 \n", "6 3gmc2kLV4Bo.003.mp4 0.571253 0.494058 0.477292 \n", "7 3hKgh9AB3tk.003.mp4 0.578746 0.590573 0.470541 \n", "8 3S72dDIm1fM.005.mp4 0.547111 0.539819 0.441105 \n", "9 3tPq9fNOXZQ.000.mp4 0.630349 0.546183 0.548639 \n", "10 43tayteIFRk.001.mp4 0.64342 0.649916 0.561578 \n", "11 4RKQGZzPClk.000.mp4 0.610116 0.509349 0.532012 \n", "12 6zm71IHOCZA.005.mp4 0.501362 0.438311 0.407623 \n", "13 7qGYGbIg45c.001.mp4 0.516359 0.521557 0.411988 \n", "14 8YQKwMdiaAE.003.mp4 0.625665 0.595616 0.545001 \n", "15 9Crw2RtrBcY.005.mp4 0.50607 0.466966 0.428307 \n", "16 9eNHxfOV2Kg.005.mp4 0.638357 0.564154 0.560847 \n", "17 9J-KIPMQmqk.002.mp4 0.517384 0.587879 0.392157 \n", "18 9RfE2-aTvaM.002.mp4 0.58078 0.516229 0.489437 \n", "19 9_6auSk_wkY.002.mp4 0.545213 0.467215 0.467846 \n", "20 aaylz9A9K80.000.mp4 0.618926 0.528868 0.535652 \n", "21 Af_F0IzHK6o.002.mp4 0.584489 0.488611 0.499635 \n", "22 Ah5PEPT4xbo.000.mp4 0.504269 0.449509 0.427488 \n", "23 AotbiNsU85A.003.mp4 0.586978 0.591703 0.503008 \n", "24 BLc_GvsbI1U.001.mp4 0.644585 0.581776 0.558128 \n", "25 bLOSPQ8MAC8.005.mp4 0.575215 0.517174 0.481076 \n", "26 bPLhV0PGR50.001.mp4 0.561584 0.594121 0.455785 \n", "27 bYXRyimxh7A.001.mp4 0.522395 0.468391 0.425713 \n", "28 ch2BcBv4SdQ.003.mp4 0.642372 0.538192 0.564062 \n", "29 cpch8WDydcM.004.mp4 0.615539 0.541118 0.522198 \n", "30 De4i7-FX9Og.002.mp4 0.620014 0.522598 0.543595 \n", "\n", " Agreeableness Non-Neuroticism \n", "Person ID \n", "1 0.601578 0.586728 \n", "2 0.486153 0.428741 \n", "3 0.520685 0.462983 \n", "4 0.638437 0.635568 \n", "5 0.618013 0.627053 \n", "6 0.548054 0.509251 \n", "7 0.579949 0.544828 \n", "8 0.55385 0.525304 \n", "9 0.592516 0.576403 \n", "10 0.631822 0.63633 \n", "11 0.562868 0.547921 \n", "12 0.493455 0.43261 \n", "13 0.535451 0.474974 \n", "14 0.608049 0.601337 \n", "15 0.497129 0.451417 \n", "16 0.599312 0.594394 \n", "17 0.569742 0.511946 \n", "18 0.557368 0.520621 \n", "19 0.518254 0.478097 \n", "20 0.581195 0.571601 \n", "21 0.537739 0.524559 \n", "22 0.488253 0.441146 \n", "23 0.578437 0.566063 \n", "24 0.613248 0.601142 \n", "25 0.547783 0.5145 \n", "26 0.56225 0.535579 \n", "27 0.510265 0.450677 \n", "28 0.602477 0.595606 \n", "29 0.585264 0.57033 \n", "30 0.568719 0.558633 " ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**[2024-10-08 19:41:02] Точность по отдельным персональным качествам личности человека ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
OpennessConscientiousnessExtraversionAgreeablenessNon-NeuroticismMean
Metrics
MAE0.10960.11370.1150.1020.11520.1111
Accuracy0.89040.88630.8850.8980.88480.8889
\n", "
" ], "text/plain": [ " Openness Conscientiousness Extraversion Agreeableness \\\n", "Metrics \n", "MAE 0.1096 0.1137 0.115 0.102 \n", "Accuracy 0.8904 0.8863 0.885 0.898 \n", "\n", " Non-Neuroticism Mean \n", "Metrics \n", "MAE 0.1152 0.1111 \n", "Accuracy 0.8848 0.8889 " ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**[2024-10-08 19:41:02] Средняя средних абсолютных ошибок: 0.1111, средняя точность: 0.8889 ...** " ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**Лог файлы успешно сохранены ...**" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/markdown": [ "**--- Время выполнения: 802.932 сек. ---**" ], "text/plain": [ "" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "# Настройки ядра\n", "_b5.path_to_dataset_ = 'E:/Databases/FirstImpressionsV2/test' # Директория набора данных\n", "# Директории не входящие в выборку\n", "_b5.ignore_dirs_ = []\n", "# Названия ключей для DataFrame набора данных\n", "_b5.keys_dataset_ = ['Path', 'Openness', 'Conscientiousness', 'Extraversion', 'Agreeableness', 'Non-Neuroticism']\n", "_b5.ext_ = ['.mp4'] # Расширения искомых файлов\n", "_b5.path_to_logs_ = './logs' # Директория для сохранения LOG файлов\n", "\n", "# Полный путь к файлу с верными предсказаниями для подсчета точности\n", "url_accuracy = _b5.true_traits_['fi']['googledisk']\n", "\n", "res_get_text_union_predictions = _b5.get_text_union_predictions(\n", " depth = 1, # Глубина иерархии для получения видеоданных\n", " recursive = False, # Рекурсивный поиск данных\n", " asr = True, # Распознавание речи\n", " lang = 'en', # Выбор языка\n", " accuracy = True, # Вычисление точности\n", " url_accuracy = url_accuracy,\n", " logs = True, # При необходимости формировать LOG файл\n", " out = True, # Отображение\n", " runtime = True, # Подсчет времени выполнения\n", " run = True # Блокировка выполнения\n", ")" ] } ], "metadata": { "kernelspec": { "display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.10.11" } }, "nbformat": 4, "nbformat_minor": 4 }