Getting audio scores

3dc8f09b9e9f4fb3b4c148cbd775cfb3

Import required packages

[2]:

from oceanai.modules.lab.build import Run

Build

[3]:

_b5 = Run(
    lang = 'en', # Interface language
    color_simple = '#333', # Plain text color (hexadecimal code)
    color_info = '#1776D2', # The color of the text containing the information (hexadecimal code)
    color_err = '#FF0000', # Error text color (hexadecimal code)
    color_true = '#008001', # Text color containing positive information (hexadecimal code)
    bold_text = True, # Bold text
    num_to_df_display = 30, # Number of rows to display in tables
    text_runtime = 'Runtime', # Runtime text
    metadata = True # Displaying information about library
)

[2024-10-08 19:50:39] OCEANAI - персональные качества личности человека: Авторы: Рюмина Елена [ryumina_ev@mail.ru] Рюмин Дмитрий [dl_03.03.1991@mail.ru] Карпов Алексей [karpov@iias.spb.su] Сопровождающие: Рюмина Елена [ryumina_ev@mail.ru] Рюмин Дмитрий [dl_03.03.1991@mail.ru] Версия: 1.0.0a40 Лицензия: BSD License

Getting and displaying versions of installed libraries

_b5.df_pkgs_ - DataFrame with versions of installed libraries

[4]:

_b5.libs_vers(runtime = True, run = True)

	Package	Version
1	OpenCV	4.10.0
2	MediaPipe	0.10.14
3	NumPy	1.26.4
4	SciPy	1.14.1
5	Pandas	2.2.3
6	Scikit-learn	1.5.2
7	OpenSmile	2.5.0
8	Librosa	0.10.2.post1
9	AudioRead	3.0.1
10	IPython	8.28.0
11	Requests	2.32.3
12	JupyterLab	4.2.5
13	LIWC	0.5.0
14	Transformers	4.45.1
15	Sentencepiece	0.2.0
16	Torch	2.4.1+cu118
17	Torchaudio	2.4.1+cu118
18	Torchvision	0.19.1+cu118

— Время выполнения: 0.004 сек. —

Formation of the neural network architecture of the model for obtaining scores by hand-crafted features

_b5.audio_model_hc_ - Нейросетевая модель nn.Module для получения оценок по экспертным признакам

[5]:

res_load_audio_model_hc = _b5.load_audio_model_hc(
    show_summary = False, # Displaying the formed neural network architecture of the model
    out = True, # Display
    runtime = True, # Runtime count
    run = True # Run blocking
)

[2024-10-08 19:50:39] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (аудио модальность) …

— Время выполнения: 0.002 сек. —

Downloading the weights of the neural network model to obtain scores by hand-crafted features

_b5.audio_model_hc_ - Нейросетевая модель nn.Module для получения оценок по экспертным признакам

[6]:

# Настройки ядра
_b5.path_to_save_ = './models' # Директория для сохранения файла
_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг

url = _b5.weights_for_big5_['audio']['fi']['hc']['googledisk']

res_load_audio_model_weights_hc = _b5.load_audio_model_weights_hc(
    url = url, # Полный путь к файлу с весами нейросетевой модели
    force_reload = True, # Принудительная загрузка файла с весами нейросетевой модели из сети
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2024-10-08 19:50:39] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (аудио модальность) …

[2024-10-08 19:50:42] Загрузка файла “weights_2022-05-05_11-27-55.pth” 100.0% …

— Время выполнения: 2.861 сек. —

Formation of the neural network architecture of the model for obtaining scores by deep features

_b5.audio_model_nn_ - Нейросетевая модель nn.Module для получения оценок по нейросетевым признакам

[7]:

res_load_audio_model_nn = _b5.load_audio_model_nn(
    show_summary = False, # Displaying the formed neural network architecture of the model
    out = True, # Display
    runtime = True, # Runtime count
    run = True # Run blocking
)

[2024-10-08 19:50:42] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (аудио модальность) …

— Время выполнения: 1.052 сек. —

Downloading the weights of the neural network model to obtain scores by deep features

_b5.audio_model_nn_ - Нейросетевая модель nn.Module для получения оценок по нейросетевым признакам

[8]:

# Настройки ядра
_b5.path_to_save_ = './models' # Директория для сохранения файла
_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг

url = _b5.weights_for_big5_['audio']['fi']['nn']['googledisk']

res_load_audio_model_weights_nn = _b5.load_audio_model_weights_nn(
    url = url, # Полный путь к файлу с весами нейросетевой модели
    force_reload = False, # Принудительная загрузка файла с весами нейросетевой модели из сети
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2024-10-08 19:50:43] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (аудио модальность) …

[2024-10-08 19:50:50] Загрузка файла “weights_2022-05-03_07-46-14.pth” 100.0% …

— Время выполнения: 7.158 сек. —

Formation of neural network architectures of models for obtaining the personality traits scores

_b5.audio_models_b5_ - Нейросетевые модели nn.Module для получения результатов оценки персональных качеств

[9]:

res_load_audio_models_b5 = _b5.load_audio_models_b5(
    show_summary = False, # Displaying the formed neural network architecture of the model
    out = True, # Display
    runtime = True, # Runtime count
    run = True # Run blocking
)

[2024-10-08 19:50:50] Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств (аудио модальность) …

— Время выполнения: 0.001 сек. —

Downloading the weights of neural network models to obtain the personality traits scores

_b5.audio_models_b5_ - Нейросетевые модели nn.Module для получения результатов оценки персональных качеств

[10]:

# Настройки ядра
_b5.path_to_save_ = './models' # Директория для сохранения файла
_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг

url_openness = _b5.weights_for_big5_['audio']['fi']['b5']['openness']['googledisk']
url_conscientiousness = _b5.weights_for_big5_['audio']['fi']['b5']['conscientiousness']['googledisk']
url_extraversion = _b5.weights_for_big5_['audio']['fi']['b5']['extraversion']['googledisk']
url_agreeableness = _b5.weights_for_big5_['audio']['fi']['b5']['agreeableness']['googledisk']
url_non_neuroticism = _b5.weights_for_big5_['audio']['fi']['b5']['non_neuroticism']['googledisk']

res_load_audio_models_weights_b5 = _b5.load_audio_models_weights_b5(
    url_openness = url_openness, # Открытость опыту
    url_conscientiousness = url_conscientiousness, # Добросовестность
    url_extraversion = url_extraversion, # Экстраверсия
    url_agreeableness = url_agreeableness, # Доброжелательность
    url_non_neuroticism = url_non_neuroticism, # Эмоциональная стабильность
    force_reload = False, # Принудительная загрузка файла с весами нейросетевой модели из сети
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2024-10-08 19:50:50] Загрузка весов нейросетевых моделей для получения результатов оценки персональных качеств (аудио модальность) …

[2024-10-08 19:50:53] Загрузка файла “weights_2022-06-15_16-16-20.pth” 100.0% … Открытость опыту

[2024-10-08 19:50:55] Загрузка файла “weights_2022-06-15_16-21-57.pth” 100.0% … Добросовестность

[2024-10-08 19:50:58] Загрузка файла “weights_2022-06-15_16-26-41.pth” 100.0% … Экстраверсия

[2024-10-08 19:51:00] Загрузка файла “weights_2022-06-15_16-32-51.pth” 100.0% … Доброжелательность

[2024-10-08 19:51:03] Загрузка файла “weights_2022-06-15_16-37-46.pth” 100.0% … Эмоциональная стабильность

— Время выполнения: 12.325 сек. —

Getting scores (audio modality)

_b5.df_files_ - DataFrame with data

_b5.df_accuracy_ - DataFrame with accuracy

[11]:

# Настройки ядра
_b5.path_to_dataset_ = 'E:/Databases/FirstImpressionsV2/test' # Директория набора данных
# Директории не входящие в выборку
_b5.ignore_dirs_ = []
# Названия ключей для DataFrame набора данных
_b5.keys_dataset_ = ['Path', 'Openness', 'Conscientiousness', 'Extraversion', 'Agreeableness', 'Non-Neuroticism']
_b5.ext_ = ['.mp4'] # Расширения искомых файлов
_b5.path_to_logs_ = './logs' # Директория для сохранения LOG файлов

# Полный путь к файлу с верными предсказаниями для подсчета точности
url_accuracy = _b5.true_traits_['fi']['googledisk']

res_get_audio_union_predictions = _b5.get_audio_union_predictions(
    depth = 1,         # Глубина иерархии для получения аудио и видеоданных
    recursive = False, # Рекурсивный поиск данных
    sr = 44100,        # Частота дискретизации
    window = 2,        # Размер окна сегмента сигнала (в секундах)
    step = 1,          # Шаг сдвига окна сегмента сигнала (в секундах)
    accuracy = True,   # Вычисление точности
    url_accuracy = url_accuracy,
    logs = True,      # При необходимости формировать LOG файл
    out = True,        # Отображение
    runtime = True,    # Подсчет времени выполнения
    run = True         # Блокировка выполнения
)

[2024-10-08 20:28:05] Получение прогнозов и вычисление точности (аудио модальность) …

2000 из 2000 (100.0%) … test80_25_Q4wOgixh7E.004.mp4 …

	Path	Openness	Conscientiousness	Extraversion	Agreeableness	Non-Neuroticism
Person ID
1	13kjwEtSyXc.003.mp4	0.603529	0.556218	0.526543	0.579646	0.547635
2	1Lv72Si4GnY.000.mp4	0.568252	0.465237	0.460755	0.541791	0.511347
3	1uC-2TZqplE.003.mp4	0.546181	0.603923	0.469423	0.589499	0.545701
4	2Z8Xi_DTlpI.000.mp4	0.691046	0.623833	0.628842	0.614673	0.645805
5	3df_Uk9EmwU.002.mp4	0.690791	0.589742	0.636094	0.606597	0.634776
6	3gmc2kLV4Bo.003.mp4	0.657285	0.68135	0.571423	0.596065	0.623456
7	3hKgh9AB3tk.003.mp4	0.453752	0.438842	0.376457	0.520405	0.438247
8	3S72dDIm1fM.005.mp4	0.558587	0.598298	0.452168	0.618857	0.571629
9	3tPq9fNOXZQ.000.mp4	0.529056	0.502458	0.426567	0.488254	0.443686
10	43tayteIFRk.001.mp4	0.537253	0.508196	0.438884	0.579789	0.512096
11	4RKQGZzPClk.000.mp4	0.512775	0.447304	0.422976	0.559119	0.49141
12	6zm71IHOCZA.005.mp4	0.447127	0.451081	0.36446	0.513057	0.414437
13	7qGYGbIg45c.001.mp4	0.36839	0.391951	0.274883	0.42953	0.307687
14	8YQKwMdiaAE.003.mp4	0.582561	0.432921	0.412405	0.44201	0.462234
15	9Crw2RtrBcY.005.mp4	0.627692	0.801797	0.528606	0.692622	0.691895
16	9eNHxfOV2Kg.005.mp4	0.708788	0.653992	0.640535	0.632075	0.669044
17	9J-KIPMQmqk.002.mp4	0.58397	0.644069	0.504643	0.63351	0.59207
18	9RfE2-aTvaM.002.mp4	0.550824	0.539586	0.468088	0.59486	0.543999
19	9_6auSk_wkY.002.mp4	0.626713	0.563235	0.556535	0.561917	0.54922
20	aaylz9A9K80.000.mp4	0.593027	0.421477	0.50483	0.534268	0.532835
21	Af_F0IzHK6o.002.mp4	0.545953	0.479617	0.465817	0.57133	0.518822
22	Ah5PEPT4xbo.000.mp4	0.548449	0.480838	0.453347	0.527779	0.477625
23	AotbiNsU85A.003.mp4	0.486088	0.467776	0.396133	0.444673	0.399426
24	BLc_GvsbI1U.001.mp4	0.558279	0.537874	0.47412	0.56359	0.529321
25	bLOSPQ8MAC8.005.mp4	0.473006	0.542048	0.370227	0.550082	0.467045
26	bPLhV0PGR50.001.mp4	0.530933	0.460269	0.410569	0.507323	0.450016
27	bYXRyimxh7A.001.mp4	0.618052	0.506387	0.572215	0.574839	0.563787
28	ch2BcBv4SdQ.003.mp4	0.647054	0.57776	0.565904	0.575295	0.606337
29	cpch8WDydcM.004.mp4	0.571504	0.529554	0.486678	0.535736	0.529069
30	De4i7-FX9Og.002.mp4	0.655017	0.606722	0.592835	0.570564	0.60037

[2024-10-08 20:28:05] Точность по отдельным персональным качествам личности человека …

	Openness	Conscientiousness	Extraversion	Agreeableness	Non-Neuroticism	Mean
Metrics
MAE	0.0916	0.0925	0.0932	0.0918	0.094	0.0926
Accuracy	0.9084	0.9075	0.9068	0.9082	0.906	0.9074

[2024-10-08 20:28:05] Средняя средних абсолютных ошибок: 0.0926, средняя точность: 0.9074 …

Лог файлы успешно сохранены …

— Время выполнения: 2221.886 сек. —