Аудио
- class oceanai.modules.lab.audio.AudioMessages(lang: str = 'ru', color_simple: str = '#666', color_info: str = '#1776D2', color_err: str = '#FF0000', color_true: str = '#008001', bold_text: bool = True, text_runtime: str = '', num_to_df_display: int = 30)[исходный код]
Базовые классы:
Download
Класс для сообщений
- Параметры
lang (str) – Смотреть
lang
color_simple (str) – Смотреть
color_simple
color_info (str) – Смотреть
color_info
color_err (str) – Смотреть
color_err
color_true (str) – Смотреть
color_true
bold_text (bool) – Смотреть
bold_text
num_to_df_display (int) – Смотреть
num_to_df_display
text_runtime (str) – Смотреть
text_runtime
- class oceanai.modules.lab.audio.Audio(lang: str = 'ru', color_simple: str = '#666', color_info: str = '#1776D2', color_err: str = '#FF0000', color_true: str = '#008001', bold_text: bool = True, text_runtime: str = '', num_to_df_display: int = 30)[исходный код]
Базовые классы:
AudioMessages
Класс для обработки аудио
- Параметры
lang (str) – Смотреть
lang
color_simple (str) – Смотреть
color_simple
color_info (str) – Смотреть
color_info
color_err (str) – Смотреть
color_err
color_true (str) – Смотреть
color_true
bold_text (bool) – Смотреть
bold_text
num_to_df_display (int) – Смотреть
num_to_df_display
text_runtime (str) – Смотреть
text_runtime
- __concat_pred(pred_hc: ndarray, pred_melspectrogram: ndarray, out: bool = True) List[Optional[ndarray]]
Конкатенация оценок по экспертным и нейросетевым признакам
Примечание
private (приватный метод)
- Параметры
pred_hc (np.ndarray) – Оценки по экспертным признакам
pred_melspectrogram (np.ndarray) – Оценки по нейросетевым признакам
out (bool) – Отображение
- Результат
Конкатенированные оценки по экспертным и нейросетевым признакам
- Тип результата
List[Optional[np.ndarray]]
Примеры
Верно – 1 –
In [1]:1import numpy as np 2from oceanai.modules.lab.audio import Audio 3 4audio = Audio() 5 6arr_hc = np.array([ 7 [0.64113516, 0.6217892, 0.54451424, 0.6144415, 0.59334993], 8 [0.6652424, 0.63606125, 0.572305, 0.63169795, 0.612515] 9]) 10 11arr_melspectrogram = np.array([ 12 [0.56030345, 0.7488746, 0.44648764, 0.59893465, 0.5701077], 13 [0.5900006, 0.7652722, 0.4795154, 0.6409055, 0.6088242] 14]) 15 16audio._Audio__concat_pred( 17 pred_hc = arr_hc, 18 pred_melspectrogram = arr_melspectrogram, 19 out = True 20)
[1]:1[ 2 array([ 3 0.64113516, 0.6652424, 0.65318878, 0.65318878, 0.65318878, 4 0.65318878, 0.65318878, 0.65318878, 0.65318878, 0.65318878, 5 0.65318878, 0.65318878, 0.65318878, 0.65318878, 0.65318878, 6 0.65318878, 0.56030345, 0.5900006, 0.57515202, 0.57515202, 7 0.57515202, 0.57515202, 0.57515202, 0.57515202, 0.57515202, 8 0.57515202, 0.57515202, 0.57515202, 0.57515202, 0.57515202, 9 0.57515202, 0.57515202 10 ]), 11 array([ 12 0.6217892, 0.63606125, 0.62892523, 0.62892523, 0.62892523, 13 0.62892523, 0.62892523, 0.62892523, 0.62892523, 0.62892523, 14 0.62892523, 0.62892523, 0.62892523, 0.62892523, 0.62892523, 15 0.62892523, 0.7488746, 0.7652722, 0.7570734, 0.7570734, 16 0.7570734, 0.7570734, 0.7570734, 0.7570734, 0.7570734, 17 0.7570734, 0.7570734, 0.7570734, 0.7570734, 0.7570734, 18 0.7570734, 0.7570734 19 ]), 20 array([ 21 0.54451424, 0.572305, 0.55840962, 0.55840962, 0.55840962, 22 0.55840962, 0.55840962, 0.55840962, 0.55840962, 0.55840962, 23 0.55840962, 0.55840962, 0.55840962, 0.55840962, 0.55840962, 24 0.55840962, 0.44648764, 0.4795154, 0.46300152, 0.46300152, 25 0.46300152, 0.46300152, 0.46300152, 0.46300152, 0.46300152, 26 0.46300152, 0.46300152, 0.46300152, 0.46300152, 0.46300152, 27 0.46300152, 0.46300152 28 ]), 29 array([ 30 0.6144415, 0.63169795, 0.62306972, 0.62306972, 0.62306972, 31 0.62306972, 0.62306972, 0.62306972, 0.62306972, 0.62306972, 32 0.62306972, 0.62306972, 0.62306972, 0.62306972, 0.62306972, 33 0.62306972, 0.59893465, 0.6409055, 0.61992008, 0.61992008, 34 0.61992008, 0.61992008, 0.61992008, 0.61992008, 0.61992008, 35 0.61992008, 0.61992008, 0.61992008, 0.61992008, 0.61992008, 36 0.61992008, 0.61992008 37 ]), 38 array([ 39 0.59334993, 0.612515, 0.60293247, 0.60293247, 0.60293247, 40 0.60293247, 0.60293247, 0.60293247, 0.60293247, 0.60293247, 41 0.60293247, 0.60293247, 0.60293247, 0.60293247, 0.60293247, 42 0.60293247, 0.5701077, 0.6088242, 0.58946595, 0.58946595, 43 0.58946595, 0.58946595, 0.58946595, 0.58946595, 0.58946595, 44 0.58946595, 0.58946595, 0.58946595, 0.58946595, 0.58946595, 45 0.58946595, 0.58946595 46 ]) 47]
Ошибка – 1 –
In [2]:1import numpy as np 2from oceanai.modules.lab.audio import Audio 3 4audio = Audio() 5 6arr_hc = np.array([ 7 [0.64113516, 0.6217892, 0.54451424, 0.6144415], 8 [0.6652424, 0.63606125, 0.572305, 0.63169795, 0.612515] 9]) 10 11arr_melspectrogram = np.array([ 12 [0.56030345, 0.7488746, 0.44648764, 0.59893465, 0.5701077], 13 [0.5900006, 0.7652722, 0.4795154, 0.6409055, 0.6088242] 14]) 15 16audio._Audio__concat_pred( 17 pred_hc = arr_hc, 18 pred_melspectrogram = arr_melspectrogram, 19 out = True 20)
[3]:1[2022-10-20 22:33:31] Что-то пошло не так ... конкатенация оценок по экспертным и нейросетевым 2признакам не произведена (аудио модальность) ... 3 4[]
- __load_audio_model_b5(show_summary: bool = False, out: bool = True) Optional[Model]
Формирование нейросетевой архитектуры модели для получения результата оценки персонального качества
Примечание
private (приватный метод)
- Параметры
show_summary (bool) – Отображение сформированной нейросетевой архитектуры модели
out (bool) – Отображение
- Результат
None если неверные типы или значения аргументов, в обратном случае нейросетевая модель tf.keras.Model для получения результата оценки персонального качества
- Тип результата
Optional[tf.keras.Model]
Примеры
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio._Audio__load_audio_model_b5( 6 show_summary = True, out = True 7)
[1]:1Model: "model" 2_________________________________________________________________ 3 Layer (type) Output Shape Param # 4================================================================= 5 input_1 (InputLayer) [(None, 32)] 0 6 7 dense_1 (Dense) (None, 1) 33 8 9 activ_1 (Activation) (None, 1) 0 10 11================================================================= 12Total params: 33 13Trainable params: 33 14Non-trainable params: 0 15_________________________________________________________________ 16<tf.keras.Model at 0x13d442940>
Ошибка – 1 –
In [2]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio._Audio__load_audio_model_b5( 6 show_summary = True, out = [] 7)
[3]:1[2022-10-17 10:53:03] Неверные типы или значения аргументов в "Audio.__load_audio_model_b5" ...
- __load_model_weights(url: str, force_reload: bool = True, info_text: str = '', out: bool = True, runtime: bool = True, run: bool = True) bool
Загрузка весов нейросетевой модели
Примечание
private (приватный метод)
- Параметры
url (str) – Полный путь к файлу с весами нейросетевой модели
force_reload (bool) – Принудительная загрузка файла с весами нейросетевой модели из сети
info_text (str) – Текст для информационного сообщения
out (bool) – Отображение
runtime (bool) – Подсчет времени выполнения
run (bool) – Блокировка выполнения
- Результат
True если веса нейросетевой модели загружены, в обратном случае False
- Тип результата
bool
Примеры
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.path_to_save_ = './models' 6audio.chunk_size_ = 2000000 7 8audio._Audio__load_model_weights( 9 url = 'https://download.sberdisk.ru/download/file/400635799?token=MMRrak8fMsyzxLE&filename=weights_2022-05-05_11-27-55.h5', 10 force_reload = True, 11 info_text = 'Загрузка весов нейросетевой модели', 12 out = True, runtime = True, run = True 13)
[1]:1[2022-10-17 12:21:48] Загрузка весов нейросетевой модели 2 3[2022-10-17 12:21:48] Загрузка файла "weights_2022-05-05_11-27-55.h5" (100.0%) ... 4 5--- Время выполнения: 0.439 сек. --- 6 7True
– 2 –
In [2]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.path_to_save_ = './models' 6audio.chunk_size_ = 2000000 7 8audio._Audio__load_model_weights( 9 url = './models/weights_2022-05-05_11-27-55.h5', 10 force_reload = True, 11 info_text = 'Загрузка весов нейросетевой модели', 12 out = True, runtime = True, run = True 13)
[2]:1[2022-10-17 12:21:50] Загрузка весов нейросетевой модели 2 3--- Время выполнения: 0.002 сек. --- 4 5True
Ошибка – 1 –
In [3]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.path_to_save_ = './models' 6audio.chunk_size_ = 2000000 7 8audio._Audio__load_model_weights( 9 url = 'https://download.sberdisk.ru/download/file/400635799?token=MMRrak8fMsyzxLE&filename=weights_2022-05-05_11-27-55.h5', 10 force_reload = True, info_text = '', 11 out = True, runtime = True, run = True 12)
[3]:1[2022-10-17 12:21:57] Неверные типы или значения аргументов в "Audio.__load_model_weights" ... 2 3False
- __norm_pred(pred_data: ndarray, len_spec: int = 16, out: bool = True) ndarray
Нормализация оценок по экспертным и нейросетевым признакам
Примечание
private (приватный метод)
- Параметры
pred_data (np.ndarray) – Оценки
len_spec (int) – Максимальный размер вектора оценок
out (bool) – Отображение
- Результат
Нормализованные оценки по экспертным и нейросетевым признакам
- Тип результата
np.ndarray
Примеры
Верно – 1 –
In [1]:1import numpy as np 2from oceanai.modules.lab.audio import Audio 3 4audio = Audio() 5 6arr = np.array([ 7 [0.64113516, 0.6217892, 0.54451424, 0.6144415, 0.59334993], 8 [0.6652424, 0.63606125, 0.572305, 0.63169795, 0.612515] 9]) 10 11audio._Audio__norm_pred( 12 pred_data = arr, 13 len_spec = 4, 14 out = True 15)
[1]:1array([ 2 [0.64113516, 0.6217892 , 0.54451424, 0.6144415 , 0.59334993], 3 [0.6652424 , 0.63606125, 0.572305 , 0.63169795, 0.612515], 4 [0.65318878, 0.62892523, 0.55840962, 0.62306972, 0.60293247], 5 [0.65318878, 0.62892523, 0.55840962, 0.62306972, 0.60293247] 6])
Ошибка – 1 –
In [2]:1import numpy as np 2from oceanai.modules.lab.audio import Audio 3 4audio = Audio() 5 6arr = np.array([]) 7 8audio._Audio__norm_pred( 9 pred_data = arr, 10 len_spec = 4, 11 out = True 12)
[3]:1[2022-10-20 22:03:17] Неверные типы или значения аргументов в "Audio.__norm_pred" ... 2 3array([], dtype=float64)
- __smile() Smile
Извлечение функций OpenSmile
Примечание
private (приватный метод)
- Результат
Извлеченные функции OpenSmile
- Тип результата
opensmile.core.smile.Smile
Пример
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4audio._Audio__smile()
[1]:1{ 2 '$opensmile.core.smile.Smile': { 3 'feature_set': 'eGeMAPSv02', 4 'feature_level': 'LowLevelDescriptors', 5 'options': {}, 6 'sampling_rate': None, 7 'channels': [0], 8 'mixdown': False, 9 'resample': False 10 } 11}
- _get_acoustic_features(path: str, sr: int = 44100, window: Union[int, float] = 2.0, step: Union[int, float] = 1.0, last: bool = False, out: bool = True, runtime: bool = True, run: bool = True) Tuple[List[Optional[ndarray]], List[Optional[ndarray]]] [исходный код]
Извлечение признаков из акустического сигнала (без очистки истории вывода сообщений в ячейке Jupyter)
Примечание
protected (защищенный метод)
- Параметры
path (str) – Путь к аудио или видеофайлу
sr (int) – Частота дискретизации
window (Union[int, float]) – Размер окна сегмента сигнала (в секундах)
step (Union[int, float]) – Шаг сдвига окна сегмента сигнала (в секундах)
last (bool) – Замена последнего сообщения
out (bool) – Отображение
runtime (bool) – Подсчет времени выполнения
run (bool) – Блокировка выполнения
- Результат
Кортеж с двумя списками:
Список с экспертными признаками
Список с лог мел-спектрограммами
- Тип результата
Tuple[List[Optional[np.ndarray]], List[Optional[np.ndarray]]]
Примеры
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5sr = 44100 6path = '/Users/dl/GitHub/oceanai/oceanai/dataset/test80_01/glgfB3vFewc.004.mp4' 7 8hc_features, melspectrogram_features = audio._get_acoustic_features( 9 path = path, sr = sr, 10 window = 2, step = 1, 11 last = False, out = True, 12 runtime = True, run = True 13)
[1]:1[2022-10-19 14:58:19] Извлечение признаков (экспертных и лог мел-спектрограмм) из акустического сигнала ... 2 3[2022-10-19 14:58:20] Статистика извлеченных признаков из акустического сигнала: 4 Общее количество сегментов с: 5 1. экспертными признаками: 12 6 2. лог мел-спектрограммами: 12 7 Размерность матрицы экспертных признаков одного сегмента: 196 ✕ 25 8 Размерность тензора с лог мел-спектрограммами одного сегмента: 224 ✕ 224 ✕ 3 9 10--- Время выполнения: 1.273 сек. ---
Ошибки – 1 –
In [2]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5sr = 44100 6path = '/Users/dl/GitHub/oceanai/oceanai/dataset/test80_01/glgfB3vFewc.004.mp4' 7 8hc_features, melspectrogram_features = audio._get_acoustic_features( 9 path = 1, sr = sr, 10 window = 2, step = 1, 11 last = False, out = True, 12 runtime = True, run = True 13)
[2]:1[2022-10-19 15:33:04] Неверные типы или значения аргументов в "Audio._get_acoustic_features" ...
– 2 –
In [2]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5sr = 44100 6path = '/Users/dl/GitHub/oceanai/oceanai/dataset/test80_01/glgfB3vFewc.004.mp4' 7 8hc_features, melspectrogram_features = audio._get_acoustic_features( 9 path = path, sr = sr, 10 window = 0.04, step = 1, 11 last = False, out = True, 12 runtime = True, run = True 13)
[2]:1[2022-10-19 15:34:38] Извлечение признаков (экспертных и лог мел-спектрограмм) из акустического сигнала ... 2 3[2022-10-19 15:34:38] Что-то пошло не так ... указан слишком маленький размер (0.04) окна сегмента сигнала ... 4 5 Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/audio.py 6 Линия: 863 7 Метод: _get_acoustic_features 8 Тип ошибки: IsSmallWindowSizeError 9 10--- Время выполнения: 0.049 сек. ---
- property audio_model_hc_: Optional[Model]
Получение нейросетевой модели tf.keras.Model для получения оценок по экспертным признакам
- Результат
Нейросетевая модель tf.keras.Model или None
- Тип результата
Optional[tf.keras.Model]
Примеры
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.load_audio_model_hc( 6 show_summary = False, out = True, 7 runtime = True, run = True 8) 9 10audio.audio_model_hc_
[1]:1[2022-10-17 13:54:35] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (аудио модальность) ... 2 3--- Время выполнения: 0.509 сек. --- 4 5<tf.keras.Model at 0x13dd600a0>
Ошибка – 1 –
In [2]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.audio_model_hc_
[2]:1
- property audio_model_nn_: Optional[Model]
Получение нейросетевой модели tf.keras.Model для получения оценок по нейросетевым признакам
- Результат
Нейросетевая модель tf.keras.Model или None
- Тип результата
Optional[tf.keras.Model]
Примеры
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.load_audio_model_nn( 6 show_summary = False, out = True, 7 runtime = True, run = True 8) 9 10audio.audio_model_nn_
[1]:1[2022-10-17 13:58:29] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам ... 2 3--- Время выполнения: 0.444 сек. --- 4 5<tf.keras.Model at 0x13db97760>
Ошибка – 1 –
In [2]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.audio_model_nn_
[2]:1
- property audio_models_b5_: Dict[str, Optional[Model]]
Получение нейросетевых моделей tf.keras.Model для получения результатов оценки персональных качеств
- Результат
Словарь с нейросетевыми моделями tf.keras.Model
- Тип результата
Dict
Примеры
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.load_audio_models_b5( 6 show_summary = False, out = True, 7 runtime = True, run = True 8) 9 10audio.audio_models_b5_
[1]:1[2022-10-19 15:45:35] Формирование нейросетевых архитектур моделей для получения результатов оценки 2персональных качеств (аудио модальность) ... 3 4--- Время выполнения: 0.07 сек. --- 5 6{ 7 'openness': <tf.keras.Model at 0x1481e03a0>, 8 'conscientiousness': <tf.keras.Model at 0x147d13520>, 9 'extraversion': <tf.keras.Model at 0x1481edfa0>, 10 'agreeableness': <tf.keras.Model at 0x1481cfc40>, 11 'non_neuroticism': <tf.keras.Model at 0x1481cffd0> 12}
Ошибка – 1 –
In [2]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.audio_models_b5_
[2]:1{ 2 'openness': None, 3 'conscientiousness': None, 4 'extraversion': None, 5 'agreeableness': None, 6 'non_neuroticism': None 7}
- get_acoustic_features(path: str, sr: int = 44100, window: Union[int, float] = 2.0, step: Union[int, float] = 1.0, out: bool = True, runtime: bool = True, run: bool = True) Tuple[List[Optional[ndarray]], List[Optional[ndarray]]] [исходный код]
Извлечение признаков из акустического сигнала
- Параметры
path (str) – Путь к аудио или видеофайлу
sr (int) – Частота дискретизации
window (Union[int, float]) – Размер окна сегмента сигнала (в секундах)
step (Union[int, float]) – Шаг сдвига окна сегмента сигнала (в секундах)
out (bool) – Отображение
runtime (bool) – Подсчет времени выполнения
run (bool) – Блокировка выполнения
- Результат
Кортеж с двумя списками:
Список с экспертными признаками
Список с лог мел-спектрограммами
- Тип результата
Tuple[List[Optional[np.ndarray]], List[Optional[np.ndarray]]]
- get_audio_union_predictions(depth: int = 1, recursive: bool = False, sr: int = 44100, window: Union[int, float] = 2.0, step: Union[int, float] = 1.0, accuracy=True, url_accuracy: str = '', logs: bool = True, out: bool = True, runtime: bool = True, run: bool = True) bool [исходный код]
Получения прогнозов по аудио
- Параметры
depth (int) – Глубина иерархии для получения данных
recursive (bool) – Рекурсивный поиск данных
sr (int) – Частота дискретизации
window (Union[int, float]) – Размер окна сегмента сигнала (в секундах)
step (Union[int, float]) – Шаг сдвига окна сегмента сигнала (в секундах)
accuracy (bool) – Вычисление точности
url_accuracy (str) – Полный путь к файлу с верными предсказаниями для подсчета точности
logs (bool) – При необходимости формировать LOG файл
out (bool) – Отображение
runtime (bool) – Подсчет времени выполнения
run (bool) – Блокировка выполнения
- Результат
True если прогнозы успешно получены, в обратном случае False
- Тип результата
bool
- load_audio_model_hc(show_summary: bool = False, out: bool = True, runtime: bool = True, run: bool = True) bool [исходный код]
Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам
- Параметры
show_summary (bool) – Отображение сформированной нейросетевой архитектуры модели
out (bool) – Отображение
runtime (bool) – Подсчет времени выполнения
run (bool) – Блокировка выполнения
- Результат
True если нейросетевая архитектура модели сформирована, в обратном случае False
- Тип результата
bool
Примеры
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4audio.load_audio_model_hc( 5 show_summary = False, out = True, 6 runtime = True, run = True 7)
[1]:1[2022-10-17 13:16:23] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (аудио модальность) ... 2 3--- Время выполнения: 0.364 сек. --- 4 5True
Ошибка – 1 –
In [2]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4audio.load_audio_model_hc( 5 show_summary = 1, out = True, 6 runtime = True, run = True 7)
[2]:1[2022-10-17 13:20:04] Неверные типы или значения аргументов в "Audio.load_audio_model_hc" ... 2 3False
- load_audio_model_nn(show_summary: bool = False, out: bool = True, runtime: bool = True, run: bool = True) bool [исходный код]
Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам
- Параметры
show_summary (bool) – Отображение сформированной нейросетевой архитектуры модели
out (bool) – Отображение
runtime (bool) – Подсчет времени выполнения
run (bool) – Блокировка выполнения
- Результат
True если нейросетевая архитектура модели сформирована, в обратном случае False
- Тип результата
bool
Примеры
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4audio.load_audio_model_nn( 5 show_summary = True, out = True, 6 runtime = True, run = True 7)
[1]:1[2022-10-17 13:25:34] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (аудио модальность) ... 2 3Model: "model" 4_________________________________________________________________ 5 Layer (type) Output Shape Param # 6================================================================= 7 input_1 (InputLayer) [(None, 224, 224, 3)] 0 8 9 block1_conv1 (Conv2D) (None, 224, 224, 64) 1792 10 11 block1_conv2 (Conv2D) (None, 224, 224, 64) 36928 12 13 block1_pool (MaxPooling2D) (None, 112, 112, 64) 0 14 15 block2_conv1 (Conv2D) (None, 112, 112, 128) 73856 16 17 block2_conv2 (Conv2D) (None, 112, 112, 128) 147584 18 19 block2_pool (MaxPooling2D) (None, 56, 56, 128) 0 20 21 block3_conv1 (Conv2D) (None, 56, 56, 256) 295168 22 23 block3_conv2 (Conv2D) (None, 56, 56, 256) 590080 24 25 block3_conv3 (Conv2D) (None, 56, 56, 256) 590080 26 27 block3_pool (MaxPooling2D) (None, 28, 28, 256) 0 28 29 block4_conv1 (Conv2D) (None, 28, 28, 512) 1180160 30 31 block4_conv2 (Conv2D) (None, 28, 28, 512) 2359808 32 33 block4_conv3 (Conv2D) (None, 28, 28, 512) 2359808 34 35 block4_pool (MaxPooling2D) (None, 14, 14, 512) 0 36 37 block5_conv1 (Conv2D) (None, 14, 14, 512) 2359808 38 39 block5_conv2 (Conv2D) (None, 14, 14, 512) 2359808 40 41 block5_conv3 (Conv2D) (None, 14, 14, 512) 2359808 42 43 block5_pool (MaxPooling2D) (None, 7, 7, 512) 0 44 45 flatten (Flatten) (None, 25088) 0 46 47 dense (Dense) (None, 512) 12845568 48 49 dropout (Dropout) (None, 512) 0 50 51 dense_1 (Dense) (None, 256) 131328 52 53 dense_2 (Dense) (None, 5) 1285 54 55================================================================= 56Total params: 27,692,869 57Trainable params: 27,692,869 58Non-trainable params: 0 59_________________________________________________________________ 60--- Время выполнения: 0.407 сек. --- 61 62True
Ошибка – 1 –
In [2]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4audio.load_audio_model_nn( 5 show_summary = 1, out = True, 6 runtime = True, run = True 7)
[2]:1[2022-10-17 13:25:40] Неверные типы или значения аргументов в "Audio.load_audio_model_nn" ... 2 3False
- load_audio_model_weights_hc(url: str, force_reload: bool = True, out: bool = True, runtime: bool = True, run: bool = True) bool [исходный код]
Загрузка весов нейросетевой модели для получения оценок по экспертным признакам
- Параметры
url (str) – Полный путь к файлу с весами нейросетевой модели
force_reload (bool) – Принудительная загрузка файла с весами нейросетевой модели из сети
out (bool) – Отображение
runtime (bool) – Подсчет времени выполнения
run (bool) – Блокировка выполнения
- Результат
True если веса нейросетевой модели загружены, в обратном случае False
- Тип результата
bool
Примеры
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.load_audio_model_hc( 6 show_summary = False, out = True, 7 runtime = True, run = True 8)
[1]:1[2022-10-17 14:24:28] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (аудио модальность) ... 2 3--- Время выполнения: 0.398 сек. --- 4 5True
In [2]:1audio.path_to_save_ = './models' 2audio.chunk_size_ = 2000000 3 4url = audio.weights_for_big5_['audio']['hc']['sberdisk'] 5 6audio.load_audio_model_weights_hc( 7 url = url, 8 force_reload = True, 9 out = True, 10 runtime = True, 11 run = True 12)
[2]:1[2022-10-17 14:24:30] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (аудио модальность) ... 2 3[2022-10-17 14:24:30] Загрузка файла "weights_2022-05-05_11-27-55.h5" (100.0%) ... 4 5--- Время выполнения: 0.414 сек. --- 6 7True
Ошибка – 1 –
In [3]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.path_to_save_ = './models' 6audio.chunk_size_ = 2000000 7 8url = audio.weights_for_big5_['audio']['hc']['sberdisk'] 9 10audio.load_audio_model_weights_hc( 11 url = url, 12 force_reload = True, 13 out = True, 14 runtime = True, 15 run = True 16)
[3]:1[2022-10-17 15:21:13] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (аудио модальность) ... 2 3[2022-10-17 15:21:14] Загрузка файла "weights_2022-05-05_11-27-55.h5" (100.0%) ... 4 5[2022-10-17 15:21:14] Что-то пошло не так ... нейросетевая архитектура модели для получения оценок по экспертным признакам не сформирована (аудио модальность) ... 6 7--- Время выполнения: 0.364 сек. --- 8 9False
- load_audio_model_weights_nn(url: str, force_reload: bool = True, out: bool = True, runtime: bool = True, run: bool = True) bool [исходный код]
Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам
- Параметры
url (str) – Полный путь к файлу с весами нейросетевой модели
force_reload (bool) – Принудительная загрузка файла с весами нейросетевой модели из сети
out (bool) – Отображение
runtime (bool) – Подсчет времени выполнения
run (bool) – Блокировка выполнения
- Результат
True если веса нейросетевой модели загружены, в обратном случае False
- Тип результата
bool
Примеры
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.load_audio_model_nn( 6 show_summary = False, out = True, 7 runtime = True, run = True 8)
[1]:1[2022-10-17 15:47:20] Формирование нейросетевой архитектуры для получения оценок по нейросетевым 2признакам (аудио модальность) ... 3 4--- Время выполнения: 0.419 сек. --- 5 6True
In [2]:1audio.path_to_save_ = './models' 2audio.chunk_size_ = 2000000 3 4url = audio.weights_for_big5_['audio']['nn']['sberdisk'] 5 6audio.load_audio_model_weights_nn( 7 url = url, 8 force_reload = True, 9 out = True, 10 runtime = True, 11 run = True 12)
[2]:1[2022-10-17 15:47:22] Загрузка весов нейросетевой модели для получения оценок по нейросетевым 2признакам (аудио модальность) ... 3 4[2022-10-17 15:47:26] Загрузка файла "weights_2022-05-03_07-46-14.h5" (100.0%) ... 5 6--- Время выполнения: 3.884 сек. --- 7 8True
Ошибка – 1 –
In [3]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.path_to_save_ = './models' 6audio.chunk_size_ = 2000000 7 8url = audio.weights_for_big5_['audio']['nn']['sberdisk'] 9 10audio.load_audio_model_weights_nn( 11 url = url, 12 force_reload = True, 13 out = True, 14 runtime = True, 15 run = True 16)
[3]:1[2022-10-17 15:49:57] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (аудио модальность) ... 2 3[2022-10-17 15:50:04] Загрузка файла "weights_2022-05-03_07-46-14.h5" (100.0%) ... 4 5[2022-10-17 15:50:04] Что-то пошло не так ... нейросетевая архитектура модели для получения оценок по нейросетевым признакам не сформирована (аудио модальность) ... 6 7--- Время выполнения: 6.786 сек. --- 8 9False
- load_audio_models_b5(show_summary: bool = False, out: bool = True, runtime: bool = True, run: bool = True) bool [исходный код]
Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств
- Параметры
show_summary (bool) – Отображение последней сформированной нейросетевой архитектуры моделей
out (bool) – Отображение
runtime (bool) – Подсчет времени выполнения
run (bool) – Блокировка выполнения
- Результат
True если нейросетевые архитектуры модели сформированы, в обратном случае False
- Тип результата
bool
Примеры
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4audio.load_audio_models_b5( 5 show_summary = True, out = True, 6 runtime = True, run = True 7)
[1]:1[2022-10-18 11:39:22] Формирование нейросетевых архитектур моделей для получения результатов оценки 2персональных качеств (аудио модальность) ... 3 4Model: "model_4" 5_________________________________________________________________ 6 Layer (type) Output Shape Param # 7================================================================= 8 input_1 (InputLayer) [(None, 32)] 0 9 10 dense_1 (Dense) (None, 1) 33 11 12 activ_1 (Activation) (None, 1) 0 13 14================================================================= 15Total params: 33 16Trainable params: 33 17Non-trainable params: 0 18_________________________________________________________________ 19--- Время выполнения: 0.163 сек. --- 20 21True
Ошибка – 1 –
In [2]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4audio.load_audio_models_b5( 5 show_summary = 1, out = True, 6 runtime = True, run = True 7)
[2]:1[2022-10-18 13:47:36] Неверные типы или значения аргументов в "Audio.load_audio_models_b5" ... 2 3False
- load_audio_models_weights_b5(url_openness: str, url_conscientiousness: str, url_extraversion: str, url_agreeableness: str, url_non_neuroticism: str, force_reload: bool = True, out: bool = True, runtime: bool = True, run: bool = True) bool [исходный код]
Загрузка весов нейросетевых моделей для получения результатов оценки персональных качеств
- Параметры
url_openness (str) – Полный путь к файлу с весами нейросетевой модели (открытость опыту)
url_conscientiousness (str) – Полный путь к файлу с весами нейросетевой модели (добросовестность)
url_extraversion (str) – Полный путь к файлу с весами нейросетевой модели (экстраверсия)
url_agreeableness (str) – Полный путь к файлу с весами нейросетевой модели (доброжелательность)
url_non_neuroticism (str) – Полный путь к файлу с весами нейросетевой модели (эмоциональная стабильность)
force_reload (bool) – Принудительная загрузка файлов с весами нейросетевых моделей из сети
out (bool) – Отображение
runtime (bool) – Подсчет времени выполнения
run (bool) – Блокировка выполнения
- Результат
True если веса нейросетевых моделей загружены, в обратном случае False
- Тип результата
bool
Примеры
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.load_audio_models_b5( 6 show_summary = False, out = True, 7 runtime = True, run = True 8)
[1]:1[2022-10-18 22:40:05] Формирование нейросетевых архитектур моделей для получения результатов оценки 2персональных качеств (аудио модальность) ... 3 4--- Время выполнения: 0.163 сек. --- 5 6True
In [2]:1audio.path_to_save_ = './models' 2audio.chunk_size_ = 2000000 3 4url_openness = audio.weights_for_big5_['audio']['b5']['openness']['sberdisk'] 5url_conscientiousness = audio.weights_for_big5_['audio']['b5']['conscientiousness']['sberdisk'] 6url_extraversion = audio.weights_for_big5_['audio']['b5']['extraversion']['sberdisk'] 7url_agreeableness = audio.weights_for_big5_['audio']['b5']['agreeableness']['sberdisk'] 8url_non_neuroticism = audio.weights_for_big5_['audio']['b5']['non_neuroticism']['sberdisk'] 9 10audio.load_audio_models_weights_b5( 11 url_openness = url_openness, 12 url_conscientiousness = url_conscientiousness, 13 url_extraversion = url_extraversion, 14 url_agreeableness = url_agreeableness, 15 url_non_neuroticism = url_non_neuroticism, 16 force_reload = True, 17 out = True, 18 runtime = True, 19 run = True 20)
[2]:1[2022-10-18 23:08:37] Загрузка весов нейросетевых моделей для получения результатов оценки 2персональных качеств (аудио модальность) ... 3 4[2022-10-18 23:08:37] Загрузка файла "weights_2022-06-15_16-16-20.h5" (100.0%) ... Открытость опыту 5 6[2022-10-18 23:08:38] Загрузка файла "weights_2022-06-15_16-21-57.h5" (100.0%) ... Добросовестность 7 8[2022-10-18 23:08:38] Загрузка файла "weights_2022-06-15_16-26-41.h5" (100.0%) ... Экстраверсия 9 10[2022-10-18 23:08:38] Загрузка файла "weights_2022-06-15_16-32-51.h5" (100.0%) ... Доброжелательность 11 12[2022-10-18 23:08:39] Загрузка файла "weights_2022-06-15_16-37-46.h5" (100.0%) ... Эмоциональная стабильность 13 14--- Время выполнения: 1.611 сек. --- 15 16True
Ошибка – 1 –
In [3]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4 5audio.path_to_save_ = './models' 6audio.chunk_size_ = 2000000 7 8url_openness = audio.weights_for_big5_['audio']['b5']['openness']['sberdisk'] 9url_conscientiousness = audio.weights_for_big5_['audio']['b5']['conscientiousness']['sberdisk'] 10url_extraversion = audio.weights_for_big5_['audio']['b5']['extraversion']['sberdisk'] 11url_agreeableness = audio.weights_for_big5_['audio']['b5']['agreeableness']['sberdisk'] 12url_non_neuroticism = audio.weights_for_big5_['audio']['b5']['non_neuroticism']['sberdisk'] 13 14audio.load_audio_models_weights_b5( 15 url_openness = url_openness, 16 url_conscientiousness = url_conscientiousness, 17 url_extraversion = url_extraversion, 18 url_agreeableness = url_agreeableness, 19 url_non_neuroticism = url_non_neuroticism, 20 force_reload = True, 21 out = True, 22 runtime = True, 23 run = True 24)
[3]:1[2022-10-18 23:09:40] Загрузка весов нейросетевых моделей для получения результатов оценки 2персональных качеств (аудио модальность) ... 3 4[2022-10-18 23:09:41] Загрузка файла "weights_2022-06-15_16-16-20.h5" (100.0%) ... 5 6[2022-10-18 23:09:41] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ... 7Открытость опыту 8 9 Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/audio.py 10 Линия: 1764 11 Метод: load_audio_models_weights_b5 12 Тип ошибки: AttributeError 13 14[2022-10-18 23:09:41] Загрузка файла "weights_2022-06-15_16-21-57.h5" (100.0%) ... 15 16[2022-10-18 23:09:41] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ... 17Добросовестность 18 19 Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/audio.py 20 Линия: 1764 21 Метод: load_audio_models_weights_b5 22 Тип ошибки: AttributeError 23 24[2022-10-18 23:09:41] Загрузка файла "weights_2022-06-15_16-26-41.h5" (100.0%) ... 25 26[2022-10-18 23:09:41] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ... 27Экстраверсия 28 29 Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/audio.py 30 Линия: 1764 31 Метод: load_audio_models_weights_b5 32 Тип ошибки: AttributeError 33 34[2022-10-18 23:09:42] Загрузка файла "weights_2022-06-15_16-32-51.h5" (100.0%) ... 35 36[2022-10-18 23:09:42] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ... 37Доброжелательность 38 39 Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/audio.py 40 Линия: 1764 41 Метод: load_audio_models_weights_b5 42 Тип ошибки: AttributeError 43 44[2022-10-18 23:09:42] Загрузка файла "weights_2022-06-15_16-37-46.h5" (100.0%) ... 45 46[2022-10-18 23:09:42] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ... 47Эмоциональная стабильность 48 49 Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/audio.py 50 Линия: 1764 51 Метод: load_audio_models_weights_b5 52 Тип ошибки: AttributeError 53 54--- Время выполнения: 1.573 сек. --- 55 56False
- property smile_: Smile
Получение функций OpenSmile
- Результат
Извлеченные функции OpenSmile
- Тип результата
opensmile.core.smile.Smile
Пример
Верно – 1 –
In [1]:1from oceanai.modules.lab.audio import Audio 2 3audio = Audio() 4audio.smile_
[1]:1{ 2 '$opensmile.core.smile.Smile': { 3 'feature_set': 'eGeMAPSv02', 4 'feature_level': 'LowLevelDescriptors', 5 'options': {}, 6 'sampling_rate': None, 7 'channels': [0], 8 'mixdown': False, 9 'resample': False 10 } 11}