Аудио

class oceanai.modules.lab.audio.AudioMessages(lang: str = 'ru', color_simple: str = '#666', color_info: str = '#1776D2', color_err: str = '#FF0000', color_true: str = '#008001', bold_text: bool = True, text_runtime: str = '', num_to_df_display: int = 30)[исходный код]

Базовые классы: Download

Класс для сообщений

Параметры
class oceanai.modules.lab.audio.Audio(lang: str = 'ru', color_simple: str = '#666', color_info: str = '#1776D2', color_err: str = '#FF0000', color_true: str = '#008001', bold_text: bool = True, text_runtime: str = '', num_to_df_display: int = 30)[исходный код]

Базовые классы: AudioMessages

Класс для обработки аудио

Параметры
__concat_pred(pred_hc: ndarray, pred_melspectrogram: ndarray, out: bool = True) List[Optional[ndarray]]

Конкатенация оценок по экспертным и нейросетевым признакам

Примечание

private (приватный метод)

Параметры
  • pred_hc (np.ndarray) – Оценки по экспертным признакам

  • pred_melspectrogram (np.ndarray) – Оценки по нейросетевым признакам

  • out (bool) – Отображение

Результат

Конкатенированные оценки по экспертным и нейросетевым признакам

Тип результата

List[Optional[np.ndarray]]

Примеры

Верно – 1 –

In [1]:
 1import numpy as np
 2from oceanai.modules.lab.audio import Audio
 3
 4audio = Audio()
 5
 6arr_hc = np.array([
 7    [0.64113516, 0.6217892, 0.54451424, 0.6144415, 0.59334993],
 8    [0.6652424, 0.63606125, 0.572305, 0.63169795, 0.612515]
 9])
10
11arr_melspectrogram = np.array([
12    [0.56030345, 0.7488746, 0.44648764, 0.59893465, 0.5701077],
13    [0.5900006, 0.7652722, 0.4795154, 0.6409055, 0.6088242]
14])
15
16audio._Audio__concat_pred(
17    pred_hc = arr_hc,
18    pred_melspectrogram = arr_melspectrogram,
19    out = True
20)
[1]:
 1[
 2    array([
 3            0.64113516, 0.6652424, 0.65318878, 0.65318878, 0.65318878,
 4            0.65318878, 0.65318878, 0.65318878, 0.65318878, 0.65318878,
 5            0.65318878, 0.65318878, 0.65318878, 0.65318878, 0.65318878,
 6            0.65318878, 0.56030345, 0.5900006, 0.57515202, 0.57515202,
 7            0.57515202, 0.57515202, 0.57515202, 0.57515202, 0.57515202,
 8            0.57515202, 0.57515202, 0.57515202, 0.57515202, 0.57515202,
 9            0.57515202, 0.57515202
10    ]),
11    array([
12            0.6217892, 0.63606125, 0.62892523, 0.62892523, 0.62892523,
13            0.62892523, 0.62892523, 0.62892523, 0.62892523, 0.62892523,
14            0.62892523, 0.62892523, 0.62892523, 0.62892523, 0.62892523,
15            0.62892523, 0.7488746, 0.7652722, 0.7570734, 0.7570734,
16            0.7570734, 0.7570734, 0.7570734, 0.7570734, 0.7570734,
17            0.7570734, 0.7570734, 0.7570734, 0.7570734, 0.7570734,
18            0.7570734, 0.7570734
19    ]),
20    array([
21            0.54451424, 0.572305, 0.55840962, 0.55840962, 0.55840962,
22            0.55840962, 0.55840962, 0.55840962, 0.55840962, 0.55840962,
23            0.55840962, 0.55840962, 0.55840962, 0.55840962, 0.55840962,
24            0.55840962, 0.44648764, 0.4795154, 0.46300152, 0.46300152,
25            0.46300152, 0.46300152, 0.46300152, 0.46300152, 0.46300152,
26            0.46300152, 0.46300152, 0.46300152, 0.46300152, 0.46300152,
27            0.46300152, 0.46300152
28    ]),
29    array([
30            0.6144415, 0.63169795, 0.62306972, 0.62306972, 0.62306972,
31            0.62306972, 0.62306972, 0.62306972, 0.62306972, 0.62306972,
32            0.62306972, 0.62306972, 0.62306972, 0.62306972, 0.62306972,
33            0.62306972, 0.59893465, 0.6409055, 0.61992008, 0.61992008,
34            0.61992008, 0.61992008, 0.61992008, 0.61992008, 0.61992008,
35            0.61992008, 0.61992008, 0.61992008, 0.61992008, 0.61992008,
36            0.61992008, 0.61992008
37    ]),
38    array([
39            0.59334993, 0.612515, 0.60293247, 0.60293247, 0.60293247,
40            0.60293247, 0.60293247, 0.60293247, 0.60293247, 0.60293247,
41            0.60293247, 0.60293247, 0.60293247, 0.60293247, 0.60293247,
42            0.60293247, 0.5701077, 0.6088242, 0.58946595, 0.58946595,
43            0.58946595, 0.58946595, 0.58946595, 0.58946595, 0.58946595,
44            0.58946595, 0.58946595, 0.58946595, 0.58946595, 0.58946595,
45            0.58946595, 0.58946595
46    ])
47]

Ошибка – 1 –

In [2]:
 1import numpy as np
 2from oceanai.modules.lab.audio import Audio
 3
 4audio = Audio()
 5
 6arr_hc = np.array([
 7    [0.64113516, 0.6217892, 0.54451424, 0.6144415],
 8    [0.6652424, 0.63606125, 0.572305, 0.63169795, 0.612515]
 9])
10
11arr_melspectrogram = np.array([
12    [0.56030345, 0.7488746, 0.44648764, 0.59893465, 0.5701077],
13    [0.5900006, 0.7652722, 0.4795154, 0.6409055, 0.6088242]
14])
15
16audio._Audio__concat_pred(
17    pred_hc = arr_hc,
18    pred_melspectrogram = arr_melspectrogram,
19    out = True
20)
[3]:
1[2022-10-20 22:33:31] Что-то пошло не так ... конкатенация оценок по экспертным и нейросетевым
2признакам не произведена (аудио модальность) ...
3
4[]
__load_audio_model_b5(show_summary: bool = False, out: bool = True) Optional[Model]

Формирование нейросетевой архитектуры модели для получения результата оценки персонального качества

Примечание

private (приватный метод)

Параметры
  • show_summary (bool) – Отображение сформированной нейросетевой архитектуры модели

  • out (bool) – Отображение

Результат

None если неверные типы или значения аргументов, в обратном случае нейросетевая модель tf.keras.Model для получения результата оценки персонального качества

Тип результата

Optional[tf.keras.Model]

Примеры

Верно – 1 –

In [1]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4
5audio._Audio__load_audio_model_b5(
6    show_summary = True, out = True
7)
[1]:
 1Model: "model"
 2_________________________________________________________________
 3 Layer (type)                Output Shape              Param #
 4=================================================================
 5 input_1 (InputLayer)        [(None, 32)]              0
 6
 7 dense_1 (Dense)             (None, 1)                 33
 8
 9 activ_1 (Activation)        (None, 1)                 0
10
11=================================================================
12Total params: 33
13Trainable params: 33
14Non-trainable params: 0
15_________________________________________________________________
16<tf.keras.Model at 0x13d442940>

Ошибка – 1 –

In [2]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4
5audio._Audio__load_audio_model_b5(
6    show_summary = True, out = []
7)
[3]:
1[2022-10-17 10:53:03] Неверные типы или значения аргументов в "Audio.__load_audio_model_b5" ...
__load_model_weights(url: str, force_reload: bool = True, info_text: str = '', out: bool = True, runtime: bool = True, run: bool = True) bool

Загрузка весов нейросетевой модели

Примечание

private (приватный метод)

Параметры
  • url (str) – Полный путь к файлу с весами нейросетевой модели

  • force_reload (bool) – Принудительная загрузка файла с весами нейросетевой модели из сети

  • info_text (str) – Текст для информационного сообщения

  • out (bool) – Отображение

  • runtime (bool) – Подсчет времени выполнения

  • run (bool) – Блокировка выполнения

Результат

True если веса нейросетевой модели загружены, в обратном случае False

Тип результата

bool

Примеры

Верно – 1 –

In [1]:
 1from oceanai.modules.lab.audio import Audio
 2
 3audio = Audio()
 4
 5audio.path_to_save_ = './models'
 6audio.chunk_size_ = 2000000
 7
 8audio._Audio__load_model_weights(
 9    url = 'https://download.sberdisk.ru/download/file/400635799?token=MMRrak8fMsyzxLE&filename=weights_2022-05-05_11-27-55.h5',
10    force_reload = True,
11    info_text = 'Загрузка весов нейросетевой модели',
12    out = True, runtime = True, run = True
13)
[1]:
1[2022-10-17 12:21:48] Загрузка весов нейросетевой модели
2
3[2022-10-17 12:21:48] Загрузка файла "weights_2022-05-05_11-27-55.h5" (100.0%) ...
4
5--- Время выполнения: 0.439 сек. ---
6
7True

– 2 –

In [2]:
 1from oceanai.modules.lab.audio import Audio
 2
 3audio = Audio()
 4
 5audio.path_to_save_ = './models'
 6audio.chunk_size_ = 2000000
 7
 8audio._Audio__load_model_weights(
 9    url = './models/weights_2022-05-05_11-27-55.h5',
10    force_reload = True,
11    info_text = 'Загрузка весов нейросетевой модели',
12    out = True, runtime = True, run = True
13)
[2]:
1[2022-10-17 12:21:50] Загрузка весов нейросетевой модели
2
3--- Время выполнения: 0.002 сек. ---
4
5True

Ошибка – 1 –

In [3]:
 1from oceanai.modules.lab.audio import Audio
 2
 3audio = Audio()
 4
 5audio.path_to_save_ = './models'
 6audio.chunk_size_ = 2000000
 7
 8audio._Audio__load_model_weights(
 9    url = 'https://download.sberdisk.ru/download/file/400635799?token=MMRrak8fMsyzxLE&filename=weights_2022-05-05_11-27-55.h5',
10    force_reload = True, info_text = '',
11    out = True, runtime = True, run = True
12)
[3]:
1[2022-10-17 12:21:57] Неверные типы или значения аргументов в "Audio.__load_model_weights" ...
2
3False
__norm_pred(pred_data: ndarray, len_spec: int = 16, out: bool = True) ndarray

Нормализация оценок по экспертным и нейросетевым признакам

Примечание

private (приватный метод)

Параметры
  • pred_data (np.ndarray) – Оценки

  • len_spec (int) – Максимальный размер вектора оценок

  • out (bool) – Отображение

Результат

Нормализованные оценки по экспертным и нейросетевым признакам

Тип результата

np.ndarray

Примеры

Верно – 1 –

In [1]:
 1import numpy as np
 2from oceanai.modules.lab.audio import Audio
 3
 4audio = Audio()
 5
 6arr = np.array([
 7    [0.64113516, 0.6217892, 0.54451424, 0.6144415, 0.59334993],
 8    [0.6652424, 0.63606125, 0.572305, 0.63169795, 0.612515]
 9])
10
11audio._Audio__norm_pred(
12    pred_data = arr,
13    len_spec = 4,
14    out = True
15)
[1]:
1array([
2    [0.64113516, 0.6217892 , 0.54451424, 0.6144415 , 0.59334993],
3    [0.6652424 , 0.63606125, 0.572305  , 0.63169795, 0.612515],
4    [0.65318878, 0.62892523, 0.55840962, 0.62306972, 0.60293247],
5    [0.65318878, 0.62892523, 0.55840962, 0.62306972, 0.60293247]
6])

Ошибка – 1 –

In [2]:
 1import numpy as np
 2from oceanai.modules.lab.audio import Audio
 3
 4audio = Audio()
 5
 6arr = np.array([])
 7
 8audio._Audio__norm_pred(
 9    pred_data = arr,
10    len_spec = 4,
11    out = True
12)
[3]:
1[2022-10-20 22:03:17] Неверные типы или значения аргументов в "Audio.__norm_pred" ...
2
3array([], dtype=float64)
__smile() Smile

Извлечение функций OpenSmile

Примечание

private (приватный метод)

Результат

Извлеченные функции OpenSmile

Тип результата

opensmile.core.smile.Smile

Пример

Верно – 1 –

In [1]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4audio._Audio__smile()
[1]:
 1{
 2    '$opensmile.core.smile.Smile': {
 3        'feature_set': 'eGeMAPSv02',
 4        'feature_level': 'LowLevelDescriptors',
 5        'options': {},
 6        'sampling_rate': None,
 7        'channels': [0],
 8        'mixdown': False,
 9        'resample': False
10    }
11}
_get_acoustic_features(path: str, sr: int = 44100, window: Union[int, float] = 2.0, step: Union[int, float] = 1.0, last: bool = False, out: bool = True, runtime: bool = True, run: bool = True) Tuple[List[Optional[ndarray]], List[Optional[ndarray]]][исходный код]

Извлечение признаков из акустического сигнала (без очистки истории вывода сообщений в ячейке Jupyter)

Примечание

protected (защищенный метод)

Параметры
  • path (str) – Путь к аудио или видеофайлу

  • sr (int) – Частота дискретизации

  • window (Union[int, float]) – Размер окна сегмента сигнала (в секундах)

  • step (Union[int, float]) – Шаг сдвига окна сегмента сигнала (в секундах)

  • last (bool) – Замена последнего сообщения

  • out (bool) – Отображение

  • runtime (bool) – Подсчет времени выполнения

  • run (bool) – Блокировка выполнения

Результат

Кортеж с двумя списками:

  1. Список с экспертными признаками

  2. Список с лог мел-спектрограммами

Тип результата

Tuple[List[Optional[np.ndarray]], List[Optional[np.ndarray]]]

Примеры

Верно – 1 –

In [1]:
 1from oceanai.modules.lab.audio import Audio
 2
 3audio = Audio()
 4
 5sr = 44100
 6path = '/Users/dl/GitHub/oceanai/oceanai/dataset/test80_01/glgfB3vFewc.004.mp4'
 7
 8hc_features, melspectrogram_features = audio._get_acoustic_features(
 9    path = path, sr = sr,
10    window = 2, step = 1,
11    last = False, out = True,
12    runtime = True, run = True
13)
[1]:
 1[2022-10-19 14:58:19] Извлечение признаков (экспертных и лог мел-спектрограмм) из акустического сигнала ...
 2
 3[2022-10-19 14:58:20] Статистика извлеченных признаков из акустического сигнала:
 4    Общее количество сегментов с:
 5    1. экспертными признаками: 12
 6    2. лог мел-спектрограммами: 12
 7    Размерность матрицы экспертных признаков одного сегмента: 196 ✕ 25
 8    Размерность тензора с лог мел-спектрограммами одного сегмента: 224 ✕ 224 ✕ 3
 9
10--- Время выполнения: 1.273 сек. ---

Ошибки – 1 –

In [2]:
 1from oceanai.modules.lab.audio import Audio
 2
 3audio = Audio()
 4
 5sr = 44100
 6path = '/Users/dl/GitHub/oceanai/oceanai/dataset/test80_01/glgfB3vFewc.004.mp4'
 7
 8hc_features, melspectrogram_features = audio._get_acoustic_features(
 9    path = 1, sr = sr,
10    window = 2, step = 1,
11    last = False, out = True,
12    runtime = True, run = True
13)
[2]:
1[2022-10-19 15:33:04] Неверные типы или значения аргументов в "Audio._get_acoustic_features" ...

– 2 –

In [2]:
 1from oceanai.modules.lab.audio import Audio
 2
 3audio = Audio()
 4
 5sr = 44100
 6path = '/Users/dl/GitHub/oceanai/oceanai/dataset/test80_01/glgfB3vFewc.004.mp4'
 7
 8hc_features, melspectrogram_features = audio._get_acoustic_features(
 9    path = path, sr = sr,
10    window = 0.04, step = 1,
11    last = False, out = True,
12    runtime = True, run = True
13)
[2]:
 1[2022-10-19 15:34:38] Извлечение признаков (экспертных и лог мел-спектрограмм) из акустического сигнала ...
 2
 3[2022-10-19 15:34:38] Что-то пошло не так ... указан слишком маленький размер (0.04) окна сегмента сигнала ...
 4
 5    Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/audio.py
 6    Линия: 863
 7    Метод: _get_acoustic_features
 8    Тип ошибки: IsSmallWindowSizeError
 9
10--- Время выполнения: 0.049 сек. ---
property audio_model_hc_: Optional[Model]

Получение нейросетевой модели tf.keras.Model для получения оценок по экспертным признакам

Результат

Нейросетевая модель tf.keras.Model или None

Тип результата

Optional[tf.keras.Model]

Примеры

Верно – 1 –

In [1]:
 1from oceanai.modules.lab.audio import Audio
 2
 3audio = Audio()
 4
 5audio.load_audio_model_hc(
 6    show_summary = False, out = True,
 7    runtime = True, run = True
 8)
 9
10audio.audio_model_hc_
[1]:
1[2022-10-17 13:54:35] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (аудио модальность) ...
2
3--- Время выполнения: 0.509 сек. ---
4
5<tf.keras.Model at 0x13dd600a0>

Ошибка – 1 –

In [2]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4
5audio.audio_model_hc_
[2]:
1
property audio_model_nn_: Optional[Model]

Получение нейросетевой модели tf.keras.Model для получения оценок по нейросетевым признакам

Результат

Нейросетевая модель tf.keras.Model или None

Тип результата

Optional[tf.keras.Model]

Примеры

Верно – 1 –

In [1]:
 1from oceanai.modules.lab.audio import Audio
 2
 3audio = Audio()
 4
 5audio.load_audio_model_nn(
 6    show_summary = False, out = True,
 7    runtime = True, run = True
 8)
 9
10audio.audio_model_nn_
[1]:
1[2022-10-17 13:58:29] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам ...
2
3--- Время выполнения: 0.444 сек. ---
4
5<tf.keras.Model at 0x13db97760>

Ошибка – 1 –

In [2]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4
5audio.audio_model_nn_
[2]:
1
property audio_models_b5_: Dict[str, Optional[Model]]

Получение нейросетевых моделей tf.keras.Model для получения результатов оценки персональных качеств

Результат

Словарь с нейросетевыми моделями tf.keras.Model

Тип результата

Dict

Примеры

Верно – 1 –

In [1]:
 1from oceanai.modules.lab.audio import Audio
 2
 3audio = Audio()
 4
 5audio.load_audio_models_b5(
 6    show_summary = False, out = True,
 7    runtime = True, run = True
 8)
 9
10audio.audio_models_b5_
[1]:
 1[2022-10-19 15:45:35] Формирование нейросетевых архитектур моделей для получения результатов оценки
 2персональных качеств (аудио модальность) ...
 3
 4--- Время выполнения: 0.07 сек. ---
 5
 6{
 7    'openness': <tf.keras.Model at 0x1481e03a0>,
 8    'conscientiousness': <tf.keras.Model at 0x147d13520>,
 9    'extraversion': <tf.keras.Model at 0x1481edfa0>,
10    'agreeableness': <tf.keras.Model at 0x1481cfc40>,
11    'non_neuroticism': <tf.keras.Model at 0x1481cffd0>
12}

Ошибка – 1 –

In [2]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4
5audio.audio_models_b5_
[2]:
1{
2    'openness': None,
3    'conscientiousness': None,
4    'extraversion': None,
5    'agreeableness': None,
6    'non_neuroticism': None
7}
get_acoustic_features(path: str, sr: int = 44100, window: Union[int, float] = 2.0, step: Union[int, float] = 1.0, out: bool = True, runtime: bool = True, run: bool = True) Tuple[List[Optional[ndarray]], List[Optional[ndarray]]][исходный код]

Извлечение признаков из акустического сигнала

Параметры
  • path (str) – Путь к аудио или видеофайлу

  • sr (int) – Частота дискретизации

  • window (Union[int, float]) – Размер окна сегмента сигнала (в секундах)

  • step (Union[int, float]) – Шаг сдвига окна сегмента сигнала (в секундах)

  • out (bool) – Отображение

  • runtime (bool) – Подсчет времени выполнения

  • run (bool) – Блокировка выполнения

Результат

Кортеж с двумя списками:

  1. Список с экспертными признаками

  2. Список с лог мел-спектрограммами

Тип результата

Tuple[List[Optional[np.ndarray]], List[Optional[np.ndarray]]]

Пример

get_audio_union_predictions(depth: int = 1, recursive: bool = False, sr: int = 44100, window: Union[int, float] = 2.0, step: Union[int, float] = 1.0, accuracy=True, url_accuracy: str = '', logs: bool = True, out: bool = True, runtime: bool = True, run: bool = True) bool[исходный код]

Получения прогнозов по аудио

Параметры
  • depth (int) – Глубина иерархии для получения данных

  • recursive (bool) – Рекурсивный поиск данных

  • sr (int) – Частота дискретизации

  • window (Union[int, float]) – Размер окна сегмента сигнала (в секундах)

  • step (Union[int, float]) – Шаг сдвига окна сегмента сигнала (в секундах)

  • accuracy (bool) – Вычисление точности

  • url_accuracy (str) – Полный путь к файлу с верными предсказаниями для подсчета точности

  • logs (bool) – При необходимости формировать LOG файл

  • out (bool) – Отображение

  • runtime (bool) – Подсчет времени выполнения

  • run (bool) – Блокировка выполнения

Результат

True если прогнозы успешно получены, в обратном случае False

Тип результата

bool

Пример

load_audio_model_hc(show_summary: bool = False, out: bool = True, runtime: bool = True, run: bool = True) bool[исходный код]

Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам

Параметры
  • show_summary (bool) – Отображение сформированной нейросетевой архитектуры модели

  • out (bool) – Отображение

  • runtime (bool) – Подсчет времени выполнения

  • run (bool) – Блокировка выполнения

Результат

True если нейросетевая архитектура модели сформирована, в обратном случае False

Тип результата

bool

Примеры

Верно – 1 –

In [1]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4audio.load_audio_model_hc(
5    show_summary = False, out = True,
6    runtime = True, run = True
7)
[1]:
1[2022-10-17 13:16:23] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (аудио модальность) ...
2
3--- Время выполнения: 0.364 сек. ---
4
5True

Ошибка – 1 –

In [2]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4audio.load_audio_model_hc(
5    show_summary = 1, out = True,
6    runtime = True, run = True
7)
[2]:
1[2022-10-17 13:20:04] Неверные типы или значения аргументов в "Audio.load_audio_model_hc" ...
2
3False
load_audio_model_nn(show_summary: bool = False, out: bool = True, runtime: bool = True, run: bool = True) bool[исходный код]

Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам

Параметры
  • show_summary (bool) – Отображение сформированной нейросетевой архитектуры модели

  • out (bool) – Отображение

  • runtime (bool) – Подсчет времени выполнения

  • run (bool) – Блокировка выполнения

Результат

True если нейросетевая архитектура модели сформирована, в обратном случае False

Тип результата

bool

Примеры

Верно – 1 –

In [1]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4audio.load_audio_model_nn(
5    show_summary = True, out = True,
6    runtime = True, run = True
7)
[1]:
 1[2022-10-17 13:25:34] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (аудио модальность) ...
 2
 3Model: "model"
 4_________________________________________________________________
 5 Layer (type)                Output Shape              Param #
 6=================================================================
 7 input_1 (InputLayer)        [(None, 224, 224, 3)]     0
 8
 9 block1_conv1 (Conv2D)       (None, 224, 224, 64)      1792
10
11 block1_conv2 (Conv2D)       (None, 224, 224, 64)      36928
12
13 block1_pool (MaxPooling2D)  (None, 112, 112, 64)      0
14
15 block2_conv1 (Conv2D)       (None, 112, 112, 128)     73856
16
17 block2_conv2 (Conv2D)       (None, 112, 112, 128)     147584
18
19 block2_pool (MaxPooling2D)  (None, 56, 56, 128)       0
20
21 block3_conv1 (Conv2D)       (None, 56, 56, 256)       295168
22
23 block3_conv2 (Conv2D)       (None, 56, 56, 256)       590080
24
25 block3_conv3 (Conv2D)       (None, 56, 56, 256)       590080
26
27 block3_pool (MaxPooling2D)  (None, 28, 28, 256)       0
28
29 block4_conv1 (Conv2D)       (None, 28, 28, 512)       1180160
30
31 block4_conv2 (Conv2D)       (None, 28, 28, 512)       2359808
32
33 block4_conv3 (Conv2D)       (None, 28, 28, 512)       2359808
34
35 block4_pool (MaxPooling2D)  (None, 14, 14, 512)       0
36
37 block5_conv1 (Conv2D)       (None, 14, 14, 512)       2359808
38
39 block5_conv2 (Conv2D)       (None, 14, 14, 512)       2359808
40
41 block5_conv3 (Conv2D)       (None, 14, 14, 512)       2359808
42
43 block5_pool (MaxPooling2D)  (None, 7, 7, 512)         0
44
45 flatten (Flatten)           (None, 25088)             0
46
47 dense (Dense)               (None, 512)               12845568
48
49 dropout (Dropout)           (None, 512)               0
50
51 dense_1 (Dense)             (None, 256)               131328
52
53 dense_2 (Dense)             (None, 5)                 1285
54
55=================================================================
56Total params: 27,692,869
57Trainable params: 27,692,869
58Non-trainable params: 0
59_________________________________________________________________
60--- Время выполнения: 0.407 сек. ---
61
62True

Ошибка – 1 –

In [2]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4audio.load_audio_model_nn(
5    show_summary = 1, out = True,
6    runtime = True, run = True
7)
[2]:
1[2022-10-17 13:25:40] Неверные типы или значения аргументов в "Audio.load_audio_model_nn" ...
2
3False
load_audio_model_weights_hc(url: str, force_reload: bool = True, out: bool = True, runtime: bool = True, run: bool = True) bool[исходный код]

Загрузка весов нейросетевой модели для получения оценок по экспертным признакам

Параметры
  • url (str) – Полный путь к файлу с весами нейросетевой модели

  • force_reload (bool) – Принудительная загрузка файла с весами нейросетевой модели из сети

  • out (bool) – Отображение

  • runtime (bool) – Подсчет времени выполнения

  • run (bool) – Блокировка выполнения

Результат

True если веса нейросетевой модели загружены, в обратном случае False

Тип результата

bool

Примеры

Верно – 1 –

In [1]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4
5audio.load_audio_model_hc(
6    show_summary = False, out = True,
7    runtime = True, run = True
8)
[1]:
1[2022-10-17 14:24:28] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (аудио модальность) ...
2
3--- Время выполнения: 0.398 сек. ---
4
5True
In [2]:
 1audio.path_to_save_ = './models'
 2audio.chunk_size_ = 2000000
 3
 4url = audio.weights_for_big5_['audio']['hc']['sberdisk']
 5
 6audio.load_audio_model_weights_hc(
 7    url = url,
 8    force_reload = True,
 9    out = True,
10    runtime = True,
11    run = True
12)
[2]:
1[2022-10-17 14:24:30] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (аудио модальность) ...
2
3[2022-10-17 14:24:30] Загрузка файла "weights_2022-05-05_11-27-55.h5" (100.0%) ...
4
5--- Время выполнения: 0.414 сек. ---
6
7True

Ошибка – 1 –

In [3]:
 1from oceanai.modules.lab.audio import Audio
 2
 3audio = Audio()
 4
 5audio.path_to_save_ = './models'
 6audio.chunk_size_ = 2000000
 7
 8url = audio.weights_for_big5_['audio']['hc']['sberdisk']
 9
10audio.load_audio_model_weights_hc(
11    url = url,
12    force_reload = True,
13    out = True,
14    runtime = True,
15    run = True
16)
[3]:
1[2022-10-17 15:21:13] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (аудио модальность) ...
2
3[2022-10-17 15:21:14] Загрузка файла "weights_2022-05-05_11-27-55.h5" (100.0%) ...
4
5[2022-10-17 15:21:14] Что-то пошло не так ... нейросетевая архитектура модели для получения оценок по экспертным признакам не сформирована (аудио модальность) ...
6
7--- Время выполнения: 0.364 сек. ---
8
9False
load_audio_model_weights_nn(url: str, force_reload: bool = True, out: bool = True, runtime: bool = True, run: bool = True) bool[исходный код]

Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам

Параметры
  • url (str) – Полный путь к файлу с весами нейросетевой модели

  • force_reload (bool) – Принудительная загрузка файла с весами нейросетевой модели из сети

  • out (bool) – Отображение

  • runtime (bool) – Подсчет времени выполнения

  • run (bool) – Блокировка выполнения

Результат

True если веса нейросетевой модели загружены, в обратном случае False

Тип результата

bool

Примеры

Верно – 1 –

In [1]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4
5audio.load_audio_model_nn(
6    show_summary = False, out = True,
7    runtime = True, run = True
8)
[1]:
1[2022-10-17 15:47:20] Формирование нейросетевой архитектуры для получения оценок по нейросетевым
2признакам (аудио модальность) ...
3
4--- Время выполнения: 0.419 сек. ---
5
6True
In [2]:
 1audio.path_to_save_ = './models'
 2audio.chunk_size_ = 2000000
 3
 4url = audio.weights_for_big5_['audio']['nn']['sberdisk']
 5
 6audio.load_audio_model_weights_nn(
 7    url = url,
 8    force_reload = True,
 9    out = True,
10    runtime = True,
11    run = True
12)
[2]:
1[2022-10-17 15:47:22] Загрузка весов нейросетевой модели для получения оценок по нейросетевым
2признакам (аудио модальность) ...
3
4[2022-10-17 15:47:26] Загрузка файла "weights_2022-05-03_07-46-14.h5" (100.0%) ...
5
6--- Время выполнения: 3.884 сек. ---
7
8True

Ошибка – 1 –

In [3]:
 1from oceanai.modules.lab.audio import Audio
 2
 3audio = Audio()
 4
 5audio.path_to_save_ = './models'
 6audio.chunk_size_ = 2000000
 7
 8url = audio.weights_for_big5_['audio']['nn']['sberdisk']
 9
10audio.load_audio_model_weights_nn(
11    url = url,
12    force_reload = True,
13    out = True,
14    runtime = True,
15    run = True
16)
[3]:
1[2022-10-17 15:49:57] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (аудио модальность) ...
2
3[2022-10-17 15:50:04] Загрузка файла "weights_2022-05-03_07-46-14.h5" (100.0%) ...
4
5[2022-10-17 15:50:04] Что-то пошло не так ... нейросетевая архитектура модели для получения оценок по нейросетевым признакам не сформирована (аудио модальность) ...
6
7--- Время выполнения: 6.786 сек. ---
8
9False
load_audio_models_b5(show_summary: bool = False, out: bool = True, runtime: bool = True, run: bool = True) bool[исходный код]

Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств

Параметры
  • show_summary (bool) – Отображение последней сформированной нейросетевой архитектуры моделей

  • out (bool) – Отображение

  • runtime (bool) – Подсчет времени выполнения

  • run (bool) – Блокировка выполнения

Результат

True если нейросетевые архитектуры модели сформированы, в обратном случае False

Тип результата

bool

Примеры

Верно – 1 –

In [1]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4audio.load_audio_models_b5(
5    show_summary = True, out = True,
6    runtime = True, run = True
7)
[1]:
 1[2022-10-18 11:39:22] Формирование нейросетевых архитектур моделей для получения результатов оценки
 2персональных качеств (аудио модальность) ...
 3
 4Model: "model_4"
 5_________________________________________________________________
 6 Layer (type)                Output Shape              Param #
 7=================================================================
 8 input_1 (InputLayer)        [(None, 32)]              0
 9
10 dense_1 (Dense)             (None, 1)                 33
11
12 activ_1 (Activation)        (None, 1)                 0
13
14=================================================================
15Total params: 33
16Trainable params: 33
17Non-trainable params: 0
18_________________________________________________________________
19--- Время выполнения: 0.163 сек. ---
20
21True

Ошибка – 1 –

In [2]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4audio.load_audio_models_b5(
5    show_summary = 1, out = True,
6    runtime = True, run = True
7)
[2]:
1[2022-10-18 13:47:36] Неверные типы или значения аргументов в "Audio.load_audio_models_b5" ...
2
3False
load_audio_models_weights_b5(url_openness: str, url_conscientiousness: str, url_extraversion: str, url_agreeableness: str, url_non_neuroticism: str, force_reload: bool = True, out: bool = True, runtime: bool = True, run: bool = True) bool[исходный код]

Загрузка весов нейросетевых моделей для получения результатов оценки персональных качеств

Параметры
  • url_openness (str) – Полный путь к файлу с весами нейросетевой модели (открытость опыту)

  • url_conscientiousness (str) – Полный путь к файлу с весами нейросетевой модели (добросовестность)

  • url_extraversion (str) – Полный путь к файлу с весами нейросетевой модели (экстраверсия)

  • url_agreeableness (str) – Полный путь к файлу с весами нейросетевой модели (доброжелательность)

  • url_non_neuroticism (str) – Полный путь к файлу с весами нейросетевой модели (эмоциональная стабильность)

  • force_reload (bool) – Принудительная загрузка файлов с весами нейросетевых моделей из сети

  • out (bool) – Отображение

  • runtime (bool) – Подсчет времени выполнения

  • run (bool) – Блокировка выполнения

Результат

True если веса нейросетевых моделей загружены, в обратном случае False

Тип результата

bool

Примеры

Верно – 1 –

In [1]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4
5audio.load_audio_models_b5(
6    show_summary = False, out = True,
7    runtime = True, run = True
8)
[1]:
1[2022-10-18 22:40:05] Формирование нейросетевых архитектур моделей для получения результатов оценки
2персональных качеств (аудио модальность) ...
3
4--- Время выполнения: 0.163 сек. ---
5
6True
In [2]:
 1audio.path_to_save_ = './models'
 2audio.chunk_size_ = 2000000
 3
 4url_openness = audio.weights_for_big5_['audio']['b5']['openness']['sberdisk']
 5url_conscientiousness = audio.weights_for_big5_['audio']['b5']['conscientiousness']['sberdisk']
 6url_extraversion = audio.weights_for_big5_['audio']['b5']['extraversion']['sberdisk']
 7url_agreeableness = audio.weights_for_big5_['audio']['b5']['agreeableness']['sberdisk']
 8url_non_neuroticism = audio.weights_for_big5_['audio']['b5']['non_neuroticism']['sberdisk']
 9
10audio.load_audio_models_weights_b5(
11    url_openness = url_openness,
12    url_conscientiousness = url_conscientiousness,
13    url_extraversion = url_extraversion,
14    url_agreeableness = url_agreeableness,
15    url_non_neuroticism = url_non_neuroticism,
16    force_reload = True,
17    out = True,
18    runtime = True,
19    run = True
20)
[2]:
 1[2022-10-18 23:08:37] Загрузка весов нейросетевых моделей для получения результатов оценки
 2персональных качеств (аудио модальность) ...
 3
 4[2022-10-18 23:08:37] Загрузка файла "weights_2022-06-15_16-16-20.h5" (100.0%) ... Открытость опыту
 5
 6[2022-10-18 23:08:38] Загрузка файла "weights_2022-06-15_16-21-57.h5" (100.0%) ... Добросовестность
 7
 8[2022-10-18 23:08:38] Загрузка файла "weights_2022-06-15_16-26-41.h5" (100.0%) ... Экстраверсия
 9
10[2022-10-18 23:08:38] Загрузка файла "weights_2022-06-15_16-32-51.h5" (100.0%) ... Доброжелательность
11
12[2022-10-18 23:08:39] Загрузка файла "weights_2022-06-15_16-37-46.h5" (100.0%) ... Эмоциональная стабильность
13
14--- Время выполнения: 1.611 сек. ---
15
16True

Ошибка – 1 –

In [3]:
 1from oceanai.modules.lab.audio import Audio
 2
 3audio = Audio()
 4
 5audio.path_to_save_ = './models'
 6audio.chunk_size_ = 2000000
 7
 8url_openness = audio.weights_for_big5_['audio']['b5']['openness']['sberdisk']
 9url_conscientiousness = audio.weights_for_big5_['audio']['b5']['conscientiousness']['sberdisk']
10url_extraversion = audio.weights_for_big5_['audio']['b5']['extraversion']['sberdisk']
11url_agreeableness = audio.weights_for_big5_['audio']['b5']['agreeableness']['sberdisk']
12url_non_neuroticism = audio.weights_for_big5_['audio']['b5']['non_neuroticism']['sberdisk']
13
14audio.load_audio_models_weights_b5(
15    url_openness = url_openness,
16    url_conscientiousness = url_conscientiousness,
17    url_extraversion = url_extraversion,
18    url_agreeableness = url_agreeableness,
19    url_non_neuroticism = url_non_neuroticism,
20    force_reload = True,
21    out = True,
22    runtime = True,
23    run = True
24)
[3]:
 1[2022-10-18 23:09:40] Загрузка весов нейросетевых моделей для получения результатов оценки
 2персональных качеств (аудио модальность) ...
 3
 4[2022-10-18 23:09:41] Загрузка файла "weights_2022-06-15_16-16-20.h5" (100.0%) ...
 5
 6[2022-10-18 23:09:41] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ...
 7Открытость опыту
 8
 9    Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/audio.py
10    Линия: 1764
11    Метод: load_audio_models_weights_b5
12    Тип ошибки: AttributeError
13
14[2022-10-18 23:09:41] Загрузка файла "weights_2022-06-15_16-21-57.h5" (100.0%) ...
15
16[2022-10-18 23:09:41] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ...
17Добросовестность
18
19    Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/audio.py
20    Линия: 1764
21    Метод: load_audio_models_weights_b5
22    Тип ошибки: AttributeError
23
24[2022-10-18 23:09:41] Загрузка файла "weights_2022-06-15_16-26-41.h5" (100.0%) ...
25
26[2022-10-18 23:09:41] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ...
27Экстраверсия
28
29    Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/audio.py
30    Линия: 1764
31    Метод: load_audio_models_weights_b5
32    Тип ошибки: AttributeError
33
34[2022-10-18 23:09:42] Загрузка файла "weights_2022-06-15_16-32-51.h5" (100.0%) ...
35
36[2022-10-18 23:09:42] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ...
37Доброжелательность
38
39    Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/audio.py
40    Линия: 1764
41    Метод: load_audio_models_weights_b5
42    Тип ошибки: AttributeError
43
44[2022-10-18 23:09:42] Загрузка файла "weights_2022-06-15_16-37-46.h5" (100.0%) ...
45
46[2022-10-18 23:09:42] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ...
47Эмоциональная стабильность
48
49    Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/audio.py
50    Линия: 1764
51    Метод: load_audio_models_weights_b5
52    Тип ошибки: AttributeError
53
54--- Время выполнения: 1.573 сек. ---
55
56False
property smile_: Smile

Получение функций OpenSmile

Результат

Извлеченные функции OpenSmile

Тип результата

opensmile.core.smile.Smile

Пример

Верно – 1 –

In [1]:
1from oceanai.modules.lab.audio import Audio
2
3audio = Audio()
4audio.smile_
[1]:
 1{
 2    '$opensmile.core.smile.Smile': {
 3        'feature_set': 'eGeMAPSv02',
 4        'feature_level': 'LowLevelDescriptors',
 5        'options': {},
 6        'sampling_rate': None,
 7        'channels': [0],
 8        'mixdown': False,
 9        'resample': False
10    }
11}