Мультимодальное объединение информации

class oceanai.modules.lab.prediction.PredictionMessages(lang: str = 'ru', color_simple: str = '#666', color_info: str = '#1776D2', color_err: str = '#FF0000', color_true: str = '#008001', bold_text: bool = True, text_runtime: str = '', num_to_df_display: int = 30)

Базовые классы: Audio, Video, Text

Класс для сообщений

Параметры:

• lang (str) – Смотреть lang

• color_simple (str) – Смотреть color_simple

• color_info (str) – Смотреть color_info

• color_err (str) – Смотреть color_err

• color_true (str) – Смотреть color_true

• bold_text (bool) – Смотреть bold_text

• num_to_df_display (int) – Смотреть num_to_df_display

• text_runtime (str) – Смотреть text_runtime

class oceanai.modules.lab.prediction.Prediction(lang: str = 'ru', color_simple: str = '#666', color_info: str = '#1776D2', color_err: str = '#FF0000', color_true: str = '#008001', bold_text: bool = True, text_runtime: str = '', num_to_df_display: int = 30)

Базовые классы: PredictionMessages

Класс для мультимодального объединения информации

Параметры:

• lang (str) – Смотреть lang

• color_simple (str) – Смотреть color_simple

• color_info (str) – Смотреть color_info

• color_err (str) – Смотреть color_err

• color_true (str) – Смотреть color_true

• bold_text (bool) – Смотреть bold_text

• num_to_df_display (int) – Смотреть num_to_df_display

• text_runtime (str) – Смотреть text_runtime

__concat_pred_av(pred_hc_audio: ndarray, pred_nn_audio: ndarray, pred_hc_video: ndarray, pred_nn_video: ndarray, out: bool = True) → List[ndarray | None]

Конкатенация оценок по экспертным и нейросетевым признакам (мультимодальная)

Примечание

private (приватный метод)

Параметры:

• pred_hc_audio (np.ndarray) – Оценки по экспертным признакам (аудио модальность)

• pred_nn_audio (np.ndarray) – Оценки по нейросетевым признакам (аудио модальность)

• pred_hc_video (np.ndarray) – Оценки по экспертным признакам (видео модальность)

• pred_nn_video (np.ndarray) – Оценки по нейросетевым признакам (видео модальность)

• out (bool) – Отображение

Результат:

Конкатенированные оценки по экспертным и нейросетевым признакам

Тип результата:

List[Optional[np.ndarray]]

Примеры

Верно – 1 –

In [1]:

import numpy as np
from oceanai.modules.lab.prediction import Prediction

pred = Prediction()

arr_hc_audio = np.array([
    [0.64113516, 0.6217892, 0.54451424, 0.6144415, 0.59334993],
    [0.6652424, 0.63606125, 0.572305, 0.63169795, 0.612515]
])

arr_nn_audio = np.array([
    [0.56030345, 0.7488746, 0.44648764, 0.59893465, 0.5701077],
    [0.5900006, 0.7652722, 0.4795154, 0.6409055, 0.6088242]
])
arr_hc_video = np.array([
    [0.67113516, 0.6517892, 0.59451424, 0.6344415, 0.53334993],
    [0.6852424, 0.62606125, 0.562305, 0.67169795, 0.672515]
])

arr_nn_video = np.array([
    [0.58030345, 0.7788746, 0.47648764, 0.53893465, 0.5901077],
    [0.5100006, 0.7452722, 0.4495154, 0.6909055, 0.6488242]
])

pred._Prediction__concat_pred_av(
    pred_hc_audio = arr_hc_audio,
    pred_nn_audio = arr_nn_audio,
    pred_hc_video = arr_hc_video,
    pred_nn_video = arr_nn_video,
    out = True
)

__load_av_model_b5(show_summary: bool = False, out: bool = True) → Module | None

Формирование нейросетевой архитектуры модели для получения результата оценки персонального качества

Примечание

private (приватный метод)

Параметры:

• show_summary (bool) – Отображение сформированной нейросетевой архитектуры модели

• out (bool) – Отображение

Результат:

None если неверные типы или значения аргументов, в обратном случае нейросетевая модель nn.Module для получения результата оценки персонального качества

Тип результата:

Optional[nn.Module]

Примеры

Верно – 1 –

In [1]:

from oceanai.modules.lab.prediction import Prediction

pred = Prediction()

pred._Prediction__load_av_model_b5(
    show_summary = True, out = True
)

[1]:

Model: "model"
_________________________________________________________________
Layer (type)                Output Shape              Param #
=================================================================
input_1 (InputLayer)        [(None, 64)]              0

dense_1 (Dense)             (None, 1)                 65

activ_1 (Activation)        (None, 1)                 0

=================================================================
Total params: 65
Trainable params: 65
Non-trainable params: 0
_________________________________________________________________
<tf.keras.Model at 0x147892ee0>

Ошибка – 1 –

In [2]:

from oceanai.modules.lab.prediction import Prediction

pred = Prediction()

pred._Prediction__load_av_model_b5(
    show_summary = True, out = []
)

[3]:

[2022-10-17 10:53:03] Неверные типы или значения аргументов в "Prediction.__load_av_model_b5" ...

__load_avt_model_b5(show_summary: bool = False, out: bool = True) → Module | None

Формирование нейросетевой архитектуры модели для получения оценок персональных качеств

Примечание

private (приватный метод)

Параметры:

• show_summary (bool) – Отображение сформированной нейросетевой архитектуры модели

• out (bool) – Отображение

Результат:

None если неверные типы или значения аргументов, в обратном случае нейросетевая модель nn.Module для получения оценок персональных качеств

Тип результата:

Optional[nn.Module]

__load_model_weights(url: str, force_reload: bool = True, info_text: str = '', out: bool = True, runtime: bool = True, run: bool = True) → bool

Загрузка весов нейросетевой модели

Примечание

private (приватный метод)

Параметры:

• url (str) – Полный путь к файлу с весами нейросетевой модели

• force_reload (bool) – Принудительная загрузка файла с весами нейросетевой модели из сети

• info_text (str) – Текст для информационного сообщения

• out (bool) – Отображение

• runtime (bool) – Подсчет времени выполнения

• run (bool) – Блокировка выполнения

Результат:

True если веса нейросетевой модели загружены, в обратном случае False

Тип результата:

bool

__norm_pred(pred_data: ndarray, len_nn: int = 16, out: bool = True) → ndarray

Нормализация оценок по экспертным и нейросетевым признакам (мультимодальная)

Примечание

private (приватный метод)

Параметры:

• pred_data (np.ndarray) – Оценки

• len_nn (int) – Максимальный размер вектора оценок

• out (bool) – Отображение

Результат:

Нормализованные оценки по экспертным и нейросетевым признакам (мультимодальная)

Тип результата:

np.ndarray

Примеры

Верно – 1 –

In [1]:

import numpy as np
from oceanai.modules.lab.prediction import Prediction

pred = Prediction()

arr = np.array([
    [0.64113516, 0.6217892, 0.54451424, 0.6144415, 0.59334993],
    [0.6652424, 0.63606125, 0.572305, 0.63169795, 0.612515]
])

pred._Prediction__norm_pred(
    pred_data = arr,
    len_nn = 4,
    out = True
)

[1]:

array([
    [0.64113516, 0.6217892 , 0.54451424, 0.6144415 , 0.59334993],
    [0.6652424 , 0.63606125, 0.572305  , 0.63169795, 0.612515],
    [0.65318878, 0.62892523, 0.55840962, 0.62306972, 0.60293247],
    [0.65318878, 0.62892523, 0.55840962, 0.62306972, 0.60293247]
])

Ошибка – 1 –

In [2]:

import numpy as np
from oceanai.modules.lab.prediction import Prediction

pred = Prediction()

arr = np.array([])

pred._Prediction__norm_pred(
    pred_data = arr,
    len_nn = 4,
    out = True
)

[3]:

[2022-10-20 22:03:17] Неверные типы или значения аргументов в "Prediction.__norm_pred" ...

array([], dtype=float64)

property av_models_b5_: Dict[str, Module | None]

Получение нейросетевых моделей nn.Module для получения результатов оценки персональных качеств

Результат:

Словарь с нейросетевыми моделями nn.Module

Тип результата:

Dict

Примеры

Верно – 1 –

In [1]:

from oceanai.modules.lab.prediction import Prediction

pred = Prediction()

pred.load_av_models_b5(
    show_summary = False, out = True,
    runtime = True, run = True
)

pred.av_models_b5_

[1]:

[2022-12-08 15:21:22] Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств (мультимодальное объединение) ...

--- Время выполнения: 0.305 сек. ---

{
    'openness': <tf.keras.Model at 0x14eee5790>,
    'conscientiousness': <tf.keras.Model at 0x14f2d9d00>,
    'extraversion': <tf.keras.Model at 0x14f2fb190>,
    'agreeableness': <tf.keras.Model at 0x14f2c7fd0>,
    'non_neuroticism': <tf.keras.Model at 0x14f2ef940>
}

Ошибка – 1 –

In [2]:

from oceanai.modules.lab.prediction import Prediction

pred = Prediction()

pred.av_models_b5_

[2]:

{
    'openness': None,
    'conscientiousness': None,
    'extraversion': None,
    'agreeableness': None,
    'non_neuroticism': None
}

property avt_model_b5_: Module | None

Получение нейросетевой модели nn.Module для получения оценок персональных качеств

Результат:

Нейроаетевая модель nn.Module

Тип результата:

Dict

get_av_union_predictions(depth: int = 1, recursive: bool = False, sr: int = 44100, window_audio: int | float = 2.0, step_audio: int | float = 1.0, reduction_fps: int = 5, window_video: int = 10, step_video: int = 5, lang: str = 'ru', accuracy: bool = True, url_accuracy: str = '', logs: bool = True, out: bool = True, runtime: bool = True, run: bool = True) → bool

Получения прогнозов по аудио и видео (мультимодальное объединение)

Параметры:

• depth (int) – Глубина иерархии для получения данных

• recursive (bool) – Рекурсивный поиск данных

• sr (int) – Частота дискретизации

• window_audio (Union[int, float]) – Размер окна сегмента аудио сигнала (в секундах)

• step_audio (Union[int, float]) – Шаг сдвига окна сегмента аудио сигнала (в секундах)

• reduction_fps (int) – Понижение кадровой частоты

• window_video (int) – Размер окна сегмента видео сигнала (в кадрах)

• step_video (int) – Шаг сдвига окна сегмента видео сигнала (в кадрах)

• lang (str) – Язык

• accuracy (bool) – Вычисление точности

• url_accuracy (str) – Полный путь к файлу с верными предсказаниями для подсчета точности

• logs (bool) – При необходимости формировать LOG файл

• out (bool) – Отображение

• runtime (bool) – Подсчет времени выполнения

• run (bool) – Блокировка выполнения

Результат:

True если прогнозы успешно получены, в обратном случае False

Тип результата:

bool

Пример

get_avt_predictions(depth: int = 1, recursive: bool = False, sr: int = 44100, window_audio: int | float = 2.0, step_audio: int | float = 1.0, reduction_fps: int = 5, window_video: int = 10, step_video: int = 5, asr: bool = False, lang: str = 'ru', accuracy=True, url_accuracy: str = '', logs: bool = True, out: bool = True, runtime: bool = True, run: bool = True) → bool

Получения прогнозов по аудио, видео и тексту (мультимодальное объединение)

Параметры:

• depth (int) – Глубина иерархии для получения данных

• recursive (bool) – Рекурсивный поиск данных

• sr (int) – Частота дискретизации

• window_audio (Union[int, float]) – Размер окна сегмента аудио сигнала (в секундах)

• step_audio (Union[int, float]) – Шаг сдвига окна сегмента аудио сигнала (в секундах)

• reduction_fps (int) – Понижение кадровой частоты

• window_video (int) – Размер окна сегмента видео сигнала (в кадрах)

• step_video (int) – Шаг сдвига окна сегмента видео сигнала (в кадрах)

• asr (bool) – Автоматическое распознавание речи

• lang (str) – Язык

• accuracy (bool) – Вычисление точности

• url_accuracy (str) – Полный путь к файлу с верными предсказаниями для подсчета точности

• logs (bool) – При необходимости формировать LOG файл

• out (bool) – Отображение

• runtime (bool) – Подсчет времени выполнения

• run (bool) – Блокировка выполнения

Результат:

True если прогнозы успешно получены, в обратном случае False

Тип результата:

bool

get_avt_predictions_gradio(paths: list[str] = [], depth: int = 1, recursive: bool = False, sr: int = 44100, window_audio: int | float = 2.0, step_audio: int | float = 1.0, reduction_fps: int = 5, window_video: int = 10, step_video: int = 5, asr: bool = False, lang: str = 'ru', accuracy=True, url_accuracy: str = '', logs: bool = True, out: bool = True, runtime: bool = True, run: bool = True) → bool

Получения прогнозов по аудио, видео и тексту (мультимодальное объединение)

Параметры:

• depth (int) – Глубина иерархии для получения данных

• recursive (bool) – Рекурсивный поиск данных

• sr (int) – Частота дискретизации

• window_audio (Union[int, float]) – Размер окна сегмента аудио сигнала (в секундах)

• step_audio (Union[int, float]) – Шаг сдвига окна сегмента аудио сигнала (в секундах)

• reduction_fps (int) – Понижение кадровой частоты

• window_video (int) – Размер окна сегмента видео сигнала (в кадрах)

• step_video (int) – Шаг сдвига окна сегмента видео сигнала (в кадрах)

• asr (bool) – Автоматическое распознавание речи

• lang (str) – Язык

• accuracy (bool) – Вычисление точности

• url_accuracy (str) – Полный путь к файлу с верными предсказаниями для подсчета точности

• logs (bool) – При необходимости формировать LOG файл

• out (bool) – Отображение

• runtime (bool) – Подсчет времени выполнения

• run (bool) – Блокировка выполнения

• paths (list[str])

Результат:

True если прогнозы успешно получены, в обратном случае False

Тип результата:

bool

load_av_models_b5(show_summary: bool = False, out: bool = True, runtime: bool = True, run: bool = True) → bool

Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств

Параметры:

• show_summary (bool) – Отображение последней сформированной нейросетевой архитектуры моделей

• out (bool) – Отображение

• runtime (bool) – Подсчет времени выполнения

• run (bool) – Блокировка выполнения

Результат:

True если нейросетевые архитектуры модели сформированы, в обратном случае False

Тип результата:

bool

Примеры

Верно – 1 –

In [1]:

from oceanai.modules.lab.prediction import Prediction

pred = Prediction()

pred.load_av_models_b5(
    show_summary = True, out = True,
    runtime = True, run = True
)

[1]:

[2022-12-08 15:19:30] Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств (мультимодальное объединение) ...

Model: "model_4"
_________________________________________________________________
Layer (type)                Output Shape              Param #
=================================================================
input_1 (InputLayer)        [(None, 64)]              0

dense_1 (Dense)             (None, 1)                 65

activ_1 (Activation)        (None, 1)                 0

=================================================================
Total params: 65
Trainable params: 65
Non-trainable params: 0
_________________________________________________________________
--- Время выполнения: 0.141 сек. ---

True

Ошибка – 1 –

In [2]:

from oceanai.modules.lab.prediction import Prediction

pred = Prediction()

pred.load_av_models_b5(
    show_summary = 1, out = True,
    runtime = True, run = True
)

[2]:

[2022-12-08 15:20:36] Неверные типы или значения аргументов в "Prediction.load_av_models_b5" ...

False

load_av_models_weights_b5(url_openness: str, url_conscientiousness: str, url_extraversion: str, url_agreeableness: str, url_non_neuroticism: str, force_reload: bool = True, out: bool = True, runtime: bool = True, run: bool = True) → bool

Загрузка весов нейросетевых моделей для получения результатов оценки персональных качеств

Параметры:

• url_openness (str) – Полный путь к файлу с весами нейросетевой модели (открытость опыту)

• url_conscientiousness (str) – Полный путь к файлу с весами нейросетевой модели (добросовестность)

• url_extraversion (str) – Полный путь к файлу с весами нейросетевой модели (экстраверсия)

• url_agreeableness (str) – Полный путь к файлу с весами нейросетевой модели (доброжелательность)

• url_non_neuroticism (str) – Полный путь к файлу с весами нейросетевой модели („эмоциональная стабильность“)

• force_reload (bool) – Принудительная загрузка файлов с весами нейросетевых моделей из сети

• out (bool) – Отображение

• runtime (bool) – Подсчет времени выполнения

• run (bool) – Блокировка выполнения

Результат:

True если веса нейросетевых моделей загружены, в обратном случае False

Тип результата:

bool

Примеры

Верно – 1 –

In [1]:

from oceanai.modules.lab.prediction import Prediction

pred = Prediction()

pred.load_av_models_b5(
    show_summary = False, out = True,
    runtime = True, run = True
)

[1]:

[2022-12-08 16:56:37] Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств (мультимодальное объединение) ...

--- Время выполнения: 0.075 сек. ---

True

In [2]:

pred.path_to_save_ = './models'
pred.chunk_size_ = 2000000

url_openness = pred.weights_for_big5_['av']['b5']['openness']['sberdisk']
url_conscientiousness = pred.weights_for_big5_['av']['b5']['conscientiousness']['sberdisk']
url_extraversion = pred.weights_for_big5_['av']['b5']['extraversion']['sberdisk']
url_agreeableness = pred.weights_for_big5_['av']['b5']['agreeableness']['sberdisk']
url_non_neuroticism = pred.weights_for_big5_['av']['b5']['non_neuroticism']['sberdisk']

pred.load_av_models_weights_b5(
    url_openness = url_openness,
    url_conscientiousness = url_conscientiousness,
    url_extraversion = url_extraversion,
    url_agreeableness = url_agreeableness,
    url_non_neuroticism = url_non_neuroticism,
    force_reload = True,
    out = True,
    runtime = True,
    run = True
)

[2]:

[2022-12-08 17:03:18] Загрузка весов нейросетевых моделей для получения результатов оценки персональных качеств (мультимодальное объединение) ...

[2022-12-08 17:03:21] Загрузка файла "weights_2022-08-28_11-14-35.h5" (100.0%) ... Открытость опыту

[2022-12-08 17:03:21] Загрузка файла "weights_2022-08-28_11-08-10.h5" (100.0%) ... Добросовестность

[2022-12-08 17:03:21] Загрузка файла "weights_2022-08-28_11-17-57.h5" (100.0%) ... Экстраверсия

[2022-12-08 17:03:21] Загрузка файла "weights_2022-08-28_11-25-11.h5" (100.0%) ... Доброжелательность

[2022-12-08 17:03:21] Загрузка файла "weights_2022-06-14_21-44-09.h5" (100.0%) ... Эмоциональная стабильность

--- Время выполнения: 3.399 сек. ---

True

Ошибка – 1 –

In [3]:

from oceanai.modules.lab.prediction import Prediction

pred = Prediction()

pred.path_to_save_ = './models'
pred.chunk_size_ = 2000000

url_openness = pred.weights_for_big5_['av']['b5']['openness']['sberdisk']
url_conscientiousness = pred.weights_for_big5_['av']['b5']['conscientiousness']['sberdisk']
url_extraversion = pred.weights_for_big5_['av']['b5']['extraversion']['sberdisk']
url_agreeableness = pred.weights_for_big5_['av']['b5']['agreeableness']['sberdisk']
url_non_neuroticism = pred.weights_for_big5_['av']['b5']['non_neuroticism']['sberdisk']

pred.load_av_models_weights_b5(
    url_openness = url_openness,
    url_conscientiousness = url_conscientiousness,
    url_extraversion = url_extraversion,
    url_agreeableness = url_agreeableness,
    url_non_neuroticism = url_non_neuroticism,
    force_reload = True,
    out = True,
    runtime = True,
    run = True
)

[3]:

[2022-12-08 17:05:32] Загрузка весов нейросетевых моделей для получения результатов оценки персональных качеств (мультимодальное объединение) ...

[2022-12-08 17:05:32] Загрузка файла "weights_2022-08-28_11-14-35.h5" (100.0%) ...

[2022-12-08 17:05:33] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ... Открытость опыту

    Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/prediction.py
    Линия: 639
    Метод: load_av_models_weights_b5
    Тип ошибки: AttributeError

[2022-12-08 17:05:33] Загрузка файла "weights_2022-08-28_11-08-10.h5" (100.0%) ...

[2022-12-08 17:05:33] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ... Добросовестность

    Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/prediction.py
    Линия: 639
    Метод: load_av_models_weights_b5
    Тип ошибки: AttributeError

[2022-12-08 17:05:33] Загрузка файла "weights_2022-08-28_11-17-57.h5" (100.0%) ...

[2022-12-08 17:05:33] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ... Экстраверсия

    Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/prediction.py
    Линия: 639
    Метод: load_av_models_weights_b5
    Тип ошибки: AttributeError

[2022-12-08 17:05:33] Загрузка файла "weights_2022-08-28_11-25-11.h5" (100.0%) ...

[2022-12-08 17:05:33] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ... Доброжелательность

    Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/prediction.py
    Линия: 639
    Метод: load_av_models_weights_b5
    Тип ошибки: AttributeError

[2022-12-08 17:05:33] Загрузка файла "weights_2022-06-14_21-44-09.h5" (100.0%) ...

[2022-12-08 17:05:33] Что-то пошло не так ... не удалось загрузить веса нейросетевой модели ... Эмоциональная стабильность

    Файл: /Users/dl/GitHub/oceanai/oceanai/modules/lab/prediction.py
    Линия: 639
    Метод: load_av_models_weights_b5
    Тип ошибки: AttributeError

--- Время выполнения: 1.024 сек. ---

False

load_avt_model_b5(show_summary: bool = False, out: bool = True, runtime: bool = True, run: bool = True) → bool

Формирование нейросетевой архитектуры модели для получения оценок персональных качеств

Параметры:

• show_summary (bool) – Отображение последней сформированной нейросетевой архитектуры моделей

• out (bool) – Отображение

• runtime (bool) – Подсчет времени выполнения

• run (bool) – Блокировка выполнения

Результат:

True если нейросетевая архитектура модели сформирована, в обратном случае False

Тип результата:

bool

load_avt_model_weights_b5(url: str, force_reload: bool = True, out: bool = True, runtime: bool = True, run: bool = True) → bool

Загрузка весов нейросетевой модели для получения оценок персональных качеств

Параметры:

• url (str) – Полный путь к файлу с весами нейросетевой модели

• force_reload (bool) – Принудительная загрузка файлов с весами нейросетевых моделей из сети

• out (bool) – Отображение

• runtime (bool) – Подсчет времени выполнения

• run (bool) – Блокировка выполнения

Результат:

True если веса нейросетевой модели загружены, в обратном случае False

Тип результата:

bool