Формирование нейросетевой архитектуры модели и загрузка ее весов для получения результатов оценки персональных качеств (аудио, видео и текст объединение)

_b5.avt_model_b5_ - Нейросетевая модель nn.Module для получения результатов оценки персональных качеств

Импорт необходимых инструментов

[2]:

from oceanai.modules.lab.build import Run

Сборка

[3]:

_b5 = Run(
    lang = 'ru', # Язык
    color_simple = '#333', # Цвет обычного текста (шестнадцатеричный код)
    color_info = '#1776D2', # Цвет текста содержащего информацию (шестнадцатеричный код)
    color_err = '#FF0000', # Цвет текста содержащего ошибку (шестнадцатеричный код)
    color_true = '#008001', # Цвет текста содержащего положительную информацию (шестнадцатеричный код)
    bold_text = True, # Жирное начертание текста
    num_to_df_display = 30, # Количество строк для отображения в таблицах
    text_runtime = 'Время выполнения', # Текст времени выполнения
    metadata = True # Отображение информации о библиотеке
)

[2024-10-08 22:06:21] OCEANAI - персональные качества личности человека: Авторы: Рюмина Елена [ryumina_ev@mail.ru] Рюмин Дмитрий [dl_03.03.1991@mail.ru] Карпов Алексей [karpov@iias.spb.su] Сопровождающие: Рюмина Елена [ryumina_ev@mail.ru] Рюмин Дмитрий [dl_03.03.1991@mail.ru] Версия: 1.0.0a40 Лицензия: BSD License

Формирование нейросетевой архитектуры модели

[4]:

res_load_avt_model_b5 = _b5.load_avt_model_b5(
    show_summary = False, # Отображение сформированной нейросетевой архитектуры модели
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2024-10-08 22:06:21] Формирование нейросетевой архитектуры модели для получения оценок персональных качеств (мультимодальное объединение) …

— Время выполнения: 0.007 сек. —

Загрузка весов нейросетевой модели

[5]:

# Настройки ядра
_b5.path_to_save_ = './models' # Директория для сохранения файла
_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг

url = _b5.weights_for_big5_['avt']['fi']['b5']['googledisk']

res_load_avt_model_weights_b5 = _b5.load_avt_model_weights_b5(
    url = url,
    force_reload = False, # Принудительная загрузка файла с весами нейросетевой модели из сети
    out = True, # Отображение
    runtime = True, # Подсчет времени выполнения
    run = True # Блокировка выполнения
)

[2024-10-08 22:06:21] Загрузка весов нейросетевой модели для получения оценок персональных качеств (мультимодальное объединение) …

[2024-10-08 22:06:24] Загрузка файла «avt_fi_2023-12-03_11-36-51.pth» 100.0% …

— Время выполнения: 3.541 сек. —

Отображение сформированной нейросетевой архитектуры модели

[6]:

_b5.avt_model_b5_

[6]:

avt_model_b5(
  (ln_hc_t): LayerNormalization(
    (layer_norm): LayerNorm((128,), eps=1e-05, elementwise_affine=True)
  )
  (ln_nn_t): LayerNormalization(
    (layer_norm): LayerNorm((128,), eps=1e-05, elementwise_affine=True)
  )
  (ln_hc_a): LayerNormalization(
    (layer_norm): LayerNorm((256,), eps=1e-05, elementwise_affine=True)
  )
  (ln_nn_a): LayerNormalization(
    (layer_norm): LayerNorm((512,), eps=1e-05, elementwise_affine=True)
  )
  (ln_hc_v): LayerNormalization(
    (layer_norm): LayerNorm((256,), eps=1e-05, elementwise_affine=True)
  )
  (ln_nn_v): LayerNormalization(
    (layer_norm): LayerNorm((2048,), eps=1e-05, elementwise_affine=True)
  )
  (gf_ta): GFL()
  (gf_tv): GFL()
  (gf_av): GFL()
  (fc1): Linear(in_features=192, out_features=50, bias=True)
  (fc2): Linear(in_features=50, out_features=5, bias=True)
)