Формирование нейросетевой архитектуры модели и загрузка ее весов для получения результатов оценки персональных качеств (аудио, видео и текст объединение)
_b5.avt_model_b5_- Нейросетевая модель tf.keras.Model для получения результатов оценки персональных качеств
Импорт необходимых инструментов
[2]:
from oceanai.modules.lab.build import Run
Сборка
[3]:
_b5 = Run(
lang = 'ru', # Язык
color_simple = '#333', # Цвет обычного текста (шестнадцатеричный код)
color_info = '#1776D2', # Цвет текста содержащего информацию (шестнадцатеричный код)
color_err = '#FF0000', # Цвет текста содержащего ошибку (шестнадцатеричный код)
color_true = '#008001', # Цвет текста содержащего положительную информацию (шестнадцатеричный код)
bold_text = True, # Жирное начертание текста
num_to_df_display = 30, # Количество строк для отображения в таблицах
text_runtime = 'Время выполнения', # Текст времени выполнения
metadata = True # Отображение информации о библиотеке
)
[2023-12-11 09:46:45] OCEANAI - персональные качества личности человека: Авторы: Рюмина Елена [ryumina_ev@mail.ru] Рюмин Дмитрий [dl_03.03.1991@mail.ru] Карпов Алексей [karpov@iias.spb.su] Сопровождающие: Рюмина Елена [ryumina_ev@mail.ru] Рюмин Дмитрий [dl_03.03.1991@mail.ru] Версия: 1.0.0a5 Лицензия: BSD License
Формирование нейросетевой архитектуры модели
[4]:
res_load_avt_model_b5 = _b5.load_avt_model_b5(
show_summary = False, # Отображение сформированной нейросетевой архитектуры модели
out = True, # Отображение
runtime = True, # Подсчет времени выполнения
run = True # Блокировка выполнения
)
[2023-12-11 09:46:45] Формирование нейросетевой архитектуры модели для получения оценок персональных качеств (мультимодальное объединение) …
— Время выполнения: 0.814 сек. —
Загрузка весов нейросетевой модели
[5]:
# Настройки ядра
_b5.path_to_save_ = './models' # Директория для сохранения файла
_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг
url = _b5.weights_for_big5_['avt']['fi']['b5']['sberdisk']
res_load_avt_model_weights_b5 = _b5.load_avt_model_weights_b5(
url = url,
force_reload = False, # Принудительная загрузка файла с весами нейросетевой модели из сети
out = True, # Отображение
runtime = True, # Подсчет времени выполнения
run = True # Блокировка выполнения
)
[2023-12-11 09:46:46] Загрузка весов нейросетевой модели для получения оценок персональных качеств (мультимодальное объединение) …
[2023-12-11 09:46:46] Загрузка файла “avt_fi_2023-12-03_11-36-51.h5”
— Время выполнения: 0.218 сек. —
Отображение сформированной нейросетевой архитектуры модели
[6]:
_b5.avt_model_b5_.summary()
Model: "model"
__________________________________________________________________________________________________
Layer (type) Output Shape Param # Connected to
==================================================================================================
hc_t (InputLayer) [(None, 128)] 0 []
hc_a (InputLayer) [(None, 256)] 0 []
nn_t (InputLayer) [(None, 128)] 0 []
nn_a (InputLayer) [(None, 512)] 0 []
hc_v (InputLayer) [(None, 256)] 0 []
nn_v (InputLayer) [(None, 2048)] 0 []
ln_hc_t (LayerNormalization) (None, 128) 256 ['hc_t[0][0]']
ln_hc_a (LayerNormalization) (None, 256) 512 ['hc_a[0][0]']
ln_nn_t (LayerNormalization) (None, 128) 256 ['nn_t[0][0]']
ln_nn_a (LayerNormalization) (None, 512) 1024 ['nn_a[0][0]']
ln_hc_v (LayerNormalization) (None, 256) 512 ['hc_v[0][0]']
ln_nn_v (LayerNormalization) (None, 2048) 4096 ['nn_v[0][0]']
gata (GFL) (None, 64) 131072 ['ln_hc_t[0][0]',
'ln_hc_a[0][0]',
'ln_nn_t[0][0]',
'ln_nn_a[0][0]']
gatv (GFL) (None, 64) 327680 ['ln_hc_t[0][0]',
'ln_hc_v[0][0]',
'ln_nn_t[0][0]',
'ln_nn_v[0][0]']
gaav (GFL) (None, 64) 393216 ['ln_hc_a[0][0]',
'ln_hc_v[0][0]',
'ln_nn_a[0][0]',
'ln_nn_v[0][0]']
tf.concat (TFOpLambda) (None, 192) 0 ['gata[0][0]',
'gatv[0][0]',
'gaav[0][0]']
dense (Dense) (None, 50) 9650 ['tf.concat[0][0]']
dence_cl (Dense) (None, 5) 255 ['dense[0][0]']
==================================================================================================
Total params: 868,529
Trainable params: 868,529
Non-trainable params: 0
__________________________________________________________________________________________________