Формирование нейросетевой архитектуры модели и загрузка ее весов для получения признаков / оценок на базе экспертных признаков (текстовая модальность)
_b5.text_model_hc_- Нейросетевая модель tf.keras.Model для получения признаков / оценок на базе экспертных признаков
Импорт необходимых инструментов
[2]:
from oceanai.modules.lab.build import Run
Сборка
[3]:
_b5 = Run(
lang = 'ru', # Язык
color_simple = '#333', # Цвет обычного текста (шестнадцатеричный код)
color_info = '#1776D2', # Цвет текста содержащего информацию (шестнадцатеричный код)
color_err = '#FF0000', # Цвет текста содержащего ошибку (шестнадцатеричный код)
color_true = '#008001', # Цвет текста содержащего положительную информацию (шестнадцатеричный код)
bold_text = True, # Жирное начертание текста
num_to_df_display = 30, # Количество строк для отображения в таблицах
text_runtime = 'Время выполнения', # Текст времени выполнения
metadata = True # Отображение информации о библиотеке
)
[2023-12-10 16:53:54] OCEANAI - персональные качества личности человека: Авторы: Рюмина Елена [ryumina_ev@mail.ru] Рюмин Дмитрий [dl_03.03.1991@mail.ru] Карпов Алексей [karpov@iias.spb.su] Сопровождающие: Рюмина Елена [ryumina_ev@mail.ru] Рюмин Дмитрий [dl_03.03.1991@mail.ru] Версия: 1.0.0a5 Лицензия: BSD License
Формирование нейросетевой архитектуры модели (FI V2)
[4]:
res_load_text_model_hc_fi = _b5.load_text_model_hc(
corpus = "fi", # Корпус для тестирования нейросетевой модели
show_summary = False, # Отображение сформированной нейросетевой архитектуры модели
out = True, # Отображение
runtime = True, # Подсчет времени выполнения
run = True # Блокировка выполнения
)
[2023-12-10 16:53:55] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (текстовая модальность) …
— Время выполнения: 1.886 сек. —
Загрузка весов нейросетевой модели
[5]:
# Настройки ядра
_b5.path_to_save_ = './models' # Директория для сохранения файла
_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг
url = _b5.weights_for_big5_['text']['fi']['hc']['sberdisk']
res_load_text_model_weights_hc_fi = _b5.load_text_model_weights_hc(
url = url, # Полный путь к файлу с весами нейросетевой модели
force_reload = True, # Принудительная загрузка файла с весами нейросетевой модели из сети
out = True, # Отображение
runtime = True, # Подсчет времени выполнения
run = True # Блокировка выполнения
)
[2023-12-10 16:54:00] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (текстовая модальность) …
[2023-12-10 16:54:01] Загрузка файла “weights_2023-07-15_10-52-15.h5” 100.0% …
— Время выполнения: 0.311 сек. —
Отображение сформированной нейросетевой архитектуры модели
[6]:
_b5.text_model_hc_.summary()
Model: "model"
__________________________________________________________________________________________________
Layer (type) Output Shape Param # Connected to
==================================================================================================
model_hc/input (InputLayer) [(None, 89, 64)] 0 []
model_hc/bilstm_1 (Bidirection (None, 89, 64) 24832 ['model_hc/input[0][0]']
al)
model_hc/dence_2 (Dense) (None, 89, 64) 4160 ['model_hc/input[0][0]']
model_hc/attention (Attention) (None, 89, 64) 0 ['model_hc/bilstm_1[0][0]',
'model_hc/bilstm_1[0][0]']
model_hc/bilstm_2 (Bidirection (None, 89, 64) 24832 ['model_hc/dence_2[0][0]']
al)
add (Add) (None, 89, 64) 0 ['model_hc/bilstm_1[0][0]',
'model_hc/attention[0][0]',
'model_hc/bilstm_2[0][0]']
model_hc/add (Addition) (None, 128) 0 ['add[0][0]']
dense (Dense) (None, 5) 645 ['model_hc/add[0][0]']
==================================================================================================
Total params: 54,469
Trainable params: 54,469
Non-trainable params: 0
__________________________________________________________________________________________________
Формирование нейросетевой архитектуры модели (MuPTA)
[7]:
res_load_text_model_hc_mupta = _b5.load_text_model_hc(
corpus = "mupta", # Корпус для тестирования нейросетевой модели
show_summary = False, # Отображение сформированной нейросетевой архитектуры модели
out = True, # Отображение
runtime = True, # Подсчет времени выполнения
run = True # Блокировка выполнения
)
[2023-12-10 16:54:06] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (текстовая модальность) …
— Время выполнения: 0.577 сек. —
Загрузка весов нейросетевой модели
[8]:
# Настройки ядра
_b5.path_to_save_ = './models' # Директория для сохранения файла
_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг
url = _b5.weights_for_big5_['text']['mupta']['hc']['sberdisk']
res_load_text_model_weights_hc_mupta = _b5.load_text_model_weights_hc(
url = url, # Полный путь к файлу с весами нейросетевой модели
force_reload = True, # Принудительная загрузка файла с весами нейросетевой модели из сети
out = True, # Отображение
runtime = True, # Подсчет времени выполнения
run = True # Блокировка выполнения
)
[2023-12-10 16:54:19] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (текстовая модальность) …
[2023-12-10 16:54:19] Загрузка файла “weights_2023-07-15_10-53-38.h5” 100.0% …
— Время выполнения: 0.264 сек. —
Отображение сформированной нейросетевой архитектуры модели
[9]:
_b5.text_model_hc_.summary()
Model: "model_1"
__________________________________________________________________________________________________
Layer (type) Output Shape Param # Connected to
==================================================================================================
model_hc/input (InputLayer) [(None, 365, 64)] 0 []
model_hc/bilstm_1 (Bidirection (None, 365, 64) 24832 ['model_hc/input[0][0]']
al)
model_hc/dence_2 (Dense) (None, 365, 64) 4160 ['model_hc/input[0][0]']
model_hc/attention (Attention) (None, 365, 64) 0 ['model_hc/bilstm_1[0][0]',
'model_hc/bilstm_1[0][0]']
model_hc/bilstm_2 (Bidirection (None, 365, 64) 24832 ['model_hc/dence_2[0][0]']
al)
add_1 (Add) (None, 365, 64) 0 ['model_hc/bilstm_1[0][0]',
'model_hc/attention[0][0]',
'model_hc/bilstm_2[0][0]']
model_hc/add (Addition) (None, 128) 0 ['add_1[0][0]']
dense_1 (Dense) (None, 5) 645 ['model_hc/add[0][0]']
==================================================================================================
Total params: 54,469
Trainable params: 54,469
Non-trainable params: 0
__________________________________________________________________________________________________