Совместный метод тройного извлечения путем распознавания атрибутов роли сущности.

Научные отчеты, том 13, Номер статьи: 2223 (2023) Цитировать эту статью

1007 доступов

2 Альтметрика

Подробности о метриках

В последние годы методы совместного тройного извлечения получили широкое внимание, поскольку они значительно способствовали прогрессу в извлечении информации и решении многих связанных с ним последующих задач в области обработки естественного языка. Однако из-за присущей языку сложности, такой как перекрытие отношений, модель совместного извлечения по-прежнему сталкивается с большими проблемами. Большинство существующих моделей для решения проблемы перекрытия используют стратегию построения сложных семантических общих функций кодирования со всеми типами отношений, что приводит к тому, что модель страдает от избыточности и плохой интерпретируемости вывода в процессе прогнозирования. Поэтому мы предлагаем новую модель распознавания атрибутов роли сущности, основанную на тройных целостных функциях слияния, которая может извлекать тройки (включая перекрывающиеся тройки) при ограниченном количестве отношений, а процесс ее прогнозирования прост и легко объясним. Мы принимаем стратегию разделения функций низкого уровня и объединения концепций высокого уровня. Сначала мы используем функции токена низкого уровня для параллельного прогнозирования сущностей и отношений, затем используем остаточную связь с вычислением внимания для выполнения объединения функций на тройках-кандидатах в матрице сущностей-отношений и, наконец, определяем существование тройки с помощью идентификация атрибутов роли сущности. Результаты экспериментов показывают, что предложенная модель очень эффективна и обеспечивает самые современные характеристики работы с общедоступными наборами данных.

Целью извлечения сущностей и отношений (ERE) является извлечение концептуальных объектов и их взаимосвязей из текстов на естественном языке в соответствии с семантикой предложений и формирование троек, подобных (Субъект, Отношение, Объект). Будучи ключевой задачей для таких приложений, как построение графа знаний, интеллектуальный ответ на вопросы и анализ общественного мнения, он всегда занимал важное место в обработке естественного языка. Недавние исследования показали, что методы совместного извлечения на основе глубокого обучения могут значительно улучшить производительность ERE за счет эффективной интеграции функций взаимодействия между сущностями и отношениями и облегчения проблемы распространения ошибок. Однако наличие сложных лингвистических явлений, таких как SEO (перекрытие одной сущности) и EPO (перекрытие пары сущностей) (показано в таблице 1 из TPLinker1), значительно и существенно увеличивает сложность проектирования моделей совместного извлечения, тем самым вызывая проблему, которую моделируют. конструкцию становится трудно интерпретировать. Например, широко распространенная модель семантического улучшения токенов2, в которой токены каждого слова соединяются с другими характеристиками (например, всеми типами отношений) для формирования синтетического вектора кодирования, сложна не только для понимания ее идеологических корней, но и для понимания ее идеологических корней. но даже ошибочный. Ошибочность этой идеи очевидна. Во-первых, метод прогнозирования, основанный на всех типах отношений, заведомо менее эффективен, чем метод поиска и выбора, при работе с большим количеством отношений. Во-вторых, не все токены в предложении имеют отношение к задаче ERE, а неверная и избыточная информация не только увеличит вычислительную нагрузку, но даже повлияет на результаты прогнозирования. Более того, в большинстве случаев для представления концепции требуется диапазон (несколько последовательных токенов), и необходимо оценить и проверить, может ли один синтетический вектор правильно представлять семантику сущности или реляционной концепции. Таким образом, особенно важно предложить объяснимые модели, способные отразить существенный процесс извлечения знаний, которые могут помочь решить вышеуказанные проблемы и действительно открыть законы формирования тройки знаний. Ввиду этого мы упрощаем разработку модели совместного извлечения с точки зрения двух критериев, а именно: следование интерпретируемому процессу вывода и сокращение избыточных прогнозов, и ожидаем достижения текущей современной производительности извлечения. Наша новая модель опирается на следующие два важных источника вдохновения.