Slava Dubrov Edge of Context
Поиск

Лучшие NER-модели в 2026 году: spaCy, GLiNER, Transformers, LLMs

Viacheslav Dubrov

· Обновлено · 5 мин · Поисковые и языковые системы

Автоматический перевод Эта статья была автоматически переведена с оригинальной английской версии.

Распознавание именованных сущностей (NER) находит и размечает спаны текста — например, имена людей, компании и коды продуктов. Эта страница предназначена для инженеров, которые выбирают подход к извлечению данных для production-нагрузки. Здесь описана отправная точка, которую можно проверить на своей схеме, документах и эксплуатационных ограничениях.

Используйте spaCy для стабильных меток и быстрых пайплайнов. Выбирайте GLiNER, если метки часто меняются; bi-энкодер — если большой набор меток позволяет повторно использовать кэшированные эмбеддинги; файн-тюненный token classifier — если у вас есть размеченные примеры. Используйте структурированное извлечение на основе LLM, когда нужен сложный объект, а не простой список спанов.

Последняя проверка: 2026-08-17. Критерии выбора: стабильность меток, набор меток, вывод в виде спанов или записей, язык, наличие supervised-данных, латентность, нормализация и стоимость ревью.

Таблица решений

ПотребностьЛучшая отправная точкаПочему
Быстрый NER с известными меткамиspaCyЗрелые пайплайны, удобная работа, быстрый деплой на CPU и интеграция с правилами.
Новые метки без полного обученияGLiNERИзвлечение с учетом меток хорошо работает, когда набор меток меняется. Начинайте с понятных описаний типов, а не с голых названий.
Большой набор повторно используемых метокGLiNER bi-encoderОн может заранее вычислять и кэшировать эмбеддинги меток вместо кодирования меток для каждого документа.
Сущности и отношения за один проходКандидат GLiNER-RelexОн совместно извлекает типы сущностей и отношений. Сравните его с раздельными этапами на целевой схеме отношений.
Сущности, поля документа или классификацияGLiNER2Его интерфейс схемы объединяет распознавание сущностей, классификацию и задачи структурированного извлечения.
Вложенные или пересекающиеся сущностиДекодер с поддержкой вложенности, включая GLiNER с flat_ner=FalseПлоское декодирование подавляет пересечения. Тестируйте вложенные спаны на аннотациях с ожидаемыми паттернами пересечений.
Мультиязычное извлечение или работа с несколькими письменностямиGLiNER-X или baseline на XLM-RНи одна модель не лучшая для всех языков. Тестируйте каждый целевой язык и формулировки его описаний типов.
Стабильные доменные метки и репрезентативные размеченные спаныФайн-тюненный token classifier или пайплайн spaCyСоздайте supervised-baseline, затем сравните exact-span F1, латентность и стоимость на доменном наборе.
Неявные, межфразовые или структурированные поляКандидат LLM или гибридный подходstructured outputs ограничивают форму ответа, но не гарантируют корректность извлечения. Проверяйте точность полей на доменном тестовом наборе.
Критичные PII или регулируемый процессPresidio плюс кандидат GLiNER2-PIIСочетайте вывод модели с детерминированными проверками, контролями редактирования данных и ревью.

Классы инструментов

КлассСильная сторонаСлабая сторонаПодходящий сценарий
spaCy NERБыстрый, удобный для production, учитывает правилаДля кастомных меток нужны обучение или правилаИзвестные метки в системах с высокой пропускной способностью.
GLiNERГибкие метки на этапе инференсаКачество зависит от формулировки меток и доменного рассогласованияБыстрая итерация онтологии и long-tail-метки.
GLiNER bi-encoderКэшированные эмбеддинги меток масштабируются на большие онтологииЭффект зависит от повторного использования меток и характера нагрузкиПовторно используемые наборы от десятков до тысяч меток.
GLiNER2Мультитасковое извлечение по схемеКаждая задача и объединенная схема требуют отдельной оценкиСущности, классификация и структурированные поля.
GLiNER-RelexСовместное извлечение сущностей и отношенийБолее новая модель, требующая сравнения на конкретной задачеЯвные схемы сущностей и отношений.
Transformer token classifierВысокая точность при supervised-обученииТребуются размеченные спаны и повторное обучениеСтабильное извлечение в домене при наличии достаточного объема данных.
LLM extractionГибкость схемы и ризонингБолее высокие латентность и стоимость, недетерминированностьСложные записи, неявные значения и процессы с небольшим объемом данных.
Rules and dictionariesДетерминированное поведение при сопоставленииХрупкий recallCompliance, идентификаторы, коды продуктов и постфильтры.

Как выбрать

Начинайте со схемы сущностей, а не с модели.

Если метки стабильны и есть репрезентативные примеры, выполните файн-тюнинг token classifier. Сравните его на отложенном доменном наборе. Он предсказывает метки токенов без autoregressive generation. Латентность и стоимость всё равно зависят от модели, оборудования, размера батча и стека сервинга.

Если метки меняются еженедельно, используйте GLiNER или LLM-экстрактор, пока онтология не стабилизируется. Для каждой неоднозначной метки напишите короткое описание типа. Недавние исследования hard zero-shot NER показывают, что описания улучшают обобщение и не позволяют принимать утечку меток за zero-shot-способность. Цель — понять, какой должна быть схема, прежде чем тратить бюджет на аннотацию.

Если вы повторно используете большой набор меток, оцените bi-энкодер до joint label-text encoder. В статье о GLiNER bi-encoder сообщается показатель 61,5 micro-F1 на CrossNER. Там же заявлено до 130-кратного увеличения throughput при 1 024 метках и предварительно вычисленных эмбеддингах в условиях теста на H100. Эти результаты показывают характер масштабирования. Они не являются оценкой для другой production-нагрузки.

Если документы охватывают несколько языков, проведите бенчмарк для каждого целевого языка и письменности. В OpenNER 1.0 не была найдена одна модель, лучшая для всей коллекции из 52 языков. Тестируйте описания типов и на английском, и на локальных языках, поскольку текст метки является частью входа модели.

Если результатом должна быть структурированная запись, а не спаны, используйте LLM со structured outputs или гибридный пайплайн. LangExtract полезен, когда каждое извлечение должно быть связано с исходным местоположением в документе. NuExtract — вариант для self-hosted извлечения из мультимодальных документов. Оба подхода всё равно требуют оценки на уровне полей для целевых документов.

Многие бизнес-задачи извлечения не сводятся к чистому NER. «Найти стороны, обязательства, дату вступления в силу, пункт о расторжении и применимое право» — это понимание документа со структурированными полями сущностей.

Для PII используйте PII-фреймворк, например Presidio, как слой интеграции и редактирования данных. Рассматривайте GLiNER2-PII как кандидата среди моделей, а не как решение по compliance. Измеряйте recall на чувствительных форматах, языках и документах, с которыми будет работать система.

Production-пайплайн

Production-пайплайн извлечения часто добавляет вокруг модели дополнительные этапы:

  1. Извлечение кандидатов: spaCy, GLiNER, Transformer-модель, LLM, правила или их комбинация.
  2. Опциональная нормализация или entity linking: сопоставление спанов с каноническими ID, кодами продуктов, пользователями, компаниями или элементами онтологии.
  3. Валидация и ревью: отклонение невозможных меток, применение ограничений схемы, дедупликация спанов и направление неуверенных случаев на ревью.

Нормализация превращает извлеченный текст в полезные продуктовые данные. Найти спан «Apple» — только первый шаг. Система всё ещё должна определить, означает ли он компанию, фрукт, семейство продуктов или биржевой тикер, а затем сопоставить его со стабильным ID.

Чек-лист оценки

Измеряйте не только entity-level F1:

  • exact span F1
  • relaxed span F1
  • матрица ошибок по меткам
  • обработка вложенных сущностей
  • точность нормализации сущностей
  • чувствительность к описанию типа и языку метки
  • срезы по языку, письменности и формату документа
  • false positives по меткам
  • калибровка confidence
  • латентность и стоимость на документ
  • доля исправлений, выполненных людьми

Держите тестовый набор отдельно от проектирования схемы и настройки порогов. Указывайте число документов и упоминаний сущностей для каждой метки. Используйте доверительные интервалы на уровне документов, если повторные упоминания в одном документе иначе завышают уверенность.

Что почитать глубже

  • NER Guide 2026 рассматривает энкодеры, LLMs и трехуровневую production-архитектуру.
  • Schema-Guided Reasoning актуален, когда NER превращается в структурированное извлечение.

Ссылки