Материал исследования — корпусы текстов
Для разметки границ именованных сущностей широко распространена схема IOB: метка B означает начало сущности; I — расположение внутри неё; меткой O отмечаются токены, не входящие в именованную сущность. Для оценки практических результатов работы из корпуса были удалены записи, при разметке которых наблюдались разногласия между аннотаторами (1141 запись из 8600). Разметка корпуса проведена вручную… Читать ещё >
Материал исследования — корпусы текстов (реферат, курсовая, диплом, контрольная)
Корпус текстов микроблогов
Корпус текстов социальной сети Твиттер собран с помощью APITwitterв формате .json.Корпус насчитывает 8600 записей на русском языке за период с начала 2014 года по январь 2017 года объемом 136 070 словоупотреблений. Для отбора записей и отсеивания записей, не содержащих именованных сущностей, критерии поиска включали распространенные имена, фамилии известных людей, а также наименования организаций из перечня, сформированного на основе выборки из новостных текстов, проанализированной и размеченной вручную.
Для разметки границ именованных сущностей широко распространена схема IOB: метка B означает начало сущности; I — расположение внутри неё; меткой O отмечаются токены, не входящие в именованную сущность.
Рисунок 1. Схема аннотации IOB.
Разметка корпуса проведена вручную автором и вторым аннотатором (взрослым носителем русского языка, имеющим филологическое образование).
Для оценки практических результатов работы из корпуса были удалены записи, при разметке которых наблюдались разногласия между аннотаторами (1141 запись из 8600).
Пример аннотации:
Газеты [OrgB] «Вечерний [OrgI] Минск» [Org I], «Минский [Org B] Курьер» [Org I] прислали [O] КП [O]. Предлагают [O] разместить [O] у [O] них [O] рекламу [O] инет-магазина [O])) Думаю [O], конверсия [O] зашкалит[O].