Предыдущая страница реферата | 3  4  5  6  7  8  9  10  11  12  13 | Следующая страница реферата

Fkj – частота совместного появления терминов.

N – число слов в массиве.

После расчёта этих значений и коэффициента связности (КС) в словосочетании отбирают такие термины, для которых Сjк и Fkj больше порогового значения, которое устанавливается эмпирически. Пороговые значения: Сjк >= 20 и Fkj >= 3.

Если эти характеристики для термов, включённых в словосочетание поддерживаются, то получаются хорошие выборки.

Недостаток:

не учитывается порядок слов в словосочетаниях;

метод позволяет считать идентичными даже словосочетания с одинаковым порядком следования термина.

17.Лингвистический метод образования словосочетаний в задаче улучшения точности поиска в текстовой базе данных.

Лингвистические методы – используют упрощённые синтаксические разборы предложений, причём, как правило, предложений из заголовков текстов.

Алгоритм анализа упрощённых фраз:

Образуются предварительные словосочетания путём проставления скобок перед предлогами, числительными, неопределёнными местоимениями и т.д.

Устанавливаются связи справа и/или слева от слов, выделенных в первом пункте между различными структурами.

Из структуры исключаются количественные числительные, вспомогательные глаголы, местоимения и т.д. Остаются лишь индексационные словосочетания. В результате должны остаться связи или комбинации вида: сущ. – сущ. (прил. -  прил.).

Пример: (Some investigations)(in computer science)(which can lead)(to the creation)(of artificial intelligence). В результате имеем:

Computer science - >investigations -> artificial intelligence -> creation.

18.Задача автоматического реферирования текстов и методы ее решения.

Задача создания рефератов – задача выявления списка документов и краткое его представление.

Исходные данные:

массив исходных данных;

готовые вектора документов (т.е. уже должна быть решена задача создания векторов {tik , wik}).

Методы для автореферирования:

Расчётный – определяются веса словосочетаний, содержащих 2 значимых термина из вектора документа.

w = 1 / 2t * wi1 * wi2 – вес словосочетания из 2-х терминов .

wi1 и w i2 - веса 1-го и 2-го термина из вектора.

t – количество слов в тексте между терминами ti1 и t i2, которые не являются значимыми.

Далее по тексту определяется значимое предложение. Это такое предложение, которое содержит большое число значимых групп. После расчёта значимости предложений, они упорядочиваются и для реферирования выбираются наиболее значимые. Далее наиболее значимые предложения упорядочиваются так, как они шли в тексте, чтобы не потерять логику.

Позиционный метод. Включает в себя следующие не альтернативные шаги:

Рекомендуем скачать другие рефераты по теме: сочинения по русскому языку, управление персоналом реферат.





Предыдущая страница реферата | 3  4  5  6  7  8  9  10  11  12  13 | Следующая страница реферата