Информационно-поисковые языки
ЛЕКЦИЯ 3
Учебная презентация
Вопросы:
1) Информационно-поисковые языки (ИПЯ): понятие и структура.
2) Упорядочения лексических единиц ИПЯ.
3) Требования к ИПЯ
Вопрос 1. Информационно-поисковые языки: структура и требования. Наряду с многочисленными естественными языками в человеческом обществе получили большое распространение и различные искусственные языки. Они создаются людьми для решения каких-либо задач в области науки и техники (машинные языки), для общения между людьми (эсперанто, профессиональные диалекты). Среди искусственных языков особое значение занимают информационные языки.
Необходимость создания и использования информационных языков для обработки информации возникла и продолжает углубляться по мере совершенствования информационной технологии в обществе. Машинный язык — это искусственный, формальный язык, предназначенный для записи информации, хранящейся в запоминающем устройстве вычислительных машин, для описания программ (алгоритмов), указывающих очередность и последовательность выполнения команд по вводу данных из запоминающего устройства, переработке и преобразованию поступающей в машину информации.
Для поиска информации разрабатываются и широко применяются такие искусственные языки, как информационно-поисковые. Информационно-поисковый язык (ИПЯ) — искусственная знаковая система, предназначенная для описания (путём индексирования) основного смыслового содержания текстов (документов) или их частей, а также для выражения смыслового содержания информационных запросов с целью реализации.
Структура ИПЯ однотипна с формальной структурой информации и предполагает выделение следующих уровней:
- фонетического;
- лексического;
- синтаксического;
- текстового.
Элементы каждого уровня объединяются в синтагмы и парадигмы.
Фонетический уровень — это алфавит (списка элементарных символов). В ИПЯ для этого применяют символы естественного языка: кириллица, латинский алфавит, арабские и римские цифры, знаки пунктуации.
Лексический уровеньили словарный запас — совокупность всех употребляемых в ИПЯ лексических единиц. Лексическая единица — наименьшая осмысленная последовательность знаков, задаваемая при конструировании отдельных слов языка. Лексические единицы и образуют лексику языка.
Вопрос 2. Упорядочение лексических единиц ИПЯ. Для упорядочения лексических единиц ИПЯ служат парадигматические отношения, которые фактически определяют и задают структуру языка.
Парадигматические отношения (аналитические) — это внетекстовые, объективно существующие смысловые отношения между лексическими единицами, которые устанавливаются и фиксируются в словаре языка, исходя из потребностей информационного поиска. Парадигматические отношения учитывают сходство или различие в объеме и содержании лексических единиц (понятий). Отношения делятся на: сильные (логические) и слабые (ассоциативные).
Объем понятия — множество предметов, отображенных в данном понятии. Например, "периодические издания" включает газеты, журналы. Количество предметов, входящих в объем, может быть конечным (части света), бесконечным (число), существуют единичные понятия (Луна).
Содержание понятия — это отраженная в сознании совокупность свойств, присущих каждому предмету, входящему в объем понятия.
К сильным (логическим) парадигматическим отношениям относятся:
· Эквивалентности (равнозначности) — отношения между понятиями, объемы которых совпадают, но в содержании имеются различия. Например, документ печатный — документ опубликованный; документ рукописный — документ неопубликованный.
· Подчинения — отношения между понятиями, когда объем одного или нескольких понятий входит в объем другого. Например, вторичные документы (род) включают аннотации, рефераты (виды).
· Соподчинения — между видовыми понятиями, в равной степени подчиненными одному родовому. Например, книга, брошюра, листовка — виды непериодических изданий.
· Перекрещивания — между понятиями, содержание которых различно, но объемы частично совпадают. Например, студенты и туристы, писатели и ученые.
· Противоположности — между соподчиненными понятиями, которые в своем содержании имеют несовместимые признаки, обуславливающие несовпадение объемов. Например, документы текстовые и документы машиночитаемые.
· Противоречия (контрадикторности) — между двумя соподчиненными понятиями, видовые признаки которых несовместимы, что обуславливает несовпадение объемов этих понятий. Эти понятия исключают друг друга. Например, документы первичные и документы вторичные.
Слабые (ассоциативные) парадигматические отношения выражают связи не между понятиями, а между самими предметами (технологические, причинно-следственные, системно-элементные). При создании ИПЯ целесообразно фиксировать следующие ассоциативные отношения:
· Целое — часть (Справочно-поисковый аппарат и каталоги, картотеки).
· Система — элемент (Архивная отрасль Беларуси и Национальный исторический архив).
· Отношения детерминации: причина — следствие (Старение публикаций и снижение спроса).
· Процесс — оборудование (Ксерокопирование и ксерокс).
· Процесс — материал (Ксерокопирование и бумага).
· Материал — изделие (Древесина и бумага).
· Изделие — процесс изготовления (Документ и документирование).
· Предмет — назначение (Магнитные диски и запись информации).
· Наука — объекты изучения (Информатика и информация).
· Наука — представители (Философия и Сократ).
Парадигматические отношения позволяют объединять лексические единицы ИПЯ в семантические группы — парадигмы, элементы которых обладают свойством взаимозаменяемости.
Кроме парадигматических отношений существуют синтагматические (синтаксические, грамматические, текстуальные) отношения, служащие для установления семантических связей между лексическими единицами. Речь идет о правилах образования и правилах интерпретации ИПЯ. Правила образования устанавливают, какие комбинации элементарных символов допускаются при построении слов и выражений, а правила интерпретации — как надлежит понимать эти слова и выражения.
Средства выражения синтагматических отношений называют грамматикой ИПЯ. ИПЯ должен располагать лексико-грамматическими средствами, необходимыми для выражения основного смыслового содержания любого текста и смысла любого информационного запроса по данной отрасли или предмету, быть недвусмысленным (допускать одно истолкование каждой записи), удобным для алгоритмического сопоставления и отождествления (полного или частичного) записей основного смыслового содержания текстов и смыслового содержания информационных запросов.
Одной из основных характеристик ИПЯ является семантическая сила — возможность передавать полно и точно содержание сообщений.
Вопрос 3. Требования к ИПЯ. При разработке конкретного ИПЯ учитываются:
- специфика отрасли или предмета, для которой этот язык создаётся,
- особенности текстов, образующих поисковый массив,
- характер информационных потребностей, для удовлетворения которых создается язык.
В большинстве ИПЯ основной словарный состав (лексика) задаётся его перечислением и представляет собой фрагмент лексики того или иного естественного языка. Отобранные из естественного языка слова и словосочетания, в совокупности образующие основной словарный состав, служат как бы алфавитом данного ИПЯ. Правила образования в таких языках выполняют функцию синтаксиса. В некоторых ИПЯ основной словарный состав задаётся (полностью или частично) методом порождения, который заключается в том, что для таких ИПЯ правила образования устанавливают, как из данного алфавита строить слова ИПЯ, а из этих слов — выражения (фразы) и какие из них будут правильно построенными. ИПЯ отличается от информационного языка и от машинного. В середине 20 в. в качестве ИПЯ широко применялись библиотечно-библиографические классификации и классификации дескрипторного типа).
Главная отличительная особенность ИПЯ — простота лексики и грамматики по сравнению с теми же элементами естественного языка. Требования, предъявляемые к ИПЯ: однозначность, точность и недвусмысленность семантики (каждая запись ИПЯ должна иметь точно определенное и одно-единственное значение); большая семантическая сила (словарь должен включать все термины, необходимые для индексирования документов и запросов); удобство для пользования; простота и немногочисленность грамматических средств.
ЛЕКЦИЯ 4
КЛАССИФИКАЦИЯ ИНФОРМАЦИОННО-ПОИСКОВЫХ ЯЗЫКОВ
Учебная презентация
Вопросы:
1) Типы и виды ИПЯ.
2) ИПЯ дескрипторного типа.
3) Методика построения и грамматика ИПЯ дескрипторного типа.
Вопрос 1. Типы и виды ИПЯ. В настоящее время существует множество типов и видов ИПЯ. Наиболее распространенными подходами к классификации ИПЯ являются: классификация Ф.Ланкастера, классификация ВИНИТИ, классификация ЛГИК им. Н.К.Крупской. Последняя классификация представляется наиболее логичной. В ее основу положены три видообразующих признака, учитывающих основные структурные элементы языка: лексику, парадигматику и синтагматику. К этим признакам относятся способ задания лексических единиц, способ кодирования (сочетания) лексических единиц и способ учета парадигматических отношений. Принимается во внимание и возможность автоматизированного поиска.
1) По способу задания лексических единиц: контролируемые и неконтролируемые. Контролируемые ИПЯ — языки, лексика которых задается заранее с помощью словарей и таблиц (УДК, ББК). Неконтролируемые ИПЯ — языки, лексика которых не задается словарем, а строится на основе выбора неограниченного множества терминов естественного языка из индексируемых сообщений.
2) По координации лексических единиц (способу записи): некоординируемые и координируемые. Некоординируемые ИПЯ — языки, не допускающие координации своих лексических единиц ни в процессе индексирования, ни в процессе поиска. Координируемые ИПЯ — языки, в которых лексические единицы координируются между собой или в процессе индексирования, или в процессе поиска. Различают Предкоординируемые и посткоординируемые ИПЯ. Предкоординируемые языки устанавливают порядок записи лексических единиц в процессе индексирования по заранее определенным правилам и предусматривается их жесткая последовательность. Как правило, используются в ручном поиске. Посткоординируемые ИПЯ — языки, в которых лексические единицы задаются в процессе индексирования и сочетаются между собой только в процессе поиска.
3) С учетом и без учета парадигматических отношений: иерархические, фасетные и неиерархические. Языки иерархической структуры представляют собой иерархическую классификацию — систему классов, по которым распределяются понятия на основании наиболее существенных признаков, присущих этим понятиям и отличающих их друг от друга. Класс — совокупность объектов, имеющих один или несколько общих содержательных признаков. Недостаток — невозможность организации внеиерархических связей (иерархическая модель данных — невозможность перекрестных запросов).
Пример иерархической классификации:
1. Документы
1.1 Иконические
1.2 Идеографические
1.3 Текстовые
1.3.1 Первичные
1.3.1.1 Неопубликованные
1.3.1. 2 Опубликованные
1.3.2 Вторичные
Языки фасетной структуры представляют собой фасетную классификацию — совокупность фасетов, следующих друг за другом в определенной последовательности. В основе построения такой классификации лежит индуктивный метод, который предполагает исследование отдельных предметов множества, нахождение в них общих существенных признаков и группировку на основе последних терминов, обозначающих эти понятия.
Пример фасетной классификации:
1 Документы по знаковой форме представления информации
1.1 Идеографические
1.2 Иконические
1.3 Текстовые
2 Документы по способу распространения
2.1 Неопубликованные
2.2 Опубликованные
3 Документы по периодичности изданий
3.1 Непериодические
3.2 Периодические
3.3 Продолжающиеся
Языки неиерархической структуры являются продуктом эмпирического подхода к построению ИПЯ. Такой подход предполагает создание языка на основе индексирования реальных текстов. Из содержания документа выбираются ключевые слова, которые преобразуются в лексические единицы ИПЯ (ТАСТ, алфавитно-предметная классификация).
К специальным неиерархическим ИПЯ с учетом сильных и слабых прардигматических отношений относится дескрипторный язык.
Вопрос 2. ИПЯ дескрипторного типа. Дескрипторные ИПЯ — искусственные информационные языки, появившиеся 1950-ых годах. Возможность и необходимость их создания были вызваны рядом объективных причин. В эти годы были разработаны первые механизированные системы поиска информации и предпринята попытка использования ЭВМ для решения разнообразных информационно-поисковых задач. Традиционные языки предкоординатного тиап не соответствовали требованиям механизированного, а в дальнейшем автоматизированного поиска информации. Интенсивный поиск новых семантических средств привел к созданию принципиально новых ИПЯ посткоординатного типа. Основы индексирования данных языков были заложены в работах М.Тауба и К.Муерса за рубежом и В.П.Черенина в СССР.
М.Тауб в 1951 году разработал ИПЯ унитермов, т.е. неформализованных единичных терминов, перечнем которых можно достаточно полно и точно передать содержание документа и запроса. Координация унитермов происходит в момент поиска сообщения после получения запроса. Однако этот язык не отвечал требованию однозначности. И нуждался в совершенствовании. В своем первоначальном виде ИПЯ унитермов не применяются. Зато широко распространился ИПЯ унитермов с искусственной грамматикой, который принято называть дескрипторным.
Понятие о дескрипторе ввел в информатику К.Муерс. (Дескриптор — позднелат. descriptor, от лат. describо — описываю). Он предложил уитывать синонимию в языке унитермов и применять лексикографический контроль за используемыми ключевыми словами, который заключался в их нормализации и полном устранении неоднозначности и многозначности. К.Муерс считал, что для контроля лексики должен составляться специальный дескрипторный словарь
Таким образом, дескрипторный язык — искусственный язык посткоординатного типа, построенный на безе формализованной лексики естественного языка. Для контроля лексики создается информационно-поисковый тезаурус (ИПТ) — контролируемый словарь лексических единиц дескрипторного языка, основанный на лексике одного естественного языка, отображающий семантические отношения между лексическими единицами и предназначенный для организации поиска информации путем индексирования документов и/или запросов. Каждый конкретный ИПЯ отражает систему понятий предметной области знания в виде структурированной совокупности терминов и является результатом серьезной и трудоемкой работы.
Вопрос 3. Методика построения и грамматика ИПЯ дескрипторного типа.Разработка ИПТ осуществляется на основе следующих этапов:
1) Определение тематического профиля ИПТ. Тематический профиль определяется путем анализа информационных потребностей специалистов отрасли.
2) Сбор лексики и формирование словника ключевых слов. Словник — исходный массив терминов, который потом подвергается семантической обработке в процессе дескрипторизации. Массив формируется путем извлечения первичных, а чаще вторичных документов и ключевых слов. Иногда используются справочная литература, опрос специалистов. Основная проблема на этом этапе формулировка ключевых слов. Служебные слова (предлоги, союзы, частицы) следует считать неключевыми; общие термины (метод, способ и т.п.) необходимо употреблять только в сочетании с другими словами, конкретизирующими их значение. Ключевыми словами могут быть словосочетания.
3) Построение словарных статей и формирование лексико-семантического указателя. Осуществляется дескрипторизация ключевых слов (для составления дескрипторного словаря) и установление прадигматических отношений между дескрипторами (для увеличения семантической силы языка). Устраняется неоднозначность ключевых слов путем снабжения соответствующими пояснениями — реляторами (ЗАПИСЬ – процесс, ЗАПИСЬ – предмет) Все слова группируются в классы эквивалентности: Безусловноэквивалентные (ОПУБЛИКОВАННЫЕ ДОКУМЕНТЫ = ПЕЧАТНАЯ ПРОДУКЦИЯ) и условно-эквивалентные (ТЕХНИЧЕСКИЕ СРЕДСТВА=АППАРАТУРА)
После этого производится выбор одного из слов в качестве дескриптора. Таким образом, дескриптор — лексическая единица ИПТ, под которой принято понимать нормализованное слово или словосочетание, выбранное из множества условно-эквивалентных ключевых слов для его обозначения. Свойства дескриптора:
§ Полнота выражения смыслового значения данного класса.
§ Краткость и понятность.
§ Частота встречаемости термина в текстах документов и запросов.
Аскриптор — лексическая единица ИПТ, входящая в класс эквивалентности данного дескриптора, которая при индексировании документов и запросов подлежит замене на дескриптор. Результат дескрипторизации: дескрипторный словарь – алфавитный перечень дескрипторов и аскрипторов. Например:
АРХИВЫ
Архивные службы
Архивные учреждения
Архивные центры
Статьи аскрипторов снабжаются отсылками на заменяющие их дескрипторы. Стандарт предлагает три типа отсылок:
1. Аскриптор – синоним дескриптора:
Первичные издания
см ПЕРВИЧНЫЕ ДОКУМЕНТЫ
2. Аскриптор, заменяемый комбинацией дескрипторов (используй комбинацию):
Русские тексты
исп к РУССКИЙ ЯЗЫК
ТЕКСТЫ
3. Аскрипторы, заменяемые несовместимыми дескрипторами (используй альтернативу):
Текущая информация
исп а СВЕДЕНИЯ
ТЕКУЩЕЕ ИНФОРМИРОВАНИЕ
Далее устанавливаются парадигматические отношения. Данный процесс включает:
§ Логический анализ.
§ Ассоциативный анализ.
§ Прагматический анализ.
Логический анализ – сопоставление объемов понятий, представленных дескрипторами:
ПРИКАЗЫ
вр ОРГАНИЗАЦИОННО_РАСПОРЯДИТЕЛЬНАЯ ДОКУМЕНТАЦИЯ (выше род)
ПРИКАЗЫ
нв ПРИКАЗЫ ПО ЛИЧНОМУ СОСТАВУ (ниже вид)
Ассоциативный анализ – сопоставление признаков предметов, входящих в определенные понятия, представленные дескрипторами.
КАТАЛОГ
вц НАУНО-СПРАВОЧНЫЙ АППАРАТ (выше целое)
АРХИВ
нч ОТДЕЛ (ниже часть)
Прагматический анализ – упорядочение структуры и состава словарной статьи дескриптора. Учитывает: область ИПТ, терминологические особенности отрасли знания
Структура дескрипторной статьи имеет вид:
Д {Мс; Мв; Мн; Ма}
где
Д – заглавный дескриптор;
Мс – множество аскрипторов, входящих в класс эквивалентности дескриптора;
Мв – множество вышестоящих дескрпиторов;
Мн – множество нижестоящих аскрипторов;
Ма – множество ассоциативных дескрпиторов.
Например для дескриптора:
АРХИВЫ
с АРХИВНЫЕ СЛУЖБЫ
АРХИВНЫЕ УЧРЕЖДЕНИЯ
в ИНФОРМАЦИОННЫЕ СЛУЖБЫ
н НАЦИОНАЛЬНЫЙ АРХИВ
РЕГИОНАЛЬНЫЙ АРХИВ
а СИСТЕМА АРХИВНОГО ОБСЛУЖИВАНИЯ
Для аскриптора:
АРХИВНЫЕ СЛУЖБЫ
см АРХИВЫ
4) Разработка вспомогательных указателей. Наиболее распространены три типа указателей: систематический указатель дескрипторов тезауруса, указатель иерархических отношений и пермутационный указатель дескрипторов. Систематический указатель – алфавитный список дескрипторов (тематический, категориальный, смешанный). Указатель иерархических отношений — свод классификационных деревьев. Каждый дескриптор может входить при этом более чем в одно дерево. Пермутационный указатель — перечень списков, каждый их которых соответствует одному из знаменательных слов в составе лексической единицы. Предназначен для поиска лексической единицы по отдельным словам.
5) Оформление ИПТ.
6) Экспертиза и регистрация ИПТ.
Основным способом уменьшения информационного шума является введение в ИПЯ грамматических средств, которые позволяют точно и полно выражать синтагматические отношения. Грамматические средства делятся на:
- фрагментирующие. Для разделения поискового образа на части. К ним относятся указатели связи (буквы, цифры, знаки);
- смыслоразличительные. Для указания смысловой роли различительных слов внутри фрагмента поискового образа. К ним относятся указатели роли.
ЛЕКЦИЯ 5