Тема 4. Правила составления запросов

Что такое запросы к поисковым машинам? Упрощенно говоря это тот текст, который вы должны написать в поле ввода специальной формы на любой поисковой машине.

Предположим, что в поле ввода текста поисковой машины Yandex вы написали фразу [Любовь зла полюбишь и]. Это и есть запрос к поисковой машине. По этому запросу она будет искать документы, в которых встречаются слова, перечисленные в этом запросе. Если говорить о приведенном примере, то будут найдены документы, содержащие следующие слова: любовь, зла, полюбишь. Причем именно слова, а не точную фразу [Любовь зла полюбишь и] как можно было бы предположить. Конечно, среди всех найденных документов будут и те, которые содержат эту фразу, но будет много и других.

Но как быть, если нужны документы именно с такой фразой и больше никакие? Как добиться, чтобы поисковые машины находили документы в наибольшей степени, отвечающие вашим потребностям?

На эти вопросы отвечают правила составления запросов или, иначе говоря, синтаксис запросов. Синтаксис запросов – это набор правил, по которым поисковая машин трактует все, что вы пишите в поле ввода текста. Безусловно, также как в каждом человеческом языке существуют свои правила так же и у каждой поисковой системы свой синтаксис запросов. Сначала рассмотрим некоторые общие правила на примере нескольких поисковых систем: Yandex, AltaVista, Google, Aport, затем более подробно одну из них – Yandex.

Как поисковые машины трактуют слова в запросе?

Все эти пять машин ищут документы, содержащие все слова, которые вы определили в запросе. Но Yandex и AltaVista также находят документы, содержащие часть слов или даже одно слово из запроса. Правда документы, содержащие не все слова, размещаются в конце списка результатов, а в начале списка те, в которых есть все слова.

Yandex и Aport ищут документы, в которых слова запроса встречаются в любой словоформе. Например, по запросу [Любовь зла полюбишь и] будут найдены документы со словами: любви, любовью и т.п. Если нужно найти слово в определенной форме и только в этой, то перед словом (в запросе) нужно поставить знак ! Например: [!Любовь !зла полюбишь и].

Все описываемые машины игнорируют союзы, предлоги и т.п. слова. Например по запросу [Любовь и голуби] союз И будет проигнорирован.

Как поисковые машины трактуют

некоторые специальные символы в запросе?

Кавычки «…»

Если группа слов ограничена кавычками ([«Любовь зла полюбишь и»]), то:

Yandex и AltaVista будут искать точно такую же фразу, в тех же словоформах;

Aport будет искать эту фразу, но также и близкую к ней (с другими союзами, с другими словоформами).

Знак +.

Yandex, AltaVista и Aport трактуют этот знак перед словом как указание на необходимость поиска этого слова. Google в принципе действует также, но по замыслу его разработчиков знак + должен использоваться для включения в запрос союзов предлогов и т.п. (которые по умолчанию игнорируются). Пример использования: [«+Любовь зла +полюбишь и»].

Знак -

Имеет обратное действие (исключает слово из результатов поиска). Google не поддерживает этот знак. Пример использования: [«+Любовь -зла +полюбишь и»].

Знак |

Указывает на необходимость выбора одного из двух вариантов. Запрос [любовь | ненависть] означает «или любовь или ненависть». Google не поддерживает этот знак.

Скобки (…)

Отделяют одну часть запроса от другой. Например, запрос [(любовь | ненависть) +чувство] в переводе на «русский» звучит как «найти документы со словами чувство и одно из двух: ненависть или любовь».

Теперь более подробно остановимся на поисковой машине Yandex.

Поисковая машина Yandex?

Яндекс – поисковая машина, способная по вашему запросу найти наиболее подходящие Web-страницы в русской части сети Интернет. Яндекс ежедневно просматривает сотни тысяч Web-страниц в поисках изменений или новых ссылок. Коллекция ссылок постоянно растет.

Яндекс не требует от вас знания специальных команд для поиска. Достаточно набрать вопрос («где найти дешевые компьютеры» или «нужны телефоны Москвы и московской области»), и вы получите результат – список страниц, где встречаются эти слова.

Независимо от того, в какой форме вы употребили слово в запросе, поиск учитывает все его формы по правилам русского языка. Например, если задан запрос идти, то в результате поиска будут найдены ссылки на документы, содержащие слова идти, идет, шел, шла и т.д. На запрос окно будет выдана информация, содержащая и слово окон, а на запрос отзывали – документы, содержащие слово отозвали.

При этом поиск не ограничен лишь словами или фразами. Яндекс отыщет всех, кто сослался на вашу страницу, файлы с нужной картинкой, последние новости или товары в электронных магазинах.

Как известно, в хорошем вопросе содержится половина ответа. Мы считаем, что искать и находить нужное в ворохе текстов в сети Интернет – умение не только поисковой системы, но и пользователя, задающего запрос.

Варианты поиска

Тонкий поиск

Яндекс обладает развитым языком запросов, позволяющим осуществлять тонкий поиск. Для того чтобы воспользоваться широким спектром возможностей, используйте страницу «расширенный поиск», где большая часть настроек Яндекса задается простым образом. Обратите внимание, что, при заполнении нескольких полей, запрос будут составлен таким образом, чтобы все условия выполнялись одновременно (через документное «И» – &&). Если вас интересуют операторы языка запросов, обратитесь к странице формального описания.

Расширенный поиск

В этом виде поиска указываются дополнительные условия в специальных полях страницы «расширенный поиск» (подробнее см. в ссылке на первой странице поисковой машины Yandex.ru).

Словарный фильтр

Здесь вы можете указать, какие слова обязательно должны встретиться в документе, каких быть не должно, а какие желательны (то есть могут быть, а могут не быть). Поле «все формы» или «точная форма» указывает Яндексу, надо ли учитывать при запросе все словоформы. «Точная форма» обычно требуется только для поиска цитат.       

Зоной поиска слова может быть как текст документа (слова находятся в одном предложении или всем документе), так и его заголовок, аннотация (тэг description), ссылка (подпись URL) или адрес (сам URL). Вариант «во фразе» означает необходимость искать слова в том порядке, в котором они введены. Вы можете задать несколько слов через запятую.

Дата

Ограничение выдачи документов по дате. Документы с неизвестной датой в этот список не включаются.

Сайт/вершина

Запрос идет только по страницам указанного сайта или поддиректории (вершины) сайта. Поиск будет проведен среди всех поддиректорий. Здесь же (в соседнем поле) вы можете исключить из поиска страницы определенного сайта. Вы можете внести несколько адресов, перечислив их через пробел.

Таким образом, вы можете сделать поиск по своему личному сайту через Яндекс – то есть ограничить поиск только вашим сайтом.

Ссылка

Как узнать, кто ссылается на ваш ресурс? Введите в этом поле адрес вашей страницы, и вы это узнаете. Если адрес вашего сайта начинается с www, то впишите его целиком, включая www. Здесь же вы можете исключить из поиска страницы, где стоит ссылка на определенный адрес.

На основе этой возможности рассчитывается индекс цитируемости. Чтобы исключить все внутренние ссылки (то есть с одних страниц вашего ресурса на другие его страницы), используйте поле сайт/вершина и исключите ресурс из поиска ссылок.

Изображение

Поиск документов, содержащих картинку с определенным названием или подписью. Файл картинки может называться, например, applegreen.jpg. Тогда найти такие файлы можно запросом: apple. Запрос аналогичен apple*.*. Для поиска в подписи к изображению (тэг alt) впишите запрос в соседнее поле.

Специальные объекты

Поиск страницы, содержащих файлы объектов: скрипт, объект, апплет, java. В поле указывается имя объекта.

Язык

Яндекс умеет определять язык документа. Вы можете задать язык документа, где надо провести поиск: русский (кириллица) или не русский. В базе Яндекса находятся только документы русскоязычного Интернета (по умолчанию в поисковую машину вносятся сервера в доменах su, ru, am, az, by, ge, kg, kz, md, tj, ua, uz), а также зарубежные сайты, представляющие интерес для русскоязычного поиска.

Формат выдачи

«Краткая выдача» показывает только список заголовков документов. «Только URL» – только адреса найденных страниц.

Общие советы при поиске

Вы не хотите углубляться в детали техники поиска? Просто задайте Яндексу вопрос так же, как бы вы его задали библиотекарю или всезнайке-эрудиту. Например, «где раки зимуют», «ярчайшая звезда северного полушария» или «как выбрать компьютер».

Советы по поиску в Яндексе

Проверяйте орфографию

Если поиск не нашел ни одного документа, то вы, возможно, допустили орфографическую ошибку в написании слова. Проверьте правильность написания. Если вы использовали при поиске несколько слов, то посмотрите на количество каждого из слов в найденных документах (перед их списком после фразы «Результат поиска»). Какое-то из слов не встречается ни разу? Скорее всего, его вы и написали неверно.

Используйте синонимы

Если список найденных страниц слишком мал или не содержит полезных страниц, попробуйте изменить слово. Например, вместо «рефераты» возможно больше подойдет «курсовые работы» или «сочинения». Попробуйте задать для поиска три-четыре слова-синонима сразу. Для этого перечислите их через вертикальную черту (|). Тогда будут найдены страницы, где встречается хотя бы одно из них. Например, вместо «фотографии» попробуйте «фотографии | фото | фотоснимки».

Ищите больше, чем по одному слову

Слово «психология» или «продукты» дадут при поиске поодиночке большое число бессмысленных ссылок. Добавьте одно или два ключевых слова, связанных с искомой темой. Например, «психология Юнга» или «продажа и покупка продовольствия». Рекомендуем также сужать область вашего вопроса. Если вы интересуетесь автомобилями ГАЗа, то запросы «автомобиль Волга» или «автомобиль ГАЗ» выдадут более подходящие документы, чем «легковые автомобили».

Не пишите большими буквами

Начиная слово с большой буквы, вы не найдете слов, написанных с маленькой буквы, если это слово не первое в предложении. Поэтому не набирайте обычные слова с Большой Буквы, даже если с них начинается ваш вопрос Яндексу. Заглавные буквы в запросе рекомендуется использовать только в именах собственных. Например, «группа Черный кофе», «телепередача Здоровье».

Найти похожие документы

Если один из найденных документов ближе к искомой теме, чем остальные, нажмите на ссылку «найти похожие документы». Ссылка расположена под краткими описаниями найденных документов. Яndex проанализирует страницу и найдет документы, похожие на тот, что вы указали. Но если эта страница была стерта с сервера, а Яндекс еще не успел удалить ее из базы, то вы получите сообщение «Запрошенный документ не найден».

Используйте знаки «+» и «-»

Чтобы исключить документы, где встречается определенное слово, поставьте перед ним знак минуса. И наоборот, чтобы определенное слово обязательно присутствовало в документе, поставьте перед ним плюс. Обратите внимание, что между словом и знаком плюс-минус не должно быть пробела. Например, если вам нужно описание Парижа, а не предложения многочисленных турагентств, имеет смысл задать такой запрос «путеводитель по парижу -агентство –тур». Плюс стоит использовать в том случае, когда нужно найти так называемые стоп-слова (наиболее частотные слова русского языка, в основном это местоимения, предлоги, частицы). Чтобы найти цитату из Гамлета, надо задать запрос «+быть или +не быть».

Попробуйте использовать язык запросов

С помощью специальных знаков вы сможете сделать запрос более точным. Например, укажите, каких слов не должно быть в документе, или что два слова должны идти подряд, а не просто оба встречаться в документе.

Искать без морфологии

Вы можете указать Яндексу не перебирать все словоформы слов из запроса при поиске. Например, !лукоморья найдет только страницы, цитирующие строчку из стихотворения Пушкина («У лукоморья дуб зеленый»).

Поиск картинок и фотографий

Яндекс умеет искать не только в тексте документа, но и отыскивать картинки по названию файла или подписи. Для этого на первой странице yandex.ru нажмите ссылку «расширенный поиск». Для поиска картинки предусмотрены два поля. В поле «Название картинки» вписываются слова для поиска по названиям картинок, обычно появляющихся, когда к картинке подводится курсор. Например, название картинки «Венера» выдаст все страницы с картинками Венеры (всего, что можно понимать под этим словом). В поле «Подпись к картинке» вписывается название файла, содержащего картинку. Например, запрос dog найдет в сети Интернет все картинки, в имени файла которых встречается слово «dog». С большой вероятностью эти картинки связаны с собаками.

Детальное описание языка запросов

Как трактуются слова

Независимо от того, в какой форме вы употребили слово в запросе, поиск учитывает все его формы по правилам русского языка.

Например, если задан запрос 'идти', то в результате поиска будут найдены ссылки на документы, содержащие слова 'идти', 'идет', 'шел', 'шла' и т.д. На запрос 'окно' будет выдана информация, содержащая и слово 'окон', а на запрос 'отзывали' - документы, содержащие слово 'отозвали'.

Если вы набрали в запросе слово с большой буквы, будут найдены только слова с большой буквы (если это слово не первое в предложении), в противном случае будут найдены как слова с большой, так и с маленькой буквы.

Например, запрос 'орел' найдет и птицу, и город. Запрос 'Орел' - город и те случаи упоминания птицы, когда она написана с большой буквы.

По умолчанию поиск учитывает все формы заданного слова согласно правилам русского языка. Однако существует возможность поиска по точной словоформе, для этого перед словоформой надо поставить восклицательный знак '!'.

Так по запросу '!Лужкову' будут найдены все документы, содержащие словоформу 'Лужкову', а по запросу 'Лужков ~~ !Лужкову' - документы, в которых упоминается Лужков, кроме тех, которые были найдены по первому запросу.

ЗАДАНИЕ 24. Проверьте справедливость указанных правил по трактовке слов в поисковых машинах Yandex, Rambler, Google, Aport

Естественно-языковый поиск

Знаки «+» и «-». Если вы хотите, чтобы слова из запроса обязательно были найдены, поставьте перед каждым из них «+». Если вы хотите исключить какие-либо слова из результата поиска, поставьте перед каждым из них «-».

Например, запрос «частные объявления продажа велосипедов», выдаст много ссылок на сайты с разнообразными частными объявлениями. А запрос с «+» «частные объявления продажа +велосипедов» покажет объявления о продаже именно велосипедов.  

Если вам нужно описание Парижа, а не предложения многочисленных турагентств, имеет смысл задать такой запрос «путеводитель по парижу -агентство –тур».'

Обратите внимание на знак «-». Это именно минус, а не тире и не дефис. Знак «-» надо писать через пробел от предыдущего и слитно с последующим словом, вот так: «рак –гороскоп». Если написать «рак-гороскоп» или «рак – гороскоп», то знак «-» будет проигнорирован.

ЗАДАНИЕ 25. Проверьте справедливость указанных выше правил по естественно-языковому поиску в поисковых машинах Yandex, Rambler, Google, Aport

Основные операторы

Несколько набранных в запросе слов, разделенных пробелами, означают, что все они должны входить в одно предложение искомого документа. Тот же самый эффект произведет употребление символа '&'.

Например, при запросе 'лечебная физкультура' или 'лечебная & физкультура'), результатом поиска будет список документов, в которых в одном предложении содержатся и слово 'лечебная', и слово 'физкультура'. (Эквивалентно запросу '+лечебная +физкультура')

Между словами можно поставить знак '|', чтобы найти документы, содержащие любое из этих слов. (Удобно при поиске синонимов).

Запрос вида 'фото | фотография | фотоснимок | снимок | фотоизображение' задает поиск документов, содержащих хотя бы одно из перечисленных слов.

Еще один знак, тильда '~', позволит найти документы с предложением, содержащим первое слово, но не содержащим второе.

По запросу 'банки ~ закон' будут найдены все документы, содержащие слово 'банки', рядом с которым (в пределах предложения) нет слова 'закон'.

Чтобы подняться на ступеньку выше, от уровня предложения до уровня документа, просто удвойте соответствующий знак. Одинарный оператор (&, ~) ищет в пределах предложения, двойной (&&, ~~) - в пределах документа.

Например, по запросу 'рецепты && (плавленый сыр)' будут найдены документы, в которых есть и слово 'рецепты' и словосочетание '(плавленый сыр)' (причем '(плавленый сыр)' должен быть в одном предложении. А запрос 'руководство Visual C ~~ цена' выдаст все документы со словами 'руководство Visual C', но без слова 'цена'

ЗАДАНИЕ 26. Проверьте справедливость указанных выше правил по использованию основных операторов в поисковых машинах Yandex, Rambler, Google, Aport

Поиск с расстоянием

Часто в запросах ищут устойчивые словосочетания. Если поставить их в кавычки, то будут найдены те документы, в которых эти слова идут строго подряд.

Например, по запросу «красная шапочка» будут найдены документы с это фразой. (При этом контекст «а шапочка у нее была красная» найден не будет.)

Как Яndex адресует слова? Если все слова в тексте перенумеровать по порядку их следования, то расстояние между словами a и b - это разница между номерами слов a и b. Таким образом, расстояние между соседними словами равно 1 (а не 0), а расстояние между соседними словами, стоящими «не в том порядке», равно -1. То же самое относится и к предложениям.

Если между двумя словами поставлен знак '/', за которым сразу напечатано число, значит, требуется, чтобы расстояние между ними не превышало этого числа слов.

Например, задав запрос 'поставщики /2 кофе', вы требуете найти документы, в которых содержатся и слово 'поставщики' и слово 'кофе', причем расстояние между ними должно быть не более двух слов и они должны находиться в одном предложении. (Найдутся "поставщики колумбийского кофе", "поставщики кофе из Колумбии" и т.д.)

Если порядок слов и расстояние точно известны, можно воспользоваться пунктуацией '/+n'. Так, например, задается поиск слов, стоящих подряд.

Запрос 'синяя /+1 борода' означает, что слово 'борода' должно следовать непосредственно за словом 'синяя'. (К тому же результату приведет запрос "синяя борода")

В общем виде ограничение по расстоянию задается при помощи пунктуации вида '/(n m)', где 'n' минимальное, а 'm' максимально допустимое расстояние. Отсюда следует, что запись '/n' эквивалентна '/(-n +n)', а запись '/+n' эквивалентна '/(+n +n)'.

Запрос 'музыкальное /(-2 4) образование' означает, что 'музыкальное' должна находиться от 'образование' в интервале расстояний от 2 слов слева до 4 слов справа

Практически все знаки можно комбинировать с ограничением расстояния.

Например, результатом поиска по запросу 'вакансии ~ /+1 студентов' будут документы, содержащие слово 'вакансии', причем в этих документах слово 'студентов' не следует непосредственно за словом 'вакансии'.

Когда знаки ограничения по расстоянию стоят после двойных операторов, то употребленные там числа - это расстояние не в словах, а в предложениях. Расстояние в абзацах определяется аналогично расстоянию в словах.

Запрос 'банк && /1 налоги' означает, что слово 'налоги' должно находиться в том же самом, либо в соседнем со словом 'банк' предложении.

ЗАДАНИЕ 27. Проверьте справедливость указанных выше правил по поиску с расстоянием в поисковых системах Yandex, Rambler, Google, Aport

Скобки

Вместо одного слова в запросе можно подставить целое выражение. Для этого его надо взять в скобки.

Например, запрос '(история, технология, изготовление) /+1 (сыра, творога)' задает поиск документов, которые содержат любую из фраз 'история сыра', 'технология творога', 'изготовление сыра', 'история творога'.

ЗАДАНИЕ 28. Проверьте справедливость указанных выше правил по использованию в запросе скобок в поисковых системах Yandex, Rambler, Google, Aport

Поиск в зонах

Можно искать информацию в «зонах» - заголовках (имя «зоны»: Title), ссылках (имя «зоны»: Anchor) и адресе (имя «зоны»: Address).        

Синтаксис: $имя_зоны (поисковое выражение).

Запрос '$title CompTek' ищет в заголовках документов слово 'CompTek'.

Запрос '$anchor (CompTek | Dialogic)' находит документы, в cсылках внутри которых есть одно из слов 'CompTek' или 'Dialogic'.

Поиск в определенных элементах

Можно ограничить поиск информации списком серверов или наоборот исключить сервера из поиска (url). Можно также искать документы, содержащие ссылки на определенные URL (link), и файлы картинок (image). Если вы хотите работать не с конкретным URL (image), а со всеми, начинающимися с данной последовательности символов, используйте "*".   

Синтаксис: #имя_элемента=«имя_файла (URL)».

По запросу 'CompTek ~~ #url=«www.comptek.ru*»' будут искаться упоминания компании 'CompTek' везде, кроме ее собственного сервера (www.comptek.ru). А запрос '#link=«www.comptek.ru*»' покажет все документы, которые сослались на сервер компании.          

Запрос ' #image=«tort*»' даст ссылки на документы с изображениями тортов (хотя, возможно, найдется и портрет черепахи Тортиллы).

Можно также искать по ключевым словам (keywords), аннотациям (abstract) и подписям под изображениями (hint).         

Синтаксис: #имя_элемента=(поисковое выражение).

Запросу '#keywords=(поисковая система) | #abstract=(поисковая система)' будут искаться все страницы, в meta тегах которых есть эти слова.   

По запросу '#hint=(кино)' будут найдены документы, содержащие изображение с такой подписью.

Ранжирование результата поиска

При поиске для каждого найденного документа Яндекс вычисляет величину релевантности (соответствия) содержания этого документа поисковому запросу. Список найденных документов перед выдачей пользователю сортируется по этой величине в порядке убывания. Релевантность документа зависит от ряда факторов, в том числе от частотных характеристик искомых слов, веса слова или выражения, близости искомых слов в тексте документа друг к другу и т.д.

Пользователь может повлиять на порядок сортировки, используя операторы веса и уточнения запроса.

Задание веса слова или выражения применяется для того, чтобы увеличить релевантность документов, cодержащих «взвешенное» выражение.  

Синтаксис: слово:число или (поисковое_выражение):число

По запросу 'поисковые механизмы:5' будут найдены те же документы, что и по запросу 'поисковые механизмы'. Разница состоит в том, что наверху списка найденного окажутся документы, где чаще встречается именно слово 'механизмы'. 

Запрос 'поисковые (механизмы | машины | аппараты):5 ' равнозначен запросу 'поисковые (механизмы:5 | машины:5 | аппараты:5)'.

Задание уточняющего слова или выражения применяется для того, чтобы увеличить релевантность документов, содержащих уточняющее выражение.

Синтаксис: <- слово или <- (уточняющее_выражение)

По запросу 'компьютер <- телефон' будут найдены все документы, содержащие слово 'компьютер', при этом первыми будут выданы документы, содержащие слово 'телефон'.     

Если ни в одном документе со словом 'компьютер' нет слова 'телефон', результат запроса будет эквивалентен запросу 'компьютер'.

ЗАДАНИЕ 29. Проверьте справедливость указанных выше правил по ранжированию результатов поиска в поисковых системах Yandex, Rambler, Google, Aport

Синтаксис языка запросов (строгий поиск)