Собственно рассматривать мы будем парсинг автокомплитов

В одной из мартовских статей, гражданин Bobboy уже раскрывал тему парсинга актуальных кейвордов, сегодня мне хочется несколько «расширить и углубить» начатую им тему, представив некоторые дополнительные хитрости, появившиеся в последнее время.

Собственно рассматривать мы будемпарсинг автокомплитов, которые в данный момент есть у всех уважающих себя поисковых систем. Кейворды там качественные, а парсинг не представляет собой большой проблемы, благо, капчу туда встроить поисковики не могут, да и банить довольно затруднительно, т.к. запросов к автокомплиту, как правило, чудовищное количество, поэтому встроить туда какую-то сложную программную логику весьма затруднительно. Лично я, когда парсил кеи для собственных нужд, с баном не столкнулся ни разу, но с другой стороны, объемы у меня были не шибко большие, поэтому гарантий тут никто не даст, в любом случае, использование даже небольшого количества рабочих проксей, позволит вообще забыть о всякой тревоге.

В большинстве случаев, автокомплит реализуется с использованием подгружаемого JS-кода, который непосредственно и выполнятеся в браузере, заполняя выпадающее окошко переданными прямо в коде данными, а сами данные представлены в популярном ныне JSON, иногда встречаются исключения, но парсить всё равно труда не составляет. Кстати, изучать устройство и функционирование автокомплитов удобнее всего используя популярнейший FF-плагин Firebug.

Рассмотрим немного способы парсинга. Можно использовать стандартный способ, когда каждое из полученных ключевых слов снова вбивается в запрос и в итоге получается древовидная структура всех связанных кеев. Но на самом деле, при таком подходе не получится извлечь всю макотку, спрятанную в недрах ПС. Это легко заметить, если, к примеру, вбить в поисковую строку слово «viagra», а потом дописать слева пробел.

Как видим, появилось ещё 5 дополнительных кеев, но это только пробел, попробуйте слева от пробела дописать ещё букву «a» и получите ещё десяток новых. Тоже самое будет и при дописывании букв с правой стороны. Комбинируя таким образом вводимые буквы, можно извлекать все связанные с начальной фразой кейворды, с которыми в дальнейшем можно проделать аналогичную операцию, увеличив количество получаемых слов во много раз.

Чтобы не затягивать слишком парсинг, я бы рекомендовал ограничиваться единичными вхождениями каждой из букв алфавита с каждой стороны, но вы, конечно, вольны поступать так, как посчитаете нужным. Главное не забывайте, что не гуглом единым жив дорвейщик, есть и другие поисковики, ну а чтобы чуток облегчить вам труд, вот вам небольшой список рабочих автокомплит-сервисов:

http://ss.ask.com/query?q={KEYWORD}
http://suggest.infospace.com/QuerySuggest/SuggestServlet?prefix={KEYWORD}
http://www.exalead.com/search/web/suggest/?q={KEYWORD}
http://www.cuil.com/suggest?q={KEYWORD}
http://api.bing.com/qson.aspx?JsonCallback=sa_inst.setData&JsonType=callback&market=en-US&query={KEYWORD}
http://autocompletech.search.aol.com/autocomplete/get?it=comsearch40t&q={KEYWORD}
http://sugg.uk.search.yahoo.net/gossip-uk-sayt?command={KEYWORD}
http://sugg.ca.search.yahoo.com/gossip-ca-sayt?command={KEYWORD}
http://sugg.fr.search.yahoo.com/gossip-fr-sayt?command={KEYWORD}
http://sugg.de.search.yahoo.com/gossip-de-sayt?command={KEYWORD}
http://sugg.uk.search.yahoo.com/gossip-uk-sayt?command={KEYWORD}
http://sugg.es.search.yahoo.com/gossip-es-sayt?command={KEYWORD}
http://sugg.in.search.yahoo.com/gossip-in/?command={KEYWORD}
http://sugg.mx.search.yahoo.com/gossip-mx-sayt?command={KEYWORD}
http://sugg.ar.search.yahoo.net/gossip-ar?command={KEYWORD}
http://sugg.sg.search.yahoo.com/gossip-sg-sayt?command={KEYWORD}
http://sugg.id.search.yahoo.com/gossip-id-sayt?command={KEYWORD}
http://sugg.de.search.yahoo.net/gossip-de-sayt?command={KEYWORD}
http://sugg.qc.search.yahoo.com/gossip-qc-sayt?command={KEYWORD}
http://sugg.ph.search.yahoo.com/gossip-ph-sayt?command={KEYWORD}
http://br-sayt.ff.search.yahoo.com/gossip-br/?command={KEYWORD}
http://th-sayt.ff.search.yahoo.com/gossip-th-sayt?command={KEYWORD}
http://vn-sayt.ff.search.yahoo.com/gossip-vn-sayt?command={KEYWORD}
http://aue-sayt.ff.search.yahoo.com/gossip-nz-sayt?command={KEYWORD}
http://au-sayt.ff.search.g1.b.yahoo.com/gossip-au-sayt?command={KEYWORD}
http://sugg-uh.us.search.yahoo.com/uhsa?p={KEYWORD}
http://sugg.search.yahoo.com/gossip-us-fp/?command={KEYWORD}
http://gossip.espanol.yahoo.com/gossip-e1-sayt?command={KEYWORD}
http://news.google.com/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://suggestqueries.google.com/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://clients1.google.com/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://clients2.google.com/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://clients3.google.com/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://clients4.google.com/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://clients5.google.com/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ad/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ae/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.af/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.ag/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.ai/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.am/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.it.ao/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.ar/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.as/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.at/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.au/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.az/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ba/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.bd/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.be/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.bf/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.bg/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.bh/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.bi/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.bj/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.bn/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.bo/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.br/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.bs/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.bw/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.by/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.bz/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ca/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.cd/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.cf/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.cg/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ch/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ci/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.ck/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.cl/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.cm/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.cn/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.co/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.cr/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.cu/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.cz/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.de/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.dj/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.dk/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.dm/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.do/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.dz/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.ec/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ee/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.eg/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.es/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.et/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.fi/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.fj/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.fm/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.fr/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ga/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ge/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.gg/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.gh/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.gi/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.gl/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.gm/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.gp/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.gr/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.gt/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.gy/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.hk/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.hn/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.hr/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ht/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.hu/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.id/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ie/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.il/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.im/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.in/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.is/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.it/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.je/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.jm/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.jo/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.jp/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.ke/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.kh/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ki/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.kg/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.kr/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.kw/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.kz/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.la/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.lb/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.li/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.lk/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.ls/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.lt/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.lu/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.lv/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.ly/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.ma/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.md/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.me/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.mg/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.mk/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ml/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.mn/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ms/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.mt/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.mu/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.mv/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.mw/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.mx/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.my/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.mz/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.na/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.nf/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.ng/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.ni/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ne/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.nl/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.no/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.np/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.nr/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.nu/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.nz/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.om/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.pa/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.pe/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.ph/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.pk/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.pl/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.pn/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.pr/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ps/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.pt/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.py/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.qa/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ro/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ru/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.rw/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.sa/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.sb/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.sc/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.se/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.sg/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.sh/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.si/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.sk/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.sl/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.sn/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.sm/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.st/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.sv/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.td/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.tg/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.th/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.tj/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.tk/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.tl/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.tm/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.to/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.tr/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.tt/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.tw/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.tz/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.ua/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.ug/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.uk/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.uy/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.uz/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.vc/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.ve/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.vg/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.vi/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.com.vn/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.vu/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.ws/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.rs/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.za/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.zm/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}
http://www.google.co.zw/complete/search?hl=en&gl=us&client=serp&q={KEYWORD}

Как говорится, юзайте с умом, господа хорошие. 

Поехали дальше, есть с автокомплитами ещё одна интересная возможность, на которую тоже стоит обратить внимание. Не так давно гугл запустил возможность включать автокомплит для кастомных поисковиков. Найти данную опцию можно в базовых настройках вашей поисковой машины, в самом низу страницы.

У себя в блоге разработчики написали, что автокомплит работает только для поисковиков ограниченных указанными в настройках сайтами, а это нам и нужно. Начальная генерация подстановок может занять очень долгое время, в зависимости от количества ресурсов по которым производится поиск, от нескольких часов, до нескольких суток. Судя по всему гугл анализирует указанные для индексации сайты и на основании собственной базы кейвордов производит генерацию необходимых подстановок. Таким образом мы получаем возможность натырить множество ценнейших ключевиков, релевантных представленной на сайтах информации.

Подобные кастомные поиски можно как создавать самостоятельно, так и искать в гугле, хотя пока что их (со включенным автокомплитом) немного. Замечательность этой всей фишки состоит в том, что в основном в автокомплите гугль показывает только самые популярные кейворды, а до действительно ценных НЧ добраться непросто, т.к. они могут быть очень специфичными. А используя данную схему, можно просто вбивая буквы алфавита найти очень интересные и не очевидные кеи, по которым конкуренты имеют продажи.

В случае кастомного поисковика, при запросе к автокомплиту присутствуют некоторые дополнительные параметры, в частности «partnerid=» и «ds=cse», которые обязательно нужно сохранить при парсинге, иначе обращения пойдут к основному поиску гугла и напарсите вы совсем не того, что хотели. Так же обратите внимание, что кстомный поиск можно очень гибко настраивать, ограничивая его только определенными разделями сайтов, используя маски урлов, это так же может быть очень полезно, если вдруг сайт очень большой.

В целом, нужно отметить, что кастомные поисковики пока ещё только начали своё развитие, но уже сейчас там есть с чем поработать, поэтому настоятельно рекомендую следить за их развитием, дабы не пропустить чего-то полезного.

Пока это всё, что я хотел сказать, как видите все технические подробности реализации парсеров я опустил, дабы не делать статью слишком скучной, думаю с этим вы справитесь и сами.