Клоакинг с помощью TDS

Клоакинг у успешных вебмастеров, работающих с пирогами (я-то, как вы знаете, таким совсем не занимаюсь), всегда был в моде. Вебмастера собирают айпишники ботов из всевозможных источников, ставят на них засады и особо ленивые даже покупают. Зачем? Все уже придумано до нас.

Любая более-менее человеческая TDS, не написанная на коленке, имеет систему фильтрации ботов. Разработчик, если он не ленивый расшиздяй, заботливо обновляет списки ip поисковых ботов. Мне повезло – я юзаю Keitaro, где с этим дела обстоят просто чудесно. На ней и будем делать клоакинг.

Создаем в Кейтаро новую группу

Ботам будем показывать текст “y”, остальным “n”.

Так как клоакинг будет на php, запрос проверки будет дергаться file_get_contents. То есть, айпи и юзерагент будут сервера, с которого будет идти запрос, а нам нужны данные трафика. Поэтому дергать TDS мы будем через задний ход. В Кейтаро есть удобный API, через который мы и будем проверять на бот/человек, передавая ему айпи и юзерагент.

Запрос к API выглядит так:

1	http://TDS/api.php?action=get_link&api_key=API_KEY&group=botcheck&ip=IP&ua=USER_AGENT

 botcheck – это идентификатор нашей группы, остальное, думаю, понятно. API_KEY генерим в настройках. TDS любезно ответит нам в формате json:

1	{"stream":{"id":0,"group_id":"12","url":"n"},"redirect":{"type":"echo","headers":[],"content":"n"}}

если вы человек. И:

1	{"bot_action":{"text":"y"}}

если вы бот.

Нам надо всего лишь распарсить json ответ и выдать текст в зависимости от него.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

<?php $ua = $_SERVER['HTTP_USER_AGENT']; $ua = urlencode($ua); $ip = $_SERVER['REMOTE_ADDR']; $api = 'http://tds.com/api.php?'; //урл апи тдс $apikey = 'API_KEY'; //апи ключ $churl = "{$api}action=get_link&api_key=$apikey&group=botcheck&ua=$ua&ip=$ip"; $check = file_get_contents($churl); $json = json_decode($check);   if ($json->{'bot_action'}->{'text'} == 'y') { показываем текст для бота } else { показываем текст для людей } ?>

1. lime:

   13.11.2014 в 15:24

   Хотя еще проще тупо проверить наличие bot_action в $check: preg_match(‘#bot_action#’, $check);
   Но json может пригодиться на какой-нибудь хитровыдуманный случай.

   Ответить
   • Sergey:

     13.11.2014 в 18:52

     покажи пример, а то json на фрихосте не хочет работать

     Ответить
     • lime:

       13.11.2014 в 19:00

       Вместо if ($json->{‘bot_action’}->{‘text’} == ‘y’)
       if (preg_match(‘#bot_action#’, $check))
       а $json = json_decode($check); удаляешь за ненадобностью

       Ответить
2. Sergey:

   13.11.2014 в 20:38

   пишет unexpected } на линии 10

   Ответить
   • Sergey:

     13.11.2014 в 20:39

     тут в примере это 13 линия

     Ответить
     • lime:

       13.11.2014 в 20:41

       Ну так ты фигурную открывающую скобку поставь
       if (preg_match(‘#bot_action#’, $check)) { < —
       Ответить

• Sergey:

  13.11.2014 в 20:50

  спасиб

  Ответить

wonder:

14.11.2014 в 01:29

Идея здравая, но минус такой методы в том, что более менее нормальная база сайтов будет класть сервак с ТДС от постоянных запросов на проверку.

Ответить

• lime:

  14.11.2014 в 02:11

  Понятное дело, что нужно использовать серьезную тдс, рассчитанную под хайлоад. Redis, memcached, а не тупо php+MySQL.

  Ответить

boobs:

14.11.2014 в 03:54

серьезная тдс – keitaro? или другое ченить?
а то у меня тоже сразу подозрения, что если есть траф – то так можно и сервачок положить.

Ответить

• lime:

  14.11.2014 в 05:41

  Кейтаро умеет redis и memcached. У меня легко держит 3 ляма хитов, не нагружая сильно сервер. Есть еще boss tds, которая заточена под хайлоад.

  Ответить

Hollywood:

18.11.2014 в 16:15

Привет! Спасибо, что делишся своими наработками. Реально полезно.
Интересует такой момент, если не сложно помоги. Почти всегда важно передать кейворд на тдс, а с тдс на партнерку. Но с последними замутами гугла, 90% кеев не передается гуглом. Как на php реализовать передачу ключевика на тдс, а если его нет, то тайтла страницы?

Ответить

• lime:

  18.11.2014 в 16:45

  С https гугла уже никак. А с дора на тдс легко, просто передай его в параметре.
  Кей надо при генерации дора с урлом передавать
  С дора: tds.com/?scheme&key=$keyword
  Если кея нет, а хочешь на готовую страницу вставить, то можно тайтл джаваскриптом пульнуть
  window.location.href = ‘http://tds.com/?scheme&key=’+document.title;
  С тдс на партнерку: partnerka.com/?q=$key

  Ответить
  • Hollywood:

    18.11.2014 в 17:27

    Вот в том и проблема, что клоака(редирект) на php, а тайтл текущей страницы, нак оторую пришел юзер, никак не вытянуть и не отправить средствами php

    Ответить
    • lime:

      18.11.2014 в 17:32

      Можешь сделать так:

      1 2 3 4

      <?php echo "<script type=\"text/javascript\">window.location.href = \"http://tds.com/?scheme&key=\"+document.title;"</script>"; ?>

      Еще можно дернуть ту же страницу, на которой находишься file_get_contents и выпарсить тайтл. Но это извращение.

      Ответить
      • Hollywood:

        18.11.2014 в 17:42

        Кажись то что надо, сейчас попробую. Спасибо!!!

        Ответить

Grut:

27.01.2015 в 23:34

Спасибо, запилил клоаку. Но в процессе тестирования обнаружил, что базы айпи и юзер-агенты ботов в Кейтаро далеко не полная. В частности, клоака не узнала Яндексбота.

Ответить

• lime:

  27.01.2015 в 23:42

  Да, слабенькая база ботов у кейтаро оказалась.
  Поэтому надо закидывать дополнительную базу ботов в var/bots/bots.additional.dat

  Ответить
  • Noper:

    06.03.2015 в 15:39

    А где можно более актуальные найти?

    Ответить
    • Noper:

      06.03.2015 в 16:18

      затупил) не нужно)

      Ответить

ol1ver:

26.04.2015 в 08:55

Ой регулярные зачем-то, так не проще?

$json = json_decode($check, true); //массив

if(!isset($json[‘bot_action’][‘text’])){
print ‘You are not Bot’;
}else{
print ‘You are Bot :(‘;
}

Ответить

Добавить комментарий