Комментарии к записи: RC RSS Облом или Как Обломать Копипастера http://www.chanishvili.org/rc-rss-oblom/ О вебпрограммировании вообще, и о WordPress в частности Fri, 21 Nov 2008 22:21:44 +0000 http://wordpress.org/?v=2.6 Автор: Роланд Чанишвили http://www.chanishvili.org/rc-rss-oblom/#comment-440 Роланд Чанишвили Thu, 17 Jul 2008 16:41:07 +0000 http://www.chanishvili.org/rc-rss-oblom/#comment-440 <b>sonika</b> я не могу спорить с красивыми женщинами :oops: А вот яндекс - еще как может! :) Так что смотрим выдачу по <a href="http://yandex.ru/yandsearch?text=%D1%81%D0%BF%D0%BE%D1%80%D1%82&from=fx3&lr=187" rel='nowork' rel="nofollow">спорт</a> и <a href="http://yandex.ru/yandsearch?text=c%D0%BFop%D1%82&from=fx3&lr=187" rel='nowork' rel="nofollow">cпopт</a> и удивляемся :) P.S. Кроме яши есть еще и гугля, например :) sonika я не могу спорить с красивыми женщинами :oops:

А вот яндекс - еще как может! :) Так что смотрим выдачу по спорт и cпopт и удивляемся :)

P.S. Кроме яши есть еще и гугля, например :)

]]> Автор: sonika http://www.chanishvili.org/rc-rss-oblom/#comment-437 sonika Thu, 17 Jul 2008 14:25:31 +0000 http://www.chanishvili.org/rc-rss-oblom/#comment-437 Первый пункт — ерунда, т.к. например яндекс прекрасно понимает слова, где русские буквы заменены похожими английскими и считает такие слова одинаковыми… Первый пункт — ерунда, т.к. например яндекс прекрасно понимает слова, где русские буквы заменены похожими английскими и считает такие слова одинаковыми…

]]> Автор: Nick http://www.chanishvili.org/rc-rss-oblom/#comment-427 Nick Tue, 15 Jul 2008 12:22:24 +0000 http://www.chanishvili.org/rc-rss-oblom/#comment-427 Да, очень хороший плагин. Да, очень хороший плагин.

]]> Автор: mephi http://www.chanishvili.org/rc-rss-oblom/#comment-418 mephi Fri, 11 Jul 2008 17:38:26 +0000 http://www.chanishvili.org/rc-rss-oblom/#comment-418 Классный плагин, как тока посажу свой новый блог, обязательно постучусь:) Классный плагин, как тока посажу свой новый блог, обязательно постучусь:)

]]> Автор: Roland http://www.chanishvili.org/rc-rss-oblom/#comment-389 Roland Tue, 17 Jun 2008 20:59:42 +0000 http://www.chanishvili.org/rc-rss-oblom/#comment-389 Это у тебя умный способ, а меня грабят по простому - взять что отдается в rss и тупо у себя запостить :) Поэтому грабилка никак не вычисляется. Это у тебя умный способ, а меня грабят по простому - взять что отдается в rss и тупо у себя запостить :) Поэтому грабилка никак не вычисляется.

]]> Автор: Дачник-цветовод http://www.chanishvili.org/rc-rss-oblom/#comment-388 Дачник-цветовод Tue, 17 Jun 2008 19:12:37 +0000 http://www.chanishvili.org/rc-rss-oblom/#comment-388 Я может неправильно сформулировал вопрос. Предположим, есть обычная грабилка Импортируем ленту, в цикле регуляркой вырезаем адреса, проходим по ним и обратно, при помощи регулярки - грабим контент страницы, удаляем теги и ссылки и заново форматируем текст и пишем его в базу. При формировании своей страницы - описание формируем из основного текста, путем вывода N количества знаков и формируем ссылку на страницу. Это типичный алгоритм грабинга контента. Чтобы устроить клоакинг, то бишь отдать пользователю и поисковому роботу один контент, а грабилке - другой - нужен алгоритм вычисления грабилки. Я может неправильно сформулировал вопрос.

Предположим, есть обычная грабилка

Импортируем ленту, в цикле регуляркой вырезаем адреса, проходим по ним и обратно, при помощи регулярки - грабим контент страницы, удаляем теги и ссылки и заново форматируем текст и пишем его в базу.
При формировании своей страницы - описание формируем из основного текста, путем вывода N количества знаков и формируем ссылку на страницу.
Это типичный алгоритм грабинга контента.

Чтобы устроить клоакинг, то бишь отдать пользователю и поисковому роботу один контент, а грабилке - другой - нужен алгоритм вычисления грабилки.

]]> Автор: Roland http://www.chanishvili.org/rc-rss-oblom/#comment-387 Roland Tue, 17 Jun 2008 14:51:07 +0000 http://www.chanishvili.org/rc-rss-oblom/#comment-387 Дачник, а ЗАЧЕМ вычислять бота? Фишка то в том что юзеру все равно виден вполне читаемый текст, а на ботов положить, ибо бот копипастера нам неинтересен, а боту гугля\яши мы отдали вполне приличный текст, с ссылками и правильными анкорами :) Дачник, а ЗАЧЕМ вычислять бота? Фишка то в том что юзеру все равно виден вполне читаемый текст, а на ботов положить, ибо бот копипастера нам неинтересен, а боту гугля\яши мы отдали вполне приличный текст, с ссылками и правильными анкорами :)

]]> Автор: Дачник-цветовод http://www.chanishvili.org/rc-rss-oblom/#comment-386 Дачник-цветовод Tue, 17 Jun 2008 13:48:00 +0000 http://www.chanishvili.org/rc-rss-oblom/#comment-386 Я честно говоря, так и не понял, как автор вычисляет бота, что бы ему, что-то отдать. Нет времени писать грабилку, чтобы проверить, что отдается. Сам контент не ворую, потому, готового под рукой нет, а жара, размягчает мозги и придает мыслям ленность. Однако, от автора, хотелось бы услышать некоторые подробности. Каким образом вычисляется бот или юзер. Так, на вскид - либо кукой, либо явой. Второй вопрос - какой контент отдается роботам поисковиков, и как они дифференцируются от ботов грабилок? Я честно говоря, так и не понял, как автор вычисляет бота, что бы ему, что-то отдать. Нет времени писать грабилку, чтобы проверить, что отдается. Сам контент не ворую, потому, готового под рукой нет, а жара, размягчает мозги и придает мыслям ленность.
Однако, от автора, хотелось бы услышать некоторые подробности.

Каким образом вычисляется бот или юзер. Так, на вскид - либо кукой, либо явой.
Второй вопрос - какой контент отдается роботам поисковиков, и как они дифференцируются от ботов грабилок?

]]> Автор: Roland http://www.chanishvili.org/rc-rss-oblom/#comment-385 Roland Tue, 17 Jun 2008 00:09:51 +0000 http://www.chanishvili.org/rc-rss-oblom/#comment-385 У многих для этого мозгов нету. Как и на то чтобы свой текст написать. Вот и приходится "помогать" им таким способом :) У многих для этого мозгов нету. Как и на то чтобы свой текст написать.

Вот и приходится “помогать” им таким способом :)

]]> Автор: Дачник-цветовод http://www.chanishvili.org/rc-rss-oblom/#comment-384 Дачник-цветовод Mon, 16 Jun 2008 03:53:53 +0000 http://www.chanishvili.org/rc-rss-oblom/#comment-384 Воровство - проблема! Парсерами вытягивают не только с лент, но и с сайтов, и вешают все, даже не обрабатывая синонимайзерами. По поводу ссылок - так ведь вырежут, для этого, много не надо - пару строчек кода и все. Воровство - проблема! Парсерами вытягивают не только с лент, но и с сайтов, и вешают все, даже не обрабатывая синонимайзерами. По поводу ссылок - так ведь вырежут, для этого, много не надо - пару строчек кода и все.

]]>