Наполнение сайта на Друпале из RSS

Я вполне благодарный покупатель сайта DealExtreme — беру там всякие китайские мелочи, типа керамических ножей, фанариков, инструментов и прочих дешевых, но полезных вещей. Недавно заинтересовался их партнерской программой и даже успел заработать там копеечку.

DealExtreme партнерский заработок

Партнерская программа товарная — вы рекламируете какой-либо продукт, взямен получаете от 0.75 до 1.5% от суммы, которую потратил покупатель, пришедший по вашей ссылке. Это очеь мало, конечно, так что я решил процесс автоматизировать, а заодно разбавить свой блог о покупках в интернете какой-никакой полезной информацией. Ну и было интересно потренироваться делать автонаполняемый сайт на Drupal с помощью модуля Feeds.Я взял ленту новых поступлений DealExtreme, подключил YahooPipes и сделал «трубу», в которой вписал свой идентификатор. Закачку из «трубы» сделал с помощью модуляFeeds. В качестве парсера выбрал SimplePie — он понимает, в отличие от Common syndication parser, вложения картинок в виде Enclosures, а я как раз хотел картинки «втягивать» к себе, а не ссылаться на DX.

Труба выглядит вот так, ничего сложного и гениального, можете повторить за 10 минут. По сути, можно просто заменить рефкод на свой.

Yahoo Pipe DealExtreme

Для товаров с DealExtreme создал новый тип данных, которому с помощью CCK добавил поле «Галерея», там хранится изображение товара. Остальные поля стандартные. Настройка маппинга полей из «трубы» в поля на сайте выглядит так.

Dealextreme - Yahoo pipes - Drupal Feeds

Все, в итоге раз в 15 минут Feeds проверяет «трубу» на Yahoo Pipes, загружает новые товары (вместе с картинками), которые я потом вывожу на сайте с помощью самодельного Представления (View).

Партнерская программа DealExtreme — очень плохой способ зарабатывать деньги (в моем случае), но зато очень хороший полигон для отработки технологии сбора RSS и наполнения сайта.

Следующим шагом будет автоматическая расстановка тегов по тексту заголовка и взяимная увязка разных товаров по этим тегам в стиле «смотри также» — удобная автоматическая перелинковка получится.

Насчет автоматического вырезания из сайта DX описания товаров я пока не решил. Слишком уязвимы механизмы парсинга страниц в Yahoo Pipes, я уже пару раз нарывался на редизайн сайта-донора, который ломал все аглоритмы.

Я нигде специально не приводил ссылки на страницы отдельных товаров, был только постраничный листинг со ссылкой на ВealExtreme, но забыл про открытый всем Track, который нашел и Яндекс и Google, так что за неделю страниц на сайте стало 350 вместо прежних 70.

Автора автора