13.03.2018

Добавлен серверный парсер и генератор.

Теперь часть макросов обрабатываются на сервере. В первую очередь это макросы парсера, а так же некоторые макросы перелинковки.

Таким образом все медленные действия теперь будут проходить на сервере.

Теперь генерация происходит следующим образом. Статьи генерируются и публикуются как раньше на локальной машине, но обрабатывается лишь часть макросов. При этом статьи попадают не в опубликованные или запланированные, а в «очередь на генерацию». Пока что количество статей в очереди на генерацию можно увидеть в админке конкретного дорвея, чуть позже будет и в интерфейсе программы.

Серверный генератор по очереди перебирает все сайты и обрабатывает статьи, которые необходимо сгенерировать. Он генерирует 50 статей и переходит к следующему домену и так по кругу, пока не будут сгенерированы все статьи.

Если не удалось сгенерировать статью, она не публикуется, а остается в очереди на генерацию и пропускается. В дальнейшем программа будет делать повторные попытки для публикации этой статьи. Например, сейчас не удалось собрать достаточно текста, программа переходит к следующей статье, затем выходит обновление парсера и программа может собирать большее количество текста и есть вероятность, что статья, которую не удалось сгенерировать ранее, будет сгенерирована новой версией.

После генерации статьи сразу создается ее кэш.

Что касается скорости генерации. Если использовать парсинг контента, то в среднем на одном сервере генерируется около 30 000 статей за сутки. Без парсинга гораздо быстрее.

Еще из изменений, сделаны исправления в макросах posts и pro-link. В них улучшена работа с ссылками. Они так же обрабатываются на сервере, что исключает ситуации, когда ссылки ставятся на несуществующие статьи.

www.megastock.com Здесь находится аттестат нашего WM идентификатора 164562048829