Просмотр задачи

НомерПроектКатегорияВидимостьИзменен
0000031Парсер 2GisПарсерпубличная2016-10-26 13:19
Инициаторwinchester7 
ПриоритетвысокийВлияниенастройкаВоспроизводимостьвсегда
Состояние решенаРешениерешена 
Версия продукта3.0.3 
Целевая версия3.0.4Решена в версии3.1.0 
Тема0000031: Возможность приостановки/продолжения парсинга
ОписаниеБыла бы очень удобной возможность приостановки/продолжения парсинга по горячей клавише или как-то еще. У меня из-за плохого жесткого диска очень маленькая скорость парсинга. Вместо 10к в 10 минут (как в описании) около 3к. Соответственно по расчетам парсинг всех городов занимает минимум 5 дней, а то и больше. И во время парсинга диск все время занят на 100%. Иногда это мешает и хочется приостановить работу, а потом продолжить.

Так же было бы неплохо если произошла аварийная остановка парсинга или допустим ребут системы, чтобы парсинг начинался не сначала, а с последней спарсенной фирмы.
МеткиНет связанных меток.

Деятельность

Sergey

2016-08-23 07:52

администратор   ~0000024

Да, очень нужный функционал, задача принята с высоким приоритетом, будет реализовано с ближайшим обновлением.

winchester7

2016-08-23 09:21

автор   ~0000026

Не знаю, в этой же задаче будете решать или в другой, но сегодня проявилась проблема, о которой я писал ниже - запуск импорта начинается сначала.

У меня база из всех городов. Соответственно один парсер отрабатывает ее всю с нуля. Работал около 3х суток, затем вылетел с текстом:

City: 32 Database: gis_moscow Firm: 85346
City: 32 Database: gis_moscow Firm: 85347
Request error. Retrying...
Request error. Retrying...
PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 24 bytes) in C:\Parser2Gis\web\gis_parser.php on line 214

В итоге запускаю парсер снова, и он опять парсит начиная с Абакана, который мне не нужен. :(

Было бы отлично сделать какую-то настройку, например выбор, с какого города начинать парсинг или что-то типа того.

Sergey

2016-08-23 11:25

администратор   ~0000027

Да, это относится к этой же задаче. Будет реализовано возобновление работы парсера с момента последней остановки. Приостановку-возобновление во время работы пока сделать не представляется возможным, по этому будет так)

Sergey

2016-10-26 13:19

администратор   ~0000045

В версии 3.1.0 реализована приостановка и возобновление парсинга

История изменений

Дата изменения Пользователь Поле Изменить
2016-08-22 11:39 winchester7 Новая задача
2016-08-22 11:39 winchester7 Состояние новая => назначена
2016-08-23 07:50 Sergey Приоритет обычный => высокий
2016-08-23 07:50 Sergey Влияние малое => настройка
2016-08-23 07:50 Sergey Воспроизводимость не проверялась => всегда
2016-08-23 07:50 Sergey Версия продукта => 3.0.2
2016-08-23 07:50 Sergey Целевая версия => 3.0.3
2016-08-23 07:52 Sergey Комментарий добавлен: 0000024
2016-08-23 09:21 winchester7 Комментарий добавлен: 0000026
2016-08-23 11:25 Sergey Комментарий добавлен: 0000027
2016-08-23 17:08 Sergey Версия продукта 3.0.2 => 3.0.3
2016-08-23 17:08 Sergey Целевая версия 3.0.3 => 3.0.4
2016-10-26 13:19 Sergey Состояние назначена => решена
2016-10-26 13:19 Sergey Решение открыта => решена
2016-10-26 13:19 Sergey Решена в версии => 3.1.0
2016-10-26 13:19 Sergey Комментарий добавлен: 0000045