Просмотр задачи
| Номер | Проект | Категория | Видимость | Создан | Изменен |
|---|---|---|---|---|---|
| 0000031 | Парсер 2Gis | Парсер | публичная | 2016-08-22 11:39 | 2016-10-26 13:19 |
| Инициатор | Ответственный | ||||
| Приоритет | высокий | Влияние | настройка | Воспроизводимость | всегда |
| Состояние | решена | Решение | решена | ||
| Версия продукта | 3.0.3 | ||||
| Целевая версия | 3.0.4 | Решена в версии | 3.1.0 | ||
| Тема | 0000031: Возможность приостановки/продолжения парсинга | ||||
| Описание | Была бы очень удобной возможность приостановки/продолжения парсинга по горячей клавише или как-то еще. У меня из-за плохого жесткого диска очень маленькая скорость парсинга. Вместо 10к в 10 минут (как в описании) около 3к. Соответственно по расчетам парсинг всех городов занимает минимум 5 дней, а то и больше. И во время парсинга диск все время занят на 100%. Иногда это мешает и хочется приостановить работу, а потом продолжить. Так же было бы неплохо если произошла аварийная остановка парсинга или допустим ребут системы, чтобы парсинг начинался не сначала, а с последней спарсенной фирмы. | ||||
| Метки | Нет связанных меток. | ||||
|
|
Да, очень нужный функционал, задача принята с высоким приоритетом, будет реализовано с ближайшим обновлением. |
|
|
Не знаю, в этой же задаче будете решать или в другой, но сегодня проявилась проблема, о которой я писал ниже - запуск импорта начинается сначала. У меня база из всех городов. Соответственно один парсер отрабатывает ее всю с нуля. Работал около 3х суток, затем вылетел с текстом: City: 32 Database: gis_moscow Firm: 85346 City: 32 Database: gis_moscow Firm: 85347 Request error. Retrying... Request error. Retrying... PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 24 bytes) in C:\Parser2Gis\web\gis_parser.php on line 214 В итоге запускаю парсер снова, и он опять парсит начиная с Абакана, который мне не нужен. :( Было бы отлично сделать какую-то настройку, например выбор, с какого города начинать парсинг или что-то типа того. |
|
|
Да, это относится к этой же задаче. Будет реализовано возобновление работы парсера с момента последней остановки. Приостановку-возобновление во время работы пока сделать не представляется возможным, по этому будет так) |
|
|
В версии 3.1.0 реализована приостановка и возобновление парсинга |
| Дата изменения | Пользователь | Поле | Изменить |
|---|---|---|---|
| 2016-08-22 11:39 |
|
Новая задача | |
| 2016-08-22 11:39 |
|
Состояние | новая => назначена |
| 2016-08-23 07:50 | Sergey | Приоритет | обычный => высокий |
| 2016-08-23 07:50 | Sergey | Влияние | малое => настройка |
| 2016-08-23 07:50 | Sergey | Воспроизводимость | не проверялась => всегда |
| 2016-08-23 07:50 | Sergey | Версия продукта | => 3.0.2 |
| 2016-08-23 07:50 | Sergey | Целевая версия | => 3.0.3 |
| 2016-08-23 07:52 | Sergey | Комментарий добавлен: 0000024 | |
| 2016-08-23 09:21 |
|
Комментарий добавлен: 0000026 | |
| 2016-08-23 11:25 | Sergey | Комментарий добавлен: 0000027 | |
| 2016-08-23 17:08 | Sergey | Версия продукта | 3.0.2 => 3.0.3 |
| 2016-08-23 17:08 | Sergey | Целевая версия | 3.0.3 => 3.0.4 |
| 2016-10-26 13:19 | Sergey | Состояние | назначена => решена |
| 2016-10-26 13:19 | Sergey | Решение | открыта => решена |
| 2016-10-26 13:19 | Sergey | Решена в версии | => 3.1.0 |
| 2016-10-26 13:19 | Sergey | Комментарий добавлен: 0000045 |