16:14 

Diary Downloader 3.0 pre-alpha

DDD
мне сказали, что ты меня все еще любишь
Товарищи, если кому нетрудно потестировать.

Diary Downloader (скачивание дневников). Программа переписана с нуля, но еще очень много недоделок, которые хотелось бы исправить до того момента, как уже это будет лень.

Основные нововведения:

- Многопоточная загрузка (до 10 потоков), соответственно, беспрецедентная скорость на хорошем канале
- Делается полный парсинг загруженных страниц. Итоговая страница получается путем сборки "с нуля" по шаблону.
- Для скачивания используется pda-версия (экономия трафика)
- По возможности, используется сжатие gzip (экономия трафика)
- Кэшируются изображения
- Возможность докачки

Краткая суть. Программа скачивает заданное количество страниц и парсит их, сохраняя каждый пост и текст под more в отдельный файл (расширения *.post и *.more(N моря) соответственно). Изображения сохраняются в отдельный каталог (поддерживается jpg, gif и png, в т.ч. и со сторонних сайтов). Сss дневника имплантируется в единый шаблон перед сборкой.

Программа: iddd.ru/files/DiaryDownloader_3.0pre-a.zip (105 Кб, zip + vzlib.dll)

Для работы необходим компонент ddd-soft.net.ru/files/mswinsck.zip (79 Кб, instаller)

Спасибо.
запись создана: 18.07.2008 в 15:58

Комментарии
2008-07-18 в 16:08 

То, что ты ищешь, на самом деле у тебя в голове.
ссылку на программу поправьте, плиз:)

2008-07-18 в 16:10 

DDD
мне сказали, что ты меня все еще любишь
Готово. К чему дневники скобки в урле не понимают?

inster
i n s t a l l e r
INSTALLER

2008-07-18 в 16:13 

DDD
мне сказали, что ты меня все еще любишь
Блять. Чем слово "инсталлер"-то не угодило?

2008-07-18 в 16:14 

молодой динамично развивающийся
вырезается зачем-то

2008-07-18 в 16:14 

молодой динамично развивающийся
*all

2008-07-18 в 16:14 

То, что ты ищешь, на самом деле у тебя в голове.
DDD
я раньше не сталкивалась:)

по проге - уже поймала ошибку:)



у меня подозрение, что это из-за того, что у меня на диске Д нету такой папки.)

2008-07-18 в 16:16 

DDD
мне сказали, что ты меня все еще любишь
Глорик каталог надо создавать руками. Пока, по крайней мере. Выбирайте папку кнопочкой справа, на текстбокс с путем надо locked поставить, чтобы руками туда не писали.

С GZIPом на бете проблемы. Ошибка гзип не критична.

2008-07-18 в 16:18 

То, что ты ищешь, на самом деле у тебя в голове.
а, нет...


2008-07-18 в 16:18 

То, что ты ищешь, на самом деле у тебя в голове.
это я в существующю папку)

2008-07-18 в 16:19 

DDD
мне сказали, что ты меня все еще любишь
Глорик доступ запрещен. Нужны полные права на каталог программы и на каталог сохранения. Вы локальный админ на своей машине?

2008-07-18 в 16:21 

Глорик
То, что ты ищешь, на самом деле у тебя в голове.
DDD
конечно.

2008-07-18 в 16:25 

молодой динамично развивающийся
Первый раз здохло от указания количества страниц больше, чем есть в дневнике. #6 Overflow.

Второй — во время полной загрузки дневника на 43% скачивания картинок. #52 Bad file name or number

При загрузке только одной страницы с картинками отключился gzip во время скачивания последних, но программа не упала.

2008-07-18 в 16:27 

молодой динамично развивающийся
По поводу CSS: к путям в url(/userdir/***) надо вставлять в начале static.diary.ru либо скачивать вместе с картинками из записей и переписывать адрес.

2008-07-18 в 16:40 

DDD
мне сказали, что ты меня все еще любишь
Глорик либо открыта какая-нибудь папка, которую программа пытается очистить. В любом случае, что-то с доступом.

Chudd! Первый раз здохло от указания количества страниц больше, чем есть в дневнике.

Потом добавлю определение количества страниц

во время полной загрузки дневника на 43% скачивания картинок. #52 Bad file name or number

Собственного дневника? Сколько страниц для скачивания задано?

При загрузке только одной страницы с картинками отключился gzip во время скачивания последних, но программа не упала.

Картинки в сжатом виде не передаются и гзип отключается. Сжатие работает только на текстовом контенте.

По поводу CSS: к путям в url(/userdir/***) надо вставлять в начале static.diary.ru либо скачивать вместе с картинками из записей и переписывать адрес.

О, спасибо. Надо будет ксс в парсинг на предмет наличия картинок подключить.

2008-07-18 в 16:44 

молодой динамично развивающийся
DDD Собственного дневника? — да, Сколько страниц для скачивания задано? — 31 из 31.

2008-07-18 в 16:47 

DDD
мне сказали, что ты меня все еще любишь
Chudd! нашел, об эту фигню споткнулось: test.bio-met.ru/graf.php?v1=85&v2=84&v3=83&v4=6...

2008-07-18 в 16:52 

молодой динамично развивающийся
кагжэ быть

2008-07-18 в 16:59 

DDD
мне сказали, что ты меня все еще любишь
Chudd! поставил временную затычку, пересобрал, перезалил. Ссылка та же. Стал обладателем всего твоего дневника)

2008-07-18 в 16:59 

молодой динамично развивающийся
м. что-то я не понял, а почему я скачал 31 страницу, а там меньше половины записей? у меня же в настройках указано по 30 постов на странице.

и еще один баг:
more в постах раскрывается нормально, но при схлопывании даблкликом исходный текст-заглушка не появляется снова.

2008-07-18 в 17:06 

DDD
мне сказали, что ты меня все еще любишь
Chudd! что-то я не понял, а почему я скачал 31 страницу, а там меньше половины записей? у меня же в настройках указано по 30 постов на странице.

В \downloads\chudd\ количество файлов *.post соответствует ожиданиям? Если да, то может быть собрано не по-порядку.

more в постах раскрывается нормально, но при схлопывании даблкликом исходный текст-заглушка не появляется снова.

А у меня без проблем. Браузер какой? И ссылка на пост с неработающим морем.

2008-07-18 в 17:14 

молодой динамично развивающийся
FF3. Ну, у меня и на дайри в принципе бывают проблемы с морем: оно не раскрывается иногда. Сейчас все нормально.

А страница ведь считается как diary.ru/shortname/?from=[кол-во постов на страницу]×[№ страницы], где кол-во постов — некое заданное в программе число? Пользовательские настройки не влияют, значит.

и еще обидная штука: замочки и смс-значки не проставляются.

2008-07-18 в 17:25 

молодой динамично развивающийся
если несколько раз подряд заархивировать дневник в одну и ту же папку, удалив после первого раза ее содержимое, в следующий раз картинки не скопируются.

2008-07-18 в 17:28 

молодой динамично развивающийся
в этом посте от картинок остались одни альты.

2008-07-18 в 19:45 

Cosmo-girl
Когда увидимся?— Во сне.
Ура-ура-ура!!!!!! :ura:

2008-07-18 в 19:46 

Cosmo-girl
Когда увидимся?— Во сне.
Это произошло, когда изображения скачивались

2008-07-18 в 19:47 

Cosmo-girl
Когда увидимся?— Во сне.
А где дневник-то? как его открыть?

2008-07-18 в 20:24 

DDD
мне сказали, что ты меня все еще любишь
Cosmo-girl Это произошло, когда изображения скачивались

Тоже какая-то гадская картинка, посмотрю после выходных, дома трафик дорогой.

А где дневник-то? как его открыть?

каталог_для_сохранения\diary.htm

2008-07-19 в 18:01 

Cosmo-girl
Когда увидимся?— Во сне.
каталог_для_сохранения\diary.htm
Нет такого. Т.е. если какая-то ошибка получается, то diary.htm не создаётся?

2008-07-19 в 18:12 

Cosmo-girl
Когда увидимся?— Во сне.
Ой-ой. А комментарии почему не грузит? :-(

2008-07-19 в 18:33 

Cosmo-girl
Когда увидимся?— Во сне.
Вот есть папка download у программы пустая. Решила я скачать свой дневник. Указала эту папку. Там создалась сама папка Cosmo-girl. Из-за ошибки скачивание не завершилось. Решила я скачать ещё дневник ianthe. Программа опять сама создала папку bitterwind (по шотнейму, я это поняла, дааа). Этот дневник скачался. Теперь у меня в папке download: папка bitterwind, папка Cosmo-girl, папка images (дублирующая папкуdownload\bitterwind\images), 1x1.gif, 30835698.jpg (аватар второго дневника. но он тоже есть в папке всего дневника), diary.htm, journal.css, static.diary.ru. При скачивании нового дневника diary.htm заменяется на новый. А можно, чтоб он делался в папке дневника, которую программа сама создаёт?
UPD. картинки размножаются. Сами себя в папки чужие добавляют.

     

Техподдержка программ Diary Downloader и ПЧ-meter.

главная