| View previous topic :: View next topic |
| Author |
Message |
kwach
Tux's lil' helper
Joined: 15 Sep 2005
Posts: 103
Location: Łódź, Poland
|
 Posted: Sun Jan 14, 2007 1:33 pm Post subject: Jak ściągnąć dużą liczbę plików nie przemęczając s |
 |
|
Mam taki problem - zostałem poproszony o ściągnięcie kilkuset (a może i kilku tysięcy) tapet. Jednak nie widzi mi się na każdą po kolei klkać.... Najchętniej bym wpisał coś w stylu | Code: | | wget tapety.costam.cos.pl/-jakisfolder-/*.jpg |
ale niestety nie dziala.. Może jest jakiś program/skrypt/cokolowiek który pozwala na coś takiego?
Jeśli ktoś coś wie, to niech powie 
Z góry dzięki za wszystkie odpowiedzi
_________________
IBM R61i + Ubuntu
(no patience for Gentoo, but love it anyway)
Last edited by kwach on Sat Jan 20, 2007 4:55 pm; edited 2 times in total |
|
| Back to top |
|
 |
Redhot
Apprentice
Joined: 16 Jul 2006
Posts: 196
|
| Posted: Sun Jan 14, 2007 1:35 pm Post subject: |
|
|
| A nie mozesz jakos na ftp wbic jako anonymous i pobrać caly folder? |
|
| Back to top |
|
|
kwach
Tux's lil' helper
Joined: 15 Sep 2005
Posts: 103
Location: Łódź, Poland
|
| Posted: Sun Jan 14, 2007 2:07 pm Post subject: |
|
|
Niestety nie - FTP nie zadziałał
Znalazłem jakiś program do ściągania całych witryn, zapodałem żeby mi jpeg-i o rozmiarze ponad 20kilo ściągnął i jak na razie szuka - znalazł jak na razie tylko kilka plików, ale mam nadzieję że się dokopie i zapisze
_________________
IBM R61i + Ubuntu
(no patience for Gentoo, but love it anyway) |
|
| Back to top |
|
|
mysz
Tux's lil' helper
Joined: 24 Jun 2004
Posts: 87
|
| Posted: Sun Jan 14, 2007 2:43 pm Post subject: Re: Jak ściągnąć dużą liczbę plików nie przmęczeją |
|
|
| kwach wrote: | Najchętniej bym wpisał coś w stylu | Code: | | wget tapety.costam.cos.pl/-jakisfolder-/*.jpg |
ale niestety nie dziala.. |
| Code: | | wget -r -l1 -A 'jpg,JPG' http://costam.cos.pl/zomgtapety/ |
W zależności od struktury katalogów na serwerze pobaw się parametrem przy -l. Generalnie zmanuj wget'a w tej kwestii. :) |
|
| Back to top |
|
|
Odinist
Apprentice
Joined: 09 Aug 2006
Posts: 176
Location: Silesia, Poland
|
| Posted: Sun Jan 14, 2007 3:57 pm Post subject: |
|
|
lftp, a w nim | Code: | | mget http://costam.cos.pl/zomgtapety/*.jpg |
|
|
| Back to top |
|
|
kwach
Tux's lil' helper
Joined: 15 Sep 2005
Posts: 103
Location: Łódź, Poland
|
| Posted: Sun Jan 14, 2007 4:55 pm Post subject: Re: Jak ściągnąć dużą liczbę plików nie przmęczeją |
|
|
| mysz wrote: |
| Code: | | wget -r -l1 -A 'jpg,JPG' http://costam.cos.pl/zomgtapety/ |
W zależności od struktury katalogów na serwerze pobaw się parametrem przy -l. Generalnie zmanuj wget'a w tej kwestii.  |
niestety nie działa - w MANie napisane jest że -r jest tylko do ftp-a
zaraz bede sprawdzal rozwiazanie z mget-em
EDIT:
wygląda na to że lftp też nie działa (pewnie jak sama nazwa sugeruje też służy do ftp-a )
Użycie programu do ściągania całych witryn, zapodanie rozsądnego filtra plików i zostawienie go na kilka godzin rozwiązało program
PS. nazwy programu nie podaję bo użyłem go pod innym (konkurencyjnym?) OS-em
Dzięki wszystkim za pomoc
_________________
IBM R61i + Ubuntu
(no patience for Gentoo, but love it anyway) |
|
| Back to top |
|
|
v7n
Guru
Joined: 24 Jan 2006
Posts: 352
|
| Posted: Mon Jan 15, 2007 8:22 am Post subject: |
|
|
jak program jest free, to podaj, bo może podziała na wine/cxoffice
_________________
/~x86 /*-sources /oss /zsh /urxvt /vim /openbox /rox /xmms /Opera |
|
| Back to top |
|
|
Odinist
Apprentice
Joined: 09 Aug 2006
Posts: 176
Location: Silesia, Poland
|
| Posted: Mon Jan 15, 2007 9:35 am Post subject: Re: Jak ściągnąć dużą liczbę plików nie przmęczeją |
|
|
[quote="kwach"] | mysz wrote: |
EDIT:
wygląda na to że lftp też nie działa (pewnie jak sama nazwa sugeruje też służy do ftp-a )
Użycie programu do ściągania całych witryn, zapodanie rozsądnego filtra plików i zostawienie go na kilka godzin rozwiązało program
|
Dziwne, u mnie działa. Jak sam w manie możesz przeczytać służy też do pobierania z http, https... |
|
| Back to top |
|
|
Yatmai
Veteran
Joined: 12 Nov 2005
Posts: 1501
Location: Kraków
|
| Posted: Mon Jan 15, 2007 9:53 am Post subject: |
|
|
1. czy wszystkie tapetki są na 1. stronce, czy porozwalane na kilka ?
2. czy jest między nimi jakiś związek w nazwie typu tapeta001.jpg, tapeta002.jpg, etc
_________________
Desktop: [Ath64 X2 2GB DDR2 GF76GT] [amd64] [2.6.29-gentoo] [nVidia] [KDE 3.5.10]
Lapek: [HP nc6000] [i686] [2.6.29-ARCH] [ati-open] [KDE 3.5.10] |
|
| Back to top |
|
|
ffurbo
Tux's lil' helper
Joined: 12 Oct 2005
Posts: 112
Location: Poland/Radom
|
| Posted: Mon Jan 15, 2007 10:16 am Post subject: |
|
|
Strony z tapetkami często są specjalnie konstruowane w ten sposób, aby uniemożliwić ich hurtowe ściągnięcie. Chodzi o to żeby otworzyć każdą podstronę i obejrzeć znajdujące się tam reklamy.
Ja kiedyś trafiłem na taką, gdzie url-em do jpg była zawartość html, tam znajdował się obrazek którego adres generowany był jakoś dynamicznie. |
|
| Back to top |
|
|
BeteNoire
Veteran
Joined: 25 Sep 2005
Posts: 1827
|
| Posted: Mon Jan 15, 2007 11:05 am Post subject: Re: Jak ściągnąć dużą liczbę plików nie przmęczeją |
|
|
| kwach wrote: |
Użycie programu do ściągania całych witryn, zapodanie rozsądnego filtra plików i zostawienie go na kilka godzin rozwiązało program
PS. nazwy programu nie podaję bo użyłem go pod innym (konkurencyjnym?) OS-em |
Dla naszego też takowy istnieje:
http://packages.gentoo.org/search/?sstring=httrack
_________________
powered by power plant |
|
| Back to top |
|
|
kwach
Tux's lil' helper
Joined: 15 Sep 2005
Posts: 103
Location: Łódź, Poland
|
| Posted: Mon Jan 15, 2007 1:40 pm Post subject: |
|
|
Program oczywiście nie free (bo przecież free=open source  ), ale shareware - Teleport Pro się zwie.
Co do httrack to chyba go kiedyś na windzie używałem, ale nie wiedziałem że pod Linuksa też jest.
Jeśli chodzi o strukturę stronki to mniej wiecej: costam.cos.pl/Kategoria/Podkategoria/1024x768/tapety-N.jpg (N-numer tapetki).
(A adresu stronki nie podaję, żeby nie było że coś reklamuję )
EDIT:
| Code: | lftp :~> mget http://costam.cos.pl/katalog/katalog/1024x768/*.jpg
/katalog/katalog/1024x768/*.jpg: nie znaleziono plików
lftp :~> mget http://costam.cos.pl/katalog/katalog/1024x768/tapety-1.jpg
65021 bajtów przesłany w ciągu 1 sekundy (50.5K/s)
lftp :~> |
_________________
IBM R61i + Ubuntu
(no patience for Gentoo, but love it anyway) |
|
| Back to top |
|
|
Yatmai
Veteran
Joined: 12 Nov 2005
Posts: 1501
Location: Kraków
|
| Posted: Mon Jan 15, 2007 4:25 pm Post subject: |
|
|
| Code: | #!/bin/bash
for i in `seq 1 100`
do
wget http://pooorno.tapetki.pl/just-kidding/tapetka-$1.jpg
done
|
Kiedyś też miałem dylemat jak ściągnąć wiele plików naraz i napisałem coś takiego, może Ci sie przyda
_________________
Desktop: [Ath64 X2 2GB DDR2 GF76GT] [amd64] [2.6.29-gentoo] [nVidia] [KDE 3.5.10]
Lapek: [HP nc6000] [i686] [2.6.29-ARCH] [ati-open] [KDE 3.5.10] |
|
| Back to top |
|
|
tomborek
n00b
Joined: 12 Feb 2005
Posts: 15
Location: Warsaw, Poland
|
| Posted: Tue Jan 16, 2007 11:23 am Post subject: |
|
|
| kwach wrote: | | (bo przecież free=open source ), |
ciekawa teoria
_________________
nothin' to declare... |
|
| Back to top |
|
|
Yatmai
Veteran
Joined: 12 Nov 2005
Posts: 1501
Location: Kraków
|
| Posted: Tue Jan 16, 2007 6:38 pm Post subject: |
|
|
| tomborek wrote: | | kwach wrote: | | (bo przecież free=open source ), |
ciekawa teoria |
Rozumiem macie ktoś źródła WinAmp'a ?
_________________
Desktop: [Ath64 X2 2GB DDR2 GF76GT] [amd64] [2.6.29-gentoo] [nVidia] [KDE 3.5.10]
Lapek: [HP nc6000] [i686] [2.6.29-ARCH] [ati-open] [KDE 3.5.10] |
|
| Back to top |
|
|
kwach
Tux's lil' helper
Joined: 15 Sep 2005
Posts: 103
Location: Łódź, Poland
|
| Posted: Tue Jan 16, 2007 7:17 pm Post subject: |
|
|
| Art.root wrote: | | tomborek wrote: | | kwach wrote: | | (bo przecież free=open source ), |
ciekawa teoria |
Rozumiem macie ktoś źródła WinAmp'a ? |
nie wszystko co jest free jest open source, ale za to wszystko (chyba?) co open source jest free
(a poza tym jeśli chodzi o Winampa - możesz sobie tylko 'demo' z ograniczoną funkcjonalnością ściągnąć)
_________________
IBM R61i + Ubuntu
(no patience for Gentoo, but love it anyway) |
|
| Back to top |
|
|
Arfrever
Bodhisattva
Joined: 29 Apr 2006
Posts: 2463
Location: 異世界
|
|
| Back to top |
|
|
univac^
Apprentice
Joined: 19 Sep 2004
Posts: 231
Location: Suwalki, Polska
|
| Posted: Fri Jan 19, 2007 11:37 am Post subject: |
|
|
To może daj url do tych tapet, nie sądzisz, że będzie łatwiej?
_________________
Gentoo own3d |
|
| Back to top |
|
|
vermaden
Apprentice
Joined: 27 Jul 2005
Posts: 168
Location: pl_PL.lodz
|
| Posted: Fri Jan 19, 2007 3:03 pm Post subject: |
|
|
O! to jest mysl, jestem za, moze trafia sie jakies ladne
_________________
"If 386BSD had been available when I started on Linux, Linux would probably never had happened." Linus Torvalds
vermaden's: links spreadbsd |
|
| Back to top |
|
|
kwach
Tux's lil' helper
Joined: 15 Sep 2005
Posts: 103
Location: Łódź, Poland
|
|
| Back to top |
|
|
Yatmai
Veteran
Joined: 12 Nov 2005
Posts: 1501
Location: Kraków
|
| Posted: Fri Jan 19, 2007 9:24 pm Post subject: |
|
|
Wejdź sobie na dowolną kategorię, np Astronauci (pierwsza z brzegu ) i zapisz stronkę, powinno to być tapety.php.html, teraz skopiuj to do jakiegoś katalogu (osobny bo bedzie troche śmiacia po drodze ) i wgraj tam też skrypt (ja mu wpisałem skrypt.hlp, ale to raczej nieistotne )
| Code: | #!/bin/bash
cat tapety.php.html | grep '<a href="http://www.tapety-na-pulpit.org.pl/tapety.php' | grep -v auto > temp.txt
gawk -F"?" '{ print $2 }' temp.txt > temp2.txt
gawk -F\" '{ print $1 }' temp2.txt > temp3.txt
gawk -F"=" '{ print $2 }' temp3.txt > temp4.txt
gawk -F"&" '{ print $1 }' temp4.txt > temp5.txt
cat temp5.txt | sort -u > temp6.txt
for i in `cat temp6.txt`
do
gawk -F\" '{ print $1 }' temp2.txt | grep $i > "$i"3.txt
gawk -F"=" '{ print $3 }' "$i"3.txt > $i.txt
done
for i in `cat temp6.txt`
do
for j in `cat $i.txt`
do
for k in `seq 1 20`
do
wget -P ./tapetki/$i/$j http://www.tapety-na-pulpit.org.pl/$i/$j/1024x768/tapety-$k.jpg
done
done
done
|
Nie jest to optymalizowane (bo mi się nie chce, a projekt i tak jest jednorazowy ) i teoretycznie nie trzeba tworzyć tyle tych plików tempX, ale dzięki temu łatwiej się wyłapie gdzie jest błąd. Niemniej, mnie ładnie zadziałało (choć nie ściągałem jeszcze całości )
Myślę, że jest to proste jak konstrukcja cepa, więc nie będzie problemów co do czego służy
_________________
Desktop: [Ath64 X2 2GB DDR2 GF76GT] [amd64] [2.6.29-gentoo] [nVidia] [KDE 3.5.10]
Lapek: [HP nc6000] [i686] [2.6.29-ARCH] [ati-open] [KDE 3.5.10] |
|
| Back to top |
|
|
|
Polskie forum (Polish) 
