[Raulj]

Hei! Oleks vaja Rahvusarhiivi lehelt alla laadida hunnik digitaliseeritud materjale. Näiteks http://www.ra.ee/dgs/browser.php?tid=68&iid=110702595876&img=era0495_013_0000057_00001_t.jpg&tbn=1&pgn=1&lst=2&hash=b5ac746683912fb06d964b843b6011d4. Mis tarkvaraga seda teha saaks? Olen proovinud WinHTTrack-ga kuid see ebaõnnestub, kuna leht soovib vahel isikustamist. Samuti ka Chrome ja Mozilla pluginatega. Oleksin lahenduse eest väga tänulik!

[Redikate]

nodeJs
Ütle mis asju täpselt vaja on. Vaatan üle kui lihtne või raske mingi lahendus teha oleks.

E: Kõiki 17000 pilti on vaja?

E: Lahendus põhimõtteliselt olemas. Kirjutasin paarkümmend rida nodeJS'i. Võta palun PM'i või skype teel ühendust ja leiame kasutuse neile ridadele. (Olen Eestist -10h)

Muidu infoks ka, et:
PIlte on 17021
Iga lehekülje "vaatamine" (dns resolve, domi tirimine, ning sealt linkide otsimine) võtab aega ~3s.
Seega ainult selleks, et kätte saada kõik lingid nendele piltidele, kulub aega 14h ning see aeg ei sisalda nende piltide reaalselt downloadimist.
Lambi pilt mis ma sealt alla tirisin, kaalus 988kb, seega kui kõik need pildid oleks nii suured, on nende kogusuurus 134gb mida tirib tavalise kodu 12Mpbs netiga ~31h.

[gynterk]

Vähe küll OT, aga seal lehe all on kirjas "Copyright © 2013 Rahvusarhiiv" seepärast soovitan kindlasti antud tegevuseks hankida vastav luba, muidu võib nii suure koguse materjali allalaadimine lõppeda kurvalt (juhin tähelepanu sellele, et külastused on kindlasti logitud).

[limp]

[Fukiku]

Samas aegajalt saadakse ikka kurjaks, kui süstemaatiliselt tõmbama hakatakse... Ei pruugi alati õiguslikku alust selleks ollagi, aga IP bänn võib ikka tulla.

Ja noh, Aaron Swartz'i case oli vist ka üldjoontes sama, et kui andmeid automatiseeritult alla tõmmata isegi kui on legaalne ligipääs olemas, siis said mõned väga kurjaks selle pärast..

[perenoel]

Copyrighti sübol lehel ei tähista sisuliselt mitte midagi, see on rohkem kombeasi. Autoriõigused lehel ilmunud originaalmatrjalile tekivad ka ilma selleta. Aga digitaliseerimise osas on rahvusvaheline (Ameerika) praktika selline, et kahemõõtmeline tõmmis vabakasutuses olevast trüki- pildi- vmt materjalist on samuti vabakasutuses. Seda eeldusel, et ei ole tehtud mitte mingeid muid muudatusi (näiteks tehtud iluravi vanale fotole).

Seevastu materjalide massilise allalaadimise blokeerib enamik servereid nii ehk naa. Kui soovid seda teha, pead kasutama tervet posu erinevaid proksisid.

[raitl]

[Fukiku]

[Raulj]

Hei! Tean neid arhiivi kohti sellepärast, et Rahvusarhiiv ise on mind suunanud antud materjalidele, kui nende juures on käidud sooviga saada koopiaid antud materjalidest. Seega copyrighti asja ei tasu selle case puhul karta. Olen pöördunud ka meilitsi nende poole, et saaks neilt neid andmeid kasvõi raha eest digitaalsena, kuid pole veel paari päeva jooksul vastust saanud.

Vaja oleks neid siis ikkagi ise alla laadida ja neid fonde on mitu, seega materjale ~25000 pildi jagu.

[mahfiaz]

See esimese postituse link nõuab sisselogimist.

Kas curl ei aita?

[Raulj]

Tänu Redikate lahendusele saan enda materjalid kätte

[Cemtey]

.. kustutatud ..

[napoleon]

Ei ole see päris nii. Kui lehele massiliselt roboteid kallale tuleb, siis on kulud serveritele ja ühendusele suuremad ja minu arvates ei olegi riigi asi spämmerite elu lihtsamaks muuta

[Redikate]