[volpsu]

Hello!

Googliga on juba tutvust tehtud aga äkki oskab ka siit midagi soovitada. Nimelt on plaanis “väike” projekt teha (datamining veebist). Esialgne plaan on võtta mobile.de’st kõik Audi mudelid ja kuvada palju neid on hetkel müügis (näiteks a4 on 15 000 kuulutust, a5 7 000). Ideeliselt võiks siis robot aeglaselt need “klikid” läbi teha ja salvestada koos kuupäevaga txt faili.

Oskab keegi midagi soovitada, ise plaanisin alustada tööd Pythoniga kuna tundub võimekus olevat või soovitate millegi muuga alustada.

Igasugused soovitused on teretulnud.


V.

[2ndalpha]

Tõenäoliselt mobile.de blokib Su IP ära kui nii julmalt crawlid.

[volpsu]

Ei plaani julmalt crawlida vaid iga klicki vahel võiks olla randomiga mingi aeg 1-10 seci. Kindlasti ma ei proovi seda nö jadana teha . Ka browseri infot peaks apache serverile saatma, et kõik tunduks inimlikuna....

[hans]

Asja eesmärk?

Mitu päeva võtab kõigi Audide ( ca 110tuh tükki ) läbi klikkimine ning mis infot Sa sealt saada tahad, teiseks..
kui korrektne see info peab olema ? Päringute kestvuse ajal jõuab see kuulutuste arv muutuda mitu korda..

Spoiler

/trolliküsimused

[2ndalpha]

Teed lihtsalt hobiprojekti?
Info peab olema up-to-date? Ehk perioodiliselt tuleb uuesti crawlida?
Kui plaanid kogu mobile.de ära crawlida, siis kõige lihtsam on selleks wget-i kasutada.

[volpsu]

Võib öelda küll, et teen enseharimiseprojekti

Olen mõelnud et script ei pea olema ses suhtes automaatne, et võin vabalt ise sobival hetkel käima lasta ja tekitab teksti faili kuupäeva rea ja arvu.
Kogu infot pole esialgu plaanis crawlida, esiteks oleks liiga mahukas ning teiseks ka oskused on puudulikud:)

[LKits]

Oot, oot - nii palju, kui mina aru sain, siis volpsu ei soovi kaevata individuaalseid kuulutusi, vaid lihtsalt Audi mudelite kuulutuste arvusid.

Seal leheküljel mingisugused lihtpäringud, mille kaudu saaks need arvud teada. Täpselt pole süvenenud, aga vaata leheküljel olevaid javascripte. Ilma JS see lehekülg ei tööta ehk eluks vajalik.

[volpsu]

Idee on oskuste arendes tõenäoliselt ka kuultustesse minna aga alustuseks prooviks lihtsamd päringud teostada

[LKits]

Proovi leida mingisugune päring, mis muudab seda elementi

[tonis]

Kui on lihtsalt huvi asja vastu siis võid netist leida olemasolevaid data sete, mis mõeldud uuringutes või harjutamiseks.
Google otsing: "data mining data sets free", jääb ära crawleri kirjutamine jne, saad kohe hakata proovima.

[Redikate]

Soovitan minu signatuuris olevat linki vajutada.

Mitte väga ammu aega tagasi kirjutasin ühele siinsele foorumlasele sarnaselt töötava koodijupi nodeJS'is (pea 20 rida oli teine), mis korjas ühelt lehelt lingid kokku ja siis käis iga lingi pealt pilti salvestamas.

[andresv]

Google on sinu jaoks selle crawlimise ära teinud ja võiksid tema käest küsida palju mingeid autosid on mobile.d lehel
https://www.google.ee/webhp?sourceid=chrome-instant&ion=1&espv=2&es_th=1&ie=UTF-8#safe=active&q=audi+a4+%22technische+daten%22+site:mobile.de
(muuda otsingut selliselt, et tagastaks ainult detailvaate lehed)

või siis programselt:
https://developers.google.com/custom-search/json-api/v1/overview

Aga jah, andmekaeveks on päris palju andmestike juba parajal kujul olemas.
Võibolla sobib siit midagi:
https://archive.ics.uci.edu/ml/datasets.html
näiteks
https://archive.ics.uci.edu/ml/datasets/Automobile

[mikk36]

andresv, neid arve ei tasu tõepõhjana võtta.

[aims]

volpsu, kas said mingi töötava asja valmis ka lõpuks?

[volpsu]

Mobile.de'st ei käinud jõud üle kuid kindlasti võiks asja uuesti käsile võtta

[Renka]

Selline veebilehtede skännimine on paras perverssus ja enamasti on lahendus niivõrd kehvasti tehtud, et koormab serverit liigselt. Vasta kukalt tõmbaks sellistele skriptikirjutajatele

Aga üldiselt tasub andmeid pärida läbi API - juhul kui see olemas on.

Mobile.de'l näiteks on: https://services.mobile.de/manual/index.html

[volpsu]

Ideeliselt nõus aga samas on tore õppida. Oleneb ka muidugi mis mahus ja mida soovid...

[LKits]

Iga endast lugupidav veebiarendaja suudab sellisele koormusele kontrollmehhanismid ehitada. Ja kui ei suuda, siis kannatagu, raibe - looduslik valik.

Üldises pildis nõus - kui API olemas, siis kindlasti seda kasutada. Üldjuhul mingi teatud arv päringuid tasuta ka.

[Renka]

[LKits]

Ja sa tahad väita, et need scriptikirjutajad kasutavad botnette, mis on juhtumisi ka illegaalsed? Hmm... võib-olla tõesti.

[Stemugram]

[Renka]

No kõige olulisem on piirata päringute sagedust. Umbes üks päring sekundis ei tohiks kellelegi probleemiks olla. See mis hiljem oma serveris teed ei koorma enam teist serverit.

[volpsu]

No minul on näiteks ühe näitel puhul pandud, et fake'b ühte browserit kahest ning time päringute vahel on randomiga 0-30 sec äkki?

API puhul tekib siiski see, et teatud infot ei taheta võibolla jagada?

[Renka]

Miks see brauseri fakemine vajalik on?

Iga normaalne bot annab UA stringiga teada kes ta on. Kui ma avastan lehel miski boti mis väidab, end brauser olevat sisi see IP saab automaatselt banni.

[LKits]

Renka, nõus, UA feikimine on jubedus. Sellegipoolest seda tehakse, just datamining eesmärkidel.

[Etz]

Renka, ja LKits, no teatud juhtudel on see täitsa vajalik, kõik sõltub lehevaldaja suvast, on lehti kust saad vasta hambaid kui su UA ei matchi ühtegi tuntud brauseriga.
Mitte, et ma nüüd otseselt data mininguga tegeleks...

[Renka]

[Etz]

[Renka]

https://sourceforge.net/p/forge/documentation/API/

[Etz]

[Renka]

Etz, ja kas neil kõikidel siis on ka UA stringi miski piirang peal?

SFil on ilmselgelt põhjusega piirang peal. API on ju olemas mida kasutada - see koormab vähem nende infrat ja on mõeldud täpselt selleks mida sa teha tahad. Sellepärast on ka selline piirang peale pandud tõenäoliselt.

[Etz]

[napoleon]

[LKits]

napoleon, lihtsalt teadmiseks, et siis lakkavad töötamast ka no script, no images lehitsejad,mis iseenesest on väga väike vähemus.

Ei näe mingit põhjust, miks peaks serverit veel eriti koormama selle kõigega, et pilte jms alla laadida. Aga no kui legit simulatsioon on nii oluline, siis igati teostatav.