[asjameez]

Huvi pärast küsin, et kas teisiti ei saa?

On portaal A, mille andmebaasis on teatud tooted. Portaalil on otsing, kust saab tooteid otsida ning kuvatakse siis tulemused.

On vaja tõmmata, ütleme ~1000 toodet alla.
Mina teen skripti B, mis teeb portaali A päringu, ning tõmbab siis alla tulemuste lehe source koodi ja hakkab, siis selle kallal töötama (fgets), kuni saab kätte kõikide leitud toodete andmed ja salvestab oma kohalikku andmebaasi.

On selline skript kõige õigem või väga kilplaslik? Mingeid muid võimalusi?

[keevitaja]

no kas sul ligipääs sinna serverisse on? kus need tooted asuvad? mingis sql andmebaasis? sel juhul oleks hea ju ühendust võtta otse andmebaasiga!

[asjameez]

[sander85]

[asjameez]

[inzinz]

Kui andmebaasile otse ligipääsu ei ole, siis html töötlemine suht ainus variant jah.

sander85, legaalsuse koha pealt oleneb sellest, mismoodi seda infot kasutatakse. Omatarbeks mingi indekseeringu tegemine ei tohiks olla probleem. Ja kui pilte mitte kasutada, siis ei saa keegi copyrighti kallal ka norida. Päringute loa kohta veel niipalju, et minuteada näiteks google jms ei käi ka iga veebilehe admini käest küsimas kas ta tohib nende lehele päringuid teha

[Absona]

Ainult skripti kaudu saabki (juhul kui portaaliga ei saa kokkuleppele).

[andresv]

äkki mingi rss/xml feed sellel portaalil olemas?

[asjameez]

[sander85]

[inzinz]

sander85, sa lähtud roosast põhimõttest et ükskõik millise netipoe adminid on väga vastutulevalt sõbralikud kõikide inimeste hobiprojektide suhtes, kes tahavad nende toodete kohta mingit statsi teha vms.
Minuteada reaalsuses asi päris nii ei ole, et kui mingit statsi lehte tahad teha kellegi toodete kohta siis saada ainult email ja päeva pärast on ametlik rss feed või lausa sql fail sul käes Miks mainin ühte päeva: nimelt kindla struktuuriga html'i parsija kirjutamine ja selle abil 1000 toote sisselugemine on vabalt ühe korraliku päeva teema. Omal oli ka vaja kunagi mingi spets tootegrupi (toidukaubad) ülevaadet saada (üldine toote info, mitte hindasid poodide kohaselt jms) ja usu või ei, absoluutselt kõik blokkisid täiega, et nemad oma infot välja ei jaga igasugustega.

Ja kui veel niisama virisemise põhjust otsida, siis netipoe leht mis 1000 toote lehe kuvamise peale (järjest, mitte paralleelselt) otsad annab serveri koormuse tõttu või liikluse umbe tõmbab on omadega pees: esimesel juhul on tegu väga käki poe softiga mille tõmbab maha juba see kui 10 kasutajat korraga lehele satub, teisel juhul istub asi kuskil kodu netiühenduse taga. Mõistlikult toimetades, iga html pärimise vahel 1 sekund sleepida et serverile hingetõmbeaega anda, ja ~20-30 mindiga on asi olemas.

asjameez, kui mingit nõu vaja kuidas parsimist saaks vb paremini teostada siis võin natuke PM's juhendada vms et mis moodust mina siiani ise kasutanud olen.