Avaleht
uus teema   vasta Tarkvara »  Programmeerimine »  Datamining märgi kõik teemad loetuks
märgi mitteloetuks
vaata eelmist teemat :: vaata järgmist teemat
mine lehele eelmine  1, 2
Hinnavaatlus :: Foorum :: Uudised :: Ärifoorumid :: HV F1 ennustusvõistlus :: Pangalink :: Telekavad :: HV toote otsing
autor
sõnum Saada viide sõbrale. Teata moderaatorile
otsing:  
Etz
HV Guru
Etz

liitunud: 27.01.2005



Autoriseeritud ID-kaardiga

sõnum 12.02.2017 21:42:53 vasta tsitaadiga

Renka, ja LKits, no teatud juhtudel on see täitsa vajalik, kõik sõltub lehevaldaja suvast, on lehti kust saad vasta hambaid kui su UA ei matchi ühtegi tuntud brauseriga.
Mitte, et ma nüüd otseselt data mininguga tegeleks...

_________________
...life is random...so am I...
So, there is a fan. Time to grab your sh*t, gentlemen!
Kommentaarid: 223 loe/lisa Kasutajad arvavad:  :: 0 :: 0 :: 192
tagasi üles
vaata kasutaja infot saada privaatsõnum
Renka
HV Guru
Renka

liitunud: 31.03.2002



Autoriseeritud ID-kaardiga

sõnum 12.02.2017 21:43:28 vasta tsitaadiga

Etz kirjutas:
Renka, ja LKits, no teatud juhtudel on see täitsa vajalik, kõik sõltub lehevaldaja suvast, on lehti kust saad vasta hambaid kui su UA ei matchi ühtegi tuntud brauseriga.
Mitte, et ma nüüd otseselt data mininguga tegeleks...
Soh - mis lehed sellised veel on?
_________________
There is no place like 127.0.0.1
Kommentaarid: 71 loe/lisa Kasutajad arvavad:  :: 2 :: 1 :: 61
tagasi üles
vaata kasutaja infot saada privaatsõnum mine selle kasutaja kodulehele
Etz
HV Guru
Etz

liitunud: 27.01.2005



Autoriseeritud ID-kaardiga

sõnum 12.02.2017 21:51:51 vasta tsitaadiga

Renka kirjutas:
Soh - mis lehed sellised veel on?


Sourceforge näiteks, proovi sealt midagi skriptiga tirida...saad redirect loopi.
Seega mina tudvustan end seal wget'ina, ehk siis faken UA'd ja teie loogika alusel sooritan sellega räige kuriteo. icon_lol.gif

Ma nimelt scrapen mõningate installikate versiooni numbreid ja teen nende alusel autoupdatet.
Teine tore koht on FossHub mis on vabavara seas populaarseks muutunud...

Renka kirjutas:
Iga normaalne bot annab UA stringiga teada kes ta on. Kui ma avastan lehel miski boti mis väidab, end brauser olevat sisi see IP saab automaatselt banni.


Pigem mind huvitab, mille järgi sa selle kindlaks teed, kui bot on normaalselt tehtud ja käitub viisakalt. icon_razz.gif

_________________
...life is random...so am I...
So, there is a fan. Time to grab your sh*t, gentlemen!
Kommentaarid: 223 loe/lisa Kasutajad arvavad:  :: 0 :: 0 :: 192
tagasi üles
vaata kasutaja infot saada privaatsõnum
Renka
HV Guru
Renka

liitunud: 31.03.2002



Autoriseeritud ID-kaardiga

sõnum 12.02.2017 21:52:17 vasta tsitaadiga

https://sourceforge.net/p/forge/documentation/API/
_________________
There is no place like 127.0.0.1
Kommentaarid: 71 loe/lisa Kasutajad arvavad:  :: 2 :: 1 :: 61
tagasi üles
vaata kasutaja infot saada privaatsõnum mine selle kasutaja kodulehele
Etz
HV Guru
Etz

liitunud: 27.01.2005



Autoriseeritud ID-kaardiga

sõnum 12.02.2017 21:54:05 vasta tsitaadiga

Renka kirjutas:
https://sourceforge.net/p/forge/documentation/API/


Kõikidel saitidel ei ole API't... icon_wink.gif

_________________
...life is random...so am I...
So, there is a fan. Time to grab your sh*t, gentlemen!
Kommentaarid: 223 loe/lisa Kasutajad arvavad:  :: 0 :: 0 :: 192
tagasi üles
vaata kasutaja infot saada privaatsõnum
Renka
HV Guru
Renka

liitunud: 31.03.2002



Autoriseeritud ID-kaardiga

sõnum 12.02.2017 21:58:43 vasta tsitaadiga

Etz, ja kas neil kõikidel siis on ka UA stringi miski piirang peal? icon_rolleyes.gif

SFil on ilmselgelt põhjusega piirang peal. API on ju olemas mida kasutada - see koormab vähem nende infrat ja on mõeldud täpselt selleks mida sa teha tahad. Sellepärast on ka selline piirang peale pandud tõenäoliselt.

_________________
There is no place like 127.0.0.1
Kommentaarid: 71 loe/lisa Kasutajad arvavad:  :: 2 :: 1 :: 61
tagasi üles
vaata kasutaja infot saada privaatsõnum mine selle kasutaja kodulehele
Etz
HV Guru
Etz

liitunud: 27.01.2005



Autoriseeritud ID-kaardiga

sõnum 12.02.2017 22:04:18 vasta tsitaadiga

Renka kirjutas:
SFil on ilmselgelt põhjusega piirang peal. API on ju olemas mida kasutada - see koormab vähem nende infrat ja on mõeldud täpselt selleks mida sa teha tahad. Sellepärast on ka selline piirang peale pandud tõenäoliselt.


No ma ei saa nüüd just öelda, et ma nende infrat eriliselt koormaks, tehes kord nädalas kümmekond (Alla kümne tegelikult) päringut. icon_rolleyes.gif
Aga mõistlik oleks ilmselt API peale ringi kolid jah, paraku FossHub'il näiteks API't pole.

Tegelt oli asja point selles, et kui asju korrekselt teha...
Siis ei tohiks ka saidi omanikul väga selle vastu miskit olla, et nende saiti aegajalt mõni bot külastab ja UA ei puhu siin vähimatki pilli.

_________________
...life is random...so am I...
So, there is a fan. Time to grab your sh*t, gentlemen!
Kommentaarid: 223 loe/lisa Kasutajad arvavad:  :: 0 :: 0 :: 192
tagasi üles
vaata kasutaja infot saada privaatsõnum
napoleon
Unknown virus
napoleon

liitunud: 08.12.2008



Autoriseeritud ID-kaardiga

sõnum 14.02.2017 16:04:44 vasta tsitaadiga

Etz kirjutas:

Pigem mind huvitab, mille järgi sa selle kindlaks teed, kui bot on normaalselt tehtud ja käitub viisakalt. icon_razz.gif


Suurema osa bot-e tuvastad selle järgi, et bot ei lae alla lehel olevaid pilte, skripte, stylesheete jms. Aga kui üritad teha nii targa bot'i, mis need kõik alla laeb ja http referrer'i ka õige paned, et paistaks nagu browser, siis tänapäevastel lehtedel on täiesti tavaline nähtus ka ajax jms. asjad, kus (java)scriptiga midagi täiendavalt laetakse. Et see ka toimiks, selleks peab bot juba nii tark olema, et suudab lehe ära parsida ja skriptid ka käima lasta. Ehk mingi põlveotsas kirjutatud bot'i tuvastamine pole mingi raketiteadus ja kui vastavad meetmed tarvitusele võtta, siis pole ka targema bot'i tuvastamine midagi üle mõistuse keerulist. Iseasi muidugi kas nende bot-dega peab niiväga võitlema, mis vaid paar päringut teevad ja need päringud pole sellised, mis viitaks turvaaukude otsimisele vms.
Kommentaarid: 76 loe/lisa Kasutajad arvavad:  :: 0 :: 0 :: 59
tagasi üles
vaata kasutaja infot saada privaatsõnum
LKits
HV Guru
LKits

liitunud: 06.09.2007




sõnum 14.02.2017 21:11:59 vasta tsitaadiga

napoleon, lihtsalt teadmiseks, et siis lakkavad töötamast ka no script, no images lehitsejad,mis iseenesest on väga väike vähemus.

Ei näe mingit põhjust, miks peaks serverit veel eriti koormama selle kõigega, et pilte jms alla laadida. Aga no kui legit simulatsioon on nii oluline, siis igati teostatav.

_________________
itLahendused - Arvutite remont ja hooldus, veebilehtede loomine, soodne veebimajutus. Võta ühendust! Tel: +372 555 268 97 ja e-post info@itlahendused.ee
Kommentaarid: 13 loe/lisa Kasutajad arvavad:  :: 0 :: 0 :: 13
tagasi üles
vaata kasutaja infot saada privaatsõnum mine selle kasutaja kodulehele
näita postitusi alates eelmisest:   
uus teema   vasta Tarkvara »  Programmeerimine »  Datamining mine lehele eelmine  1, 2
[vaata eelmist teemat] [vaata järgmist teemat]
 lisa lemmikuks
näita foorumit:  
 ignoreeri teemat 
sa ei või postitada uusi teemasid siia foorumisse
sa ei või vastata selle foorumi teemadele
sa ei või muuta oma postitusi selles foorumis
sa ei või kustutada oma postitusi selles foorumis
sa ei või vastata küsitlustele selles foorumis
sa ei saa lisada manuseid selles foorumis
sa võid manuseid alla laadida selles foorumis



Hinnavaatlus ei vastuta foorumis tehtud postituste eest.