praegune kellaaeg 26.04.2024 17:17:04
|
Hinnavaatlus
:: Foorum
:: Uudised
:: Ärifoorumid
:: HV F1 ennustusvõistlus
:: Pangalink
:: Telekavad
:: HV toote otsing
|
|
autor |
sõnum |
|
Etz
HV Guru
liitunud: 27.01.2005
|
12.02.2017 22:42:53
|
|
|
Renka, ja LKits, no teatud juhtudel on see täitsa vajalik, kõik sõltub lehevaldaja suvast, on lehti kust saad vasta hambaid kui su UA ei matchi ühtegi tuntud brauseriga.
Mitte, et ma nüüd otseselt data mininguga tegeleks...
_________________ ...life is random...so am I...
So, there is a fan. Time to grab your sh*t, gentlemen! |
|
Kommentaarid: 223 loe/lisa |
Kasutajad arvavad: |
|
:: |
0 :: |
0 :: |
192 |
|
tagasi üles |
|
|
Renka
HV Guru
liitunud: 01.04.2002
|
12.02.2017 22:43:28
|
|
|
Etz kirjutas: |
Renka, ja LKits, no teatud juhtudel on see täitsa vajalik, kõik sõltub lehevaldaja suvast, on lehti kust saad vasta hambaid kui su UA ei matchi ühtegi tuntud brauseriga.
Mitte, et ma nüüd otseselt data mininguga tegeleks... |
Soh - mis lehed sellised veel on?
_________________ There is no place like 127.0.0.1 |
|
Kommentaarid: 71 loe/lisa |
Kasutajad arvavad: |
|
:: |
2 :: |
1 :: |
61 |
|
tagasi üles |
|
|
Etz
HV Guru
liitunud: 27.01.2005
|
12.02.2017 22:51:51
|
|
|
Renka kirjutas: |
Soh - mis lehed sellised veel on? |
Sourceforge näiteks, proovi sealt midagi skriptiga tirida...saad redirect loopi.
Seega mina tudvustan end seal wget'ina, ehk siis faken UA'd ja teie loogika alusel sooritan sellega räige kuriteo.
Ma nimelt scrapen mõningate installikate versiooni numbreid ja teen nende alusel autoupdatet.
Teine tore koht on FossHub mis on vabavara seas populaarseks muutunud...
Renka kirjutas: |
Iga normaalne bot annab UA stringiga teada kes ta on. Kui ma avastan lehel miski boti mis väidab, end brauser olevat sisi see IP saab automaatselt banni. |
Pigem mind huvitab, mille järgi sa selle kindlaks teed, kui bot on normaalselt tehtud ja käitub viisakalt.
_________________ ...life is random...so am I...
So, there is a fan. Time to grab your sh*t, gentlemen! |
|
Kommentaarid: 223 loe/lisa |
Kasutajad arvavad: |
|
:: |
0 :: |
0 :: |
192 |
|
tagasi üles |
|
|
Renka
HV Guru
liitunud: 01.04.2002
|
|
Kommentaarid: 71 loe/lisa |
Kasutajad arvavad: |
|
:: |
2 :: |
1 :: |
61 |
|
tagasi üles |
|
|
Etz
HV Guru
liitunud: 27.01.2005
|
12.02.2017 22:54:05
|
|
|
Kõikidel saitidel ei ole API't...
_________________ ...life is random...so am I...
So, there is a fan. Time to grab your sh*t, gentlemen! |
|
Kommentaarid: 223 loe/lisa |
Kasutajad arvavad: |
|
:: |
0 :: |
0 :: |
192 |
|
tagasi üles |
|
|
Renka
HV Guru
liitunud: 01.04.2002
|
12.02.2017 22:58:43
|
|
|
Etz, ja kas neil kõikidel siis on ka UA stringi miski piirang peal?
SFil on ilmselgelt põhjusega piirang peal. API on ju olemas mida kasutada - see koormab vähem nende infrat ja on mõeldud täpselt selleks mida sa teha tahad. Sellepärast on ka selline piirang peale pandud tõenäoliselt.
_________________ There is no place like 127.0.0.1 |
|
Kommentaarid: 71 loe/lisa |
Kasutajad arvavad: |
|
:: |
2 :: |
1 :: |
61 |
|
tagasi üles |
|
|
Etz
HV Guru
liitunud: 27.01.2005
|
12.02.2017 23:04:18
|
|
|
Renka kirjutas: |
SFil on ilmselgelt põhjusega piirang peal. API on ju olemas mida kasutada - see koormab vähem nende infrat ja on mõeldud täpselt selleks mida sa teha tahad. Sellepärast on ka selline piirang peale pandud tõenäoliselt. |
No ma ei saa nüüd just öelda, et ma nende infrat eriliselt koormaks, tehes kord nädalas kümmekond (Alla kümne tegelikult) päringut.
Aga mõistlik oleks ilmselt API peale ringi kolid jah, paraku FossHub'il näiteks API't pole.
Tegelt oli asja point selles, et kui asju korrekselt teha...
Siis ei tohiks ka saidi omanikul väga selle vastu miskit olla, et nende saiti aegajalt mõni bot külastab ja UA ei puhu siin vähimatki pilli.
_________________ ...life is random...so am I...
So, there is a fan. Time to grab your sh*t, gentlemen! |
|
Kommentaarid: 223 loe/lisa |
Kasutajad arvavad: |
|
:: |
0 :: |
0 :: |
192 |
|
tagasi üles |
|
|
napoleon
Unknown virus
liitunud: 08.12.2008
|
14.02.2017 17:04:44
|
|
|
Etz kirjutas: |
Pigem mind huvitab, mille järgi sa selle kindlaks teed, kui bot on normaalselt tehtud ja käitub viisakalt. |
Suurema osa bot-e tuvastad selle järgi, et bot ei lae alla lehel olevaid pilte, skripte, stylesheete jms. Aga kui üritad teha nii targa bot'i, mis need kõik alla laeb ja http referrer'i ka õige paned, et paistaks nagu browser, siis tänapäevastel lehtedel on täiesti tavaline nähtus ka ajax jms. asjad, kus (java)scriptiga midagi täiendavalt laetakse. Et see ka toimiks, selleks peab bot juba nii tark olema, et suudab lehe ära parsida ja skriptid ka käima lasta. Ehk mingi põlveotsas kirjutatud bot'i tuvastamine pole mingi raketiteadus ja kui vastavad meetmed tarvitusele võtta, siis pole ka targema bot'i tuvastamine midagi üle mõistuse keerulist. Iseasi muidugi kas nende bot-dega peab niiväga võitlema, mis vaid paar päringut teevad ja need päringud pole sellised, mis viitaks turvaaukude otsimisele vms.
|
|
Kommentaarid: 76 loe/lisa |
Kasutajad arvavad: |
|
:: |
0 :: |
0 :: |
59 |
|
tagasi üles |
|
|
LKits
HV Guru
liitunud: 06.09.2007
|
|
Kommentaarid: 13 loe/lisa |
Kasutajad arvavad: |
|
:: |
0 :: |
0 :: |
13 |
|
tagasi üles |
|
|
|
lisa lemmikuks |
|
|
sa ei või postitada uusi teemasid siia foorumisse sa ei või vastata selle foorumi teemadele sa ei või muuta oma postitusi selles foorumis sa ei või kustutada oma postitusi selles foorumis sa ei või vastata küsitlustele selles foorumis sa ei saa lisada manuseid selles foorumis sa võid manuseid alla laadida selles foorumis
|
|
Hinnavaatlus ei vastuta foorumis tehtud postituste eest.
|