[erikliiv]

Hoian püsti ühte pisikest foorumit. phpBB2 (u. 300külastust, 30postitust päevas)
Viimasel ajal on tõusnud andmeedastus +30gb/kuus

Uurisin statistikat ja tuleb välja, et:
69.5% USA Äridomeenid

Mida ette võtta? Kas google-bot käib andmeedastust närimas? 8)
Jama lihtsalt selles, et kui asi nii jätkub, siis pean hakkama juurde maksma...

[kaabakas]

Bottide vastu aitab robots.txt

[erikliiv]

[mikk36]

erikliiv, kui tahad et nad külastaks, siis ei jää muud üle lihtsalt

[erikliiv]

[mikk36]

url rewritinguga saad ehk suunata robots.txt päringu näiteks php scriptile, mis siis vastavalt sinu soovile ehk käituks
paremat varianti ei ole

[hanz]

üldiselt soovitaksin lihtsalt bandwidth'i juurde osta, kuna Google'it pole kunagi liiga palju... noh, vähemalt, kui sa soovid, et su foorum kasvaks.

aga ehk keegi seletab mida tähendab USA äridomeen? biz.us? kindlasti keegi seda omab, aga Google jääb siiski tavalise .com'i juurde.

[Cemtey_old]

.. kustutatud ..

[Aq]

[mikk36]

Aq, see kehtib ainult google'i boti kohta, teisi bote ei anna piirata

[Aq]

[mikk36]

Yahoo Slurp on järgmine oma aktiivsuselt, minul aasta jooksul sikutas pool google'i poolt sikutavast mahust

samas, tõsi, ühel teisel saidil, mille kohta mul server statistikat genereerib juhtis google ~20x oma mahuga

korraliku statistikamootoriga on kõik ilusasti näha et mis bot kui palju uudistanud on

[Aq]

Ajaaa... ma ikka ei saa jätta teooriaid rakendamata

Kõige loogilisem - lehe omanikul on mingi "vahva sisu" seal foorumis (no näiteks nagu meil Naljakad pildid vol I ja II), mida siis kasutajad automatiseeritud progedega alla kakkumas käivad.

Isegi seukest nalja teinud

[Cemtey_old]

.. kustutatud ..

[mikk36]

Cemtey, kusjuures, päris tark tegu on jah niiviisi minna ütlema et näe, teil on valesti midagi
sama hästi võin ma öelda et teil on valesti praegu ja ma nimetaksin sinu kommentaari ainult konkurendi maha tegemise eesmärgil olevaks

[mks]

[mikk36]

[mks]

[mikk36]

[Cemtey_old]

.. kustutatud ..

[mikk36]

Cemtey, küsimus, miks alcapar.com adsl'i pealt jookseb ?

C:\Users\Mikk36>nslookup alcapar.com
Server: keskus.lakrito.local
Address: 10.0.0.2:53

Non-authoritative answer:
Name: alcapar.com
Address: 213.219.99.10


C:\Users\Mikk36>nslookup 213.219.99.10
Server: keskus.lakrito.local
Address: 10.0.0.2:53

Name: adsl13100.estpak.ee
Address: 213.219.99.10

[Cemtey_old]

.. kustutatud ..

[mikk36]

jah, hetkel on lausa nii piisav nett et lausa 4 sekundit saadab teie esilehte minuni (ei minu poolt ei ole nett aeglane, kuni 1MB/s tuleks alla)
ei näita just heast küljest teid

12h'ga saab lepingud ümber tehtud, serverid kolitud, dns'id muudetud jne kolimisega seotud asjad tehtud ?

[mks]

[vopski]

to Cemtey
Saa juba aru et sinu teguviis ei ole õige.
Mis Netpointi puutub siis nemad teenindavad miljoneid e-maile, sinu server kõigest paari tuhandet arvan ma. Kui nüüd sinu lauaarvutisse mis on "server" ja saab ühendust ADSL ühenduse kaudu selline liiklus sisse suunata oled samuti käpuli.
Pealegi sa pole saanud vist ärimaailma headest tavadest aru.
Vasta ka küsimusele, miks sul asub server ADSL ühenduse taga?

[erikliiv]

[mks]

[Aq]

Google vastu ma ju andsin lahenduse põhimõtteliselt.

Aga lisaks sellele võib veel ka vaadata, kuidas piirata leheküljelt andmete edastamis. Näiteks võimaldavad need BB süsteemid ühe ja sama teema piires mitmeid (isegi kümneid) erinevaid vaateid - st küll üks postitus lehel, küll 100 tükki lehel, vanemad ees, uuemad ees jne... Kui need on tekstilingid, käib Google need kõik läbi (iseasi kas ta nad kõik ka indekseerib).

Veel üks probleem, mis kohe mul peast läbi käib ja mis võimalik on - ega Sul ometi mitte sessiooni ID-d URLi abil edasi ei anta. Või ega ei ole nii, et muul moel on URLid ALATI erinevad. See on kõigile osapooltele halb.

Lehte ennast nägemata ei oska rohkem nõu andagi hetkel... või eks kui miskit meelde tuleb ma jälle postitan

[Cemtey_old]

.. kustutatud ..

[Max Powers]

[mikk36]

[erikliiv]

Või äkki oli tegemist ajutise põntsuga. Google'st saadud graafik ehmatab küll korraks ära...

[Aq]

Aga äkki see oli esimene kord, kui Google avastas Sinu lehe või vähemalt avastas seal oleva suuremahulise sisu.

Kasuks võib tulla ka Google Sitemap genereerimine. Sellega saad anda edasi infot selle kohta, millised lehed on muutunud jne, kuid ma ei tea tõesti kas BB-dele ja milliseid genereerijaid olemas on...

[erikliiv]

[Aq]

Teenusepakkuja tahab vist raha teenida... Muide, võid PSi teel teada anda, kellega tegemist on (teenusepakkuja osas).

Robots.txt-st (ja tegelt ka meta abil keelamisest). Minu "pikaajaline observatsioon" on pannud Googlebot'i puhul tähele mitmeid anomaaliaid. Ma ei taha väga julgelt Googleboti sõimata, kuna mõned neist anomaaliatest on vähemalt teoreetiliselt põhjendatavad. Aga - igasugune robots.txt abil ärakeelamine on "pikka vinnaga" vähemalt Googlebot puhul. Tal ikka läheb aega, enne kui aru saab, et tõepoolest on keelatud. Teine asi... kui ei taha avalikult oma lehte teada anda, võid mulle ka selle aadressi PSi teel edastada. Ma ei saa mingit põhjalikku analüüsi teha (praegu väga kiire aeg), aga võibolla üks koma kaks soovitust suudan anda.

Seniks, kuni asju normaalsetesse piiridesse suruda, võiks tõesti vist suurendada andmeedastusmahtu... Kõiksugu muutused võtavad päris kaua aega. Mina ise olen näiteks hakanud optimeerima oma lehte juba siis, kui 1/3 lubatavast mahust täidetud on... igaks-juhuks...

"USA äridomeenide" kui säherduse keelamine vist on isegi võimalik. Probleem on aga selles, et nii mõnigi Eesti päritolu mazzin tuvastub serveri jaoks USAst tulevaks, siis neil kah ligipääs puudub. Server mingit ip-aadressi jälitamist minuteada küll ei tee... aga pole serverite ekspert... juhendeid kah selles osas ei oska anda...

Lisan hiljem. Ühte blokeerimist ma siiski kah oskan. .htaccess faili:
deny from 84.50.235.85
Näiteks... aitab väga hästi, kui spämmija tuleb ühelt ip-aadressilt. Teor. saab ka niimoodi domeene/ip-vahemikke blokeerida... Uuri välja, mis ip spämmib...

[Traf]

Lülita phpBB2'l kindlasti gzip-pakkimine sisse, saad seda teha adminipaneelis üldise konfiguratsiooni all. Endal vähenes ühe html-lehe suurus umbes 8 korda ja igakuine bandwidth umbes 6 korda, kui nii tegin.

edit: statistikat uurides saad kindlaks teha, mis sul kõige rohkem andmeedastust sööb. Kui tegu on html lehtedega (statistikas näitab päringuid .php lõpulistele aadressidele) siis on gzip kindlasti abiks.

[erikliiv]

[Traf]

Ma keelasin ka alguses robotid ära, aga peale gzipi kasutusele võtmist jäi mul nii palju andmeedastust üle, et sain robotitele uuesti rohelise tule anda.