[arvutisõber]

Oleks tarvis programmi, mis salvestaks kogu HTMLi peale igat leheküljel toimuvat muudatust.
Kas Firefoxile on võimalik programmeerida sellist add-on`i, mis käivituks kohe Firefoxi avamisel ja suunduks soovitud veebiaadressile? Taustal jookseks samaaegselt desktop rakendus, mis parsiks salvestatud koodist välja kõik vajaliku informatsiooni ja salvestaks selle andmebaasi.
Või oleks võimalik luua Java programm, mis avaks programmi käivitamisel mõne Javas tehtud veebibrowseri ja koguks kokku kõik lehel kuvatava HTML koodi ning parsiks sealt vajaliku info välja ilma seda eraldi faili salvestamata?

http://stackoverflow.com/questions/943927/embed-a-web-browser-within-a-java-application

[Fukiku]

Peamiselt küll automaattestimiseks mõeldud tööriist, aga soovi korral võimaldab ilmselt ka salvestada, mida vaja - JMeter. Olen ise küllaltki keerulisele veebile koormusteste teinud selle tarkvaraga. Samas kipub ta aegajalt päris keeruline olema, et panna teda tegema seda, mida sa tahad.

Pealegi - kui sul on vaja ainult lehe sisu kätte saada, siis pole üldse vaja mingite brauserikomponentidega mehkeldada ju, sest sul ei ole vaja sisu kuvada vaid ainult parse'da. Seega ise ehitamiseks on vaja mingit HTTP teeki, et infot saata ning vastuvõtta ja HTML-parserit.

[riaak]

Python + BeautifulSoup?

Või kui tahad näha, mis reaalselt toimub, ning vaja ka JS ja muud jooksutada, siis Python + Selenium.

Mõlemad väga lihtsad abimehed, kui vähegi Pythonit mõistad.

[Deadlock]

Seleniumi library võimaldab Javas päris browseri avada ja kontrollida. Parsib ka javascripti loodud contenti ära, ehk siis saab sellistest kohtadest ilusti info kätte nagu Google ja Facebook.
Olen kasutanud seal Firefoxi, Internet Exploreri ning Chrome drivereid. Kõige stabiilsem nendest on tundunud Chrome siiamaani. Kui päris browserit avada ei taha, siis on veel HtmlUnit driver, mis päris browserit tööle ei pane, aga käitub enam-vähem nagu korralik browser. Üldiselt olen tähele pannud, et päris failsafe pole ükski neist. Ise midagi parsima ei pea, vaid saad elemente küsida nii ID kui ka teiste argumentide järgi. Oluline on jätta piisavalt suur timeout.