[Rauno266]

Tere

On vaja töödelda ühte faili, milles on sees ostuandmed. Failist loen kõigepealt välja, mitu erinevat toodet mingil ajaperioodil müüdi (Erinevad tooted on listis).
Näiteks: Klient 1 ostis Raamatu 1 ja Raamatu 3, Klient 2 ostis Raamatu 1 ja Raamatu 4. Siis listi sisu oleks Raamat 1, Raamat 3 ja Raamat 4.

Edasi tahan koostada risttabeli toodetest, et arvutada välja kui tihti osteti mingeid tooteid omavahel koos.
Näiteks:
Raamat 1, Raamat 3, 25 korda
Raamat 1, Raamat 4, 15 korda
Raamat 3, Raamat 4, 2 korda

Selline asi on igas olukorras lihtne, kui müüdigi ainult kolme erinevat toodet. Minu ostuandmete failis on aga 900000 rida ning ajaperioodi jooksul on müüdud 16470 erinevat raamatut. Nüüd kui moodustada lihtne risttabel raamatutest, siis saan ~270mln erinevat paari. Kuna järjekord paaris (Raamat 1, Raamat 3 = Raamat 3, Raamat 1) ei ole oluline, siis saan selle listi suuruse jagada kahega. Lisaks ei moodustu paare samast tootest (Raamat 1, Raamat 1), ning seetõttu saab listist eemaldada veel 16470 kirjet.

Nüüd, kui enamvähem sain kirjeldatud probleemi, küsiksingi, kuidas seda risttabelit koostada oleks kõige efektiivsem. Minu ponnistused päädisid sellega, et kasutasin nested loopi, kus ma loopin mõlemas loopis üle erinevate raamatute listi (16470 kirjet)

foreach(int i = 0; i < goods.Count; i++){
foreach(int j = 1; j<goods.Count; j++){
if( j > i){
CalculatePurchases(goods[i],goods[j]);
}
}
}

Selle implementatsiooniga käis kõiki kirjeid läbi umbes 50min, mis on natuke aeglane minu jaoks. Arvutil on i5-4690k prose ning 16GB RAM-i. Viga ei tohiks olla arvutis. Algoritm on tehtud kiirelt esimese selgushetke peale ja ei oska hetkel ise oma koodis nõrkasid kohtasid leida. Sisuliselt siis mida ma teha tahan on leida kõik kahest tootest koosnevad kombinatisoonid. Kas keegi on midagi sellist varem teinud? Või oskab soovitada mingeid classe, mida kasutada selliste tegevuste jaoks (HashSet ei aidanud).

[Timukas0]

Ei tea täpselt CalculatePurchases sisu, aga eeldatavasti saaksid sama asja teha juba faili läbi lugedes.
Nt on looad array purchases ja hakkad faili lugema:
1. rida "Klient 1 ostis Raamatu 1 ja Raamatu 3": puchases[1][3]++;
2. rida "Klient 2 ostis Raamatu 1, Raamatu 3 ja Raamatu 4": puchases[1][3]++; purchased[1][4]++; puchases[3][4]++;
...

Ei tea C# eripärasid. Kui saad, loo see array dünaamiliselt; kui mitte, siis käi fail ühe korra läbi, loo tühi array (16470*16470) ja siis teise loopiga lisa arvud.

[blinx]

Ma ei tea, kas saan õigesti aru, aga kui on failis Klient 1 ostis Raamatu 1 ja Raamatu 3, Klient 2 ostis Raamatu 1 ja Raamatu 4 jne., ja vaja on ainult arvutada välja kui tihti osteti mingeid tooteid omavahel koos, siis tee Dictionary<string,uint> dict;
1. Vaata dict.containskey("raamat1raamat2"), kui jah siis value++; (containskey on O(1) operation)
Tõenäoliselt on paremaid lahendusi veel.

[HellWalKeR]

[sigakoer]

Eeldusel et tavaliselt ühekorraga ostetakse ainult mõni raamat, mitte tuhandeid erinevaid korraga, siis oleks mõttekam arvet pidada perioodi vältel ostetud raamatukombinatsioonide endi üle -- mis tegelikult ongi ju see mida vaja.

Ehk siis võtta aluseks objekt nagu kombinatsioon, a la Combo(raamatA, raamatB), kus raamatA ja raamatB on alati ühes, ISBN või nime vms alusel sorteeritud järjekorras.

Näiteks kui inimene ostab 4 raamatut 1-4, siis oleks löödaks see tellimus lahti seal esinenud raamatukombinatsioonide massiiviks

[wrx123]

[andresv]

Kuna sul eeldatavasti vaja ainult ülemist otsa nendest koos ostetud raamatutest, siis uuri count-min algoritmi ning mälu jääb ülegi.
http://en.wikipedia.org/wiki/Count%E2%80%93min_sketch