[Tanel]

Tehisintellekti kolimine pilveserveritest otse taskuseadmetesse on tehnoloogiamaailma kuumim trend, kuid see nõuab meeletut andmemahtu ja ennenägematut kiirust. Selle jaoks ongi Samsung välja toonud uutmoodi mobiilseadmete mälu UFS 5.0.

Uue lahenduse andmeedastuskiirus ulatub 10,8 gigabaidini sekundis (GB/s) lugemisel ja 9,5 GB/s kirjutamisel. Need on numbrid, mis ületavad eelmise põlvkonna (UFS 4.1) standardi kiiruseid enam kui kahekordselt. Praktikas tähendab see, et tohutud andmehulgad, mida tehisintellekt vajab reaalajas vastuste genereerimiseks, liiguvad mälust protsessorisse väga väikese viitega.

Loe edasi: https://www.am.ee/samsungi-uus-ulikiire-ufs-50-malu-toob-tehisaru-pilvest-taskusse

[erick]

Ei taha paraadile vett kaela valada, aga 10,8GB/s pole nüüd küll AI tokenite genereerimiseks piisav kiirus. Tokens per second skaleerub üsna täpselt koos RAM'i kiirusega eeldusel, et mälu maht pole piirav faktor. Redditist leiab kirjelduse, kus 13b 4/5bit ggml mudelit jooksutanud entusiast kirjeldab, et DDR3 1600MHz peal (25,6GB/s) genereeris mudel talle 1.4 token/s. Võib ise järeldused teha, mis oleks võimalik 10,8GB/s peal.