[Tanel]

Tehisintellekti kolimine pilveserveritest otse taskuseadmetesse on tehnoloogiamaailma kuumim trend, kuid see nõuab meeletut andmemahtu ja ennenägematut kiirust. Selle jaoks ongi Samsung välja toonud uutmoodi mobiilseadmete mälu UFS 5.0.

Uue lahenduse andmeedastuskiirus ulatub 10,8 gigabaidini sekundis (GB/s) lugemisel ja 9,5 GB/s kirjutamisel. Need on numbrid, mis ületavad eelmise põlvkonna (UFS 4.1) standardi kiiruseid enam kui kahekordselt. Praktikas tähendab see, et tohutud andmehulgad, mida tehisintellekt vajab reaalajas vastuste genereerimiseks, liiguvad mälust protsessorisse väga väikese viitega.

Loe edasi: https://www.am.ee/samsungi-uus-ulikiire-ufs-50-malu-toob-tehisaru-pilvest-taskusse

[erick]

Ei taha paraadile vett kaela valada, aga 10,8GB/s pole nüüd küll AI tokenite genereerimiseks piisav kiirus. Tokens per second skaleerub üsna täpselt koos RAM'i kiirusega eeldusel, et mälu maht pole piirav faktor. Redditist leiab kirjelduse, kus 13b 4/5bit ggml mudelit jooksutanud entusiast kirjeldab, et DDR3 1600MHz peal (25,6GB/s) genereeris mudel talle 1.4 token/s. Võib ise järeldused teha, mis oleks võimalik 10,8GB/s peal.

[Outenter]

Klassikaline reklaammöla millel pole päris maailmaga mingit pistmist. See on see kui tootjaid ei sunnita garanteerima reklaamis lubatut.

Reaalne tulemus on pigem see, et kasutaja ei lähe oodates, viha pärast, näost lillaks vaid kõigest tumepunaseks.

[atari_]

Need siiski jah vaid salvestusmeedia kiibid.

Uute kiiremate kiipide pluss vaid selles, et kõiksugu otse telefonis jooksvad ai mudelid laevad kiiremini. Mõned äpid, mil oma paari gigane mudel telefonis ~ heli tekstiks, pilditöötlsjus jne, saavad nüüd "kettalt" kiiremini oma mudeleid laadida, telefoni piiratud rami juures, kus mitu tükki korraga mällu ei pruugi mahtuda. nt kui üritad kasutada mitut sellist äppi kõrvuti ja liigud äpist äppi.

Aga sõnastus jätab jah veidi sellise mulje, justkui see kuidagi ai tööd kiirendaks.