Transformer components such as non-linear activations and normalization are inherently non-injective, suggesting that different inputs could map to the same output and prevent exact recovery of the input from a model's representations. In this paper, we challenge this view. First, we prove mathematically that transformer language models mapping discrete input sequences to their corresponding sequence of continuous representations are injective and therefore lossless, a property established at initialization and preserved during training. Second, we confirm this result empirically through billions of collision tests on six state-of-the-art language models, and observe no collisions. Third, we operationalize injectivity: we introduce SipIt, the first algorithm that provably and efficiently reconstructs the exact input text from hidden activations, establishing linear-time guarantees and demonstrating exact invertibility in practice. Overall, our work establishes injectivity as a fundamental and exploitable property of language models, with direct implications for transparency, interpretability, and safe deployment.
Näib, et LLM ei olegi must kast, mille sisust me midagi ei tea, vaid on jälgitav.
Uudis ise on mõned nädalad vana ja selle kohta leiab YT erinevaid kommentaare. Arvan, et on alati oluline tutvuda algallikaga. _________________ All it took was for a lot of seemingly decent people to put the wrong person in power, and then pay for their innocent choice.
Hehee. Aga eks vaesed advokaadibürood peavad ju ka millestki elama. _________________ The biggest delusion is that there are causes other than your own state of consciousness. - Neville Goddard
Kui asi nii jätkub, pole sel viisil loodud videomängud enam kunst.
See on kõigega nii, mis AI genereerib. Uus reaalsus. Varem oli looming protsess, mille käigus sa lõid midagi, õppisid juurde ja selle tulemusena toimus kunstniku individuaalne areng. Kopeerides varasemate kunstnike loomingut, täiustasid ning andes omapoolse panuse, lõid midagi täiesti uut. Nüüd on ainus võime, mida vajad prompt engineering. Kui AI "sisu" kellegi varasemat loomingut kopeerides valmis genereerib, kas me saame siin rääkida loomingust?
Treeningandmed on kellegi teise poolt loodud intelektuaalne omand. Kes on siin kunstnik? Kas koopiamasinal rohelist nuppu vajutades saab sinust kunstnik? _________________ All it took was for a lot of seemingly decent people to put the wrong person in power, and then pay for their innocent choice.
degrass, Aga näiteks kirjastamisel on alati lisaks kirjanikule koht ka kirjastusmajal ning toimetajatel. Sa vahetad need välja ja võid saada sootuks teistsuguse tulemuse. Sama siin. Koopiamasinaga ei ole protsess tegelikult võrreldav, sest tänane AI ei suuda eriti mitte midagi esimesel katsel valmis saada (kuigi vahel näkkab). Vahel täiustad prompti, vahel lased lihtsalt uuesti ja uuesti teha, et saada just see õige tulemus. Öeldakse, et fotograafi suurus tuleb tema prügikasti suurusest. Ehk siis - ta peab võtma palju kaadreid ja valdava enamiku nendest armutult välja praakima. Aga fotograaf on selles protsessis loovisik, kuigi lihtsalt kopeerib 3D maailma 2D kaadrisse. Lisaks prügikastile peab tal veel olema teadmine ja silm, et osata halb välja praakida. Sama kirjastusel, toimetajatel. AI-graaf on ka midagi sarnast - kui prügikast on mahukas. _________________ The biggest delusion is that there are causes other than your own state of consciousness. - Neville Goddard
Ilmslet täitub YT juba praegu jõudsalt selliste 'suprestaaride'' kanalitega - nad on lihtsalt kõik algusjärgus ja YT soovitab ka AI materjali pika hambaga. Ainus, mis päris asjast maha jääb, on lipsynci puudumine. Seda on esialgu veel usutavalt raske teha.
Link _________________ The biggest delusion is that there are causes other than your own state of consciousness. - Neville Goddard
sa ei või postitada uusi teemasid siia foorumisse sa ei või vastata selle foorumi teemadele sa ei või muuta oma postitusi selles foorumis sa ei või kustutada oma postitusi selles foorumis sa ei või vastata küsitlustele selles foorumis sa ei saa lisada manuseid selles foorumis sa võid manuseid alla laadida selles foorumis
Hinnavaatlus ei vastuta foorumis tehtud postituste eest.
:: KKK
:: otsing 
:: statistika
:: kasutajate nimekiri
:: kasutajate grupid
:: registreeri
teata moderaatorile
Spoiler 
