Budućnost| Eksperimenti u blogovanju| Nauka| Planeta| Život

Veštačka inteligencija: zebnja ili nada?

Dragan Pleskonjic RSS / 24.08.2017. u 09:54

U proteklih par meseci je, u različitim medijima, "buknula" diskusija oko uloge veštačke inteligencije u budućnosti. Nekoliko poznatih ljudi iz sveta nauke, biznisa, politike i drugih branši se uključilo u raspravu.

Sa jedne strane, veštačka inteligencija i mašinsko učenje nude brojne pogodnosti i unapređenja. Već danas postoje oblasti u kojima se proizvodi i usluge bazirani, u određenoj meri, na veštačkoj inteligenciji i mašinskom učenju, vrlo uspešno primenjuju.

Sa druge strane postoji bojazan da bi mogla preuzeti poslove i neke ljude ostaviti bez prihoda, biti primenjena u destruktivne svrhe, a čak da bi se mogla i oteti kontroli i početi da upravlja ljudima. 

U sklopu istraživanja u kome pokušavam da proverim kako ljudi vide veštačku inteligenciju i budućnost sa njom, postavio sam anketu na Tviteru.

Kliknite ovde da biste videli anketu na Tviteru!

Pitanje je:

Further development of artificial intelligence for you is more❓
- Fear
- Hope
- Don't know

U prevodu, kada razmišljate o veštačkoj inteligenciji, za vas je to više:

- Zebnja (strah),

- Nada ili

- Ne znate (još uvek ne možete da se opredelite).

Zamolio bih da uzmete učešća u anketi.

Takođe, zamolio bih i da je raširite da što više ljudi vidi i da učestvuje u anketi (narodski rečeno da šerujete, retvitujete i slično). Puno biste pomogli. 

Hvala svima koji uzmu učešća i prošire ovu anketu dalje.

Napomena: Nisam pisao širi tekst na ovu temu jer ne bih da direktno ili indirektno utičem na odgovore. Planiram da napišem o tome malo više u budućnosti, bazirano na saznanjima, istraživanjima i iskustvu. Komentari i razmišljanja na ovu temu su dobrodošli.

P.S. Letnje vreme, pa zato postavljam ove "lagane" zabavne teme. :-)

P.P.S. Ako se zateknete u Luksemburgu ili bližoj okolini 24. oktobra 2017., svratite. Pričaćemo šta se dešava kada se "sretnu" mašinsko učenje i informaciona bezbednost.

Data Science Luxembourg - Machine Learning meets Security 



Komentari (333)

Komentare je moguće postavljati samo u prvih 7 dana, nakon čega se blog automatski zaključava

princi princi 19:01 25.08.2017

Re: I jedno i drugo

Dragan Pleskonjic
princi
robolawyers

Sumorno.

Ja mislim da će ti robolawyers i nanolaws biti novi metodi distrakcije i zaokupljanja naše čitave ličnosti. Znači, mi sada voljno idemo na FB ili ovaj blog, i tu sedi na hiljade nekih ljudi čiji je jedini posao da zadrže našu pažnju; kad ovo zaživi, to uopšte neće biti neophodno, držaće te na hooku da bi preživeo.
alselone alselone 19:11 25.08.2017

Re: I jedno i drugo

Ja mislim da će ti robolawyers i nanolaws biti novi metodi distrakcije i zaokupljanja naše čitave ličnosti. Znači, mi sada voljno idemo na FB ili ovaj blog, i tu sedi na hiljade nekih ljudi čiji je jedini posao da zadrže našu pažnju; kad ovo zaživi, to uopšte neće biti neophodno, držaće te na hooku da bi preživeo.


Ovo zvuci skroz moguce.
docsumann docsumann 19:19 25.08.2017

Re: I jedno i drugo

Drugarice i drugari, spremite se za svet robolawyers.


reče li ono stef da je ovo godina Filipa K. Dika?

Dragan Pleskonjic Dragan Pleskonjic 08:39 25.08.2017

Umetnost

Muzika, komponovanje:

A New AI Can Write Music as Well as a Human Composer

Poezija
Ovo sam postavljao u nekom komentaru ranije, treba prepoznati šta je pisao čovek, a šta "mašina":

Digital Writers' Festival quiz

P.S. Malo čudna poezija za moj pojam, ali se ne razumem.
anfieldroad anfieldroad 14:01 25.08.2017

kad AI



Kad AI postane samodovoljna i potpuno nezavisna od našeg inicijalnog energetskog dopinga, nastaće nova forma života.
Ali i ona će evoluirati. Jednog dana i ona će zabrinuto razmišljati o svojoj budućnosti. Prokleti besmisao evolucije, mumlaće tada kao za sebe AI entiteti...
Dragan Pleskonjic Dragan Pleskonjic 21:20 25.08.2017

Multidisciplinarnost

Pitanja vezana za AI zahtevaju zaista multidisciplinaran pristup: biologe, psihologe, sociologe, filozofe, antropologe, lekare, tehničke oblasti... - da nabrojim deo. Ako se bude išlo u regulaciju, onda su potrebni pravnici, treba rešavati etikčka pitanja, neki kažu da treba pozvati i teologe.
emsiemsi emsiemsi 22:06 25.08.2017

Re: Multidisciplinarnost

Dragan Pleskonjic
Pitanja vezana za AI zahtevaju zaista multidisciplinaran pristup: biologe, psihologe, sociologe, filozofe, antropologe, lekare, tehničke oblasti... - da nabrojim deo. Ako se bude išlo u regulaciju, onda su potrebni pravnici, treba rešavati etikčka pitanja, neki kažu da treba pozvati i teologe.

Најбаналније речено - мислим да вештачка интелигенција неће бити могућа због садашњег ниског нивоа спознаје о правој интелигенцији.
А ако бих хтео да прогнозирам када ће ниво спознаје о нашој интелигенцији да се издигне до нивоа који би био потребан за креирање вештачке интелигенције, усудио бих се да кажем да ће то бити никада.
disident79 disident79 23:39 25.08.2017

Anketa



U prevodu, kada razmišljate o veštačkoj inteligenciji, za vas je to više:
- Zebnja (strah),
- Nada ili
- Ne znate (još uvek ne možete da se opredelite).

Treća opcija
docsumann docsumann 08:10 26.08.2017

dobro jutro štreberi


nisam pažljivio pratio samo izjašnjavanje na postavljeno pitanje, no, pitam se da li opredjeljenje po ovoj temi daje sličnu raspodjelu left-right kao predstavljanje vanzemaljcau SF filmovima.

da podjetim - postoji jedno uvriježeno mišljenje da su ljevičari skloni pozitivnom prikazu aliena (E.T. recimo), dok desničari posjetioce iz dalekog svemira vide kao zloćudne, agresivne neprijateljski raspoložene stvorove (Stvar, Alien...)

da li nešto slično važi i za ovo o čemu čavrljamo na Draganovom blogu?
Dragan Pleskonjic Dragan Pleskonjic 08:23 26.08.2017

Re: dobro jutro štreberi

Trenutno na Tviteru:

• 12% Fear
• 58% Hope
• 30% Don't know
alselone alselone 09:03 26.08.2017

Re: dobro jutro štreberi

da li nešto slično važi i za ovo o čemu čavrljamo na Draganovom blogu?


Da. Ne znam zasto bi odjednom jace vrste bile dobronamerne prema slabijim. Mi smo jednostavno visak na ovoj planeti i mi je unistavamo. Ne mogu postojati dve dominantne vrste. I AI i vanzemaljci mogu veoma lako zakljuciti da im mi ne trebamo. I to ne samo da im ne trebamo nego a im i smetamo, da smo visak.
Milan Novković Milan Novković 09:09 26.08.2017

Re: dobro jutro štreberi

docsumann

da podjetim - postoji jedno uvriježeno mišljenje da su ljevičari skloni pozitivnom prikazu aliena (E.T. recimo), dok desničari posjetioce iz dalekog svemira vide kao zloćudne, agresivne neprijateljski raspoložene stvorove (Stvar, Alien...)

Nulta cigla, u temljima konzervatizma, ima uklesano "Thou shalt not be progressive"
Milan Novković Milan Novković 09:20 26.08.2017

Re: dobro jutro štreberi

alselone
da li nešto slično važi i za ovo o čemu čavrljamo na Draganovom blogu?


Da. Ne znam zasto bi odjednom jace vrste bile dobronamerne prema slabijim. Mi smo jednostavno visak na ovoj planeti i mi je unistavamo. Ne mogu postojati dve dominantne vrste. I AI i vanzemaljci mogu veoma lako zakljuciti da im mi ne trebamo. I to ne samo da im ne trebamo nego a im i smetamo, da smo visak.

Jače vrste su pain in the neck, kao što smo svakodnevni svedoci svoje sopstvene "muke".

Niko, jbt, neće da nas sluša, osim dečice dok su mali.

Pogotovo nas muškarce (ovo samo da drugarski isprovociram Angie, dok ne vratim avatar sa bujnom flizurom

Imamo dve "stavke" (ima ih koliko hoćeš, kako deliš problemski prostor, koji hoćeš, na način koji hoćeš):

- Teorija igara kaže da je win-win cool, u proseku

- Ali, ako ne umreš mirno, kao čovek, u snu, a ne kao tvoji putnici što vrište od užasa, tj ako te ne ubije prosek, onda mogu da ti dođu glave razna čudovišta.

AI-ish, sasvim moguće. Naime, već u našim glavama imaš "networks", jedna radi, druga ćuti, kad malo popiješ to se ispomera (zamisli samo Srkija P. ili Maksu kad dobro popiju), zaboravi separation of concerns design pattern, tu se više ne zna ni ko pije ni ko plaća.

A dok se mi prevezujemo puževskim brzinama AI će to ko mlaznjak, Blade Runner može da se pokaže kao bajka za decu
alselone alselone 09:25 26.08.2017

Re: dobro jutro štreberi

zamisli samo Srkija P

Cuj zamisli. Doziveo covece!

Kod AI je progresija i samoizmene ono sto je zajebano. Ako AI ikad skonta kako ucenjem sto brze da uci (drugi izvod), sto mi jos nekako i imamo jer sto vise znas to brze usvajas dalje, ali kad na to doda izmene na sebi kako bi brze ucila, sto mi ne mozemo, taj zamajac moze bukvalno od nje da napravi monstruma inteligencije samo u par iteracija. Ovo je naravno malo SF i daleko, ali siguno ne i nemoguce, pitanje je samo kad.
docsumann docsumann 11:46 26.08.2017

Re: dobro jutro štreberi

Da. Ne znam zasto bi odjednom jace vrste bile dobronamerne prema slabijim.


važi i obrnuto - zašto bi superiornije vrste bile neprijateljski raspoložene prema inferionijim?

sumnjam da civilizacije koje su ovledale interkosmičkim putovanjima imaju problem sa oskudiciom egzistencijalnih potreba (prostora, resursa...), odnosno da se osjećaju ugroženim, posebno od strane divljaka kakvi smo upravo mi na kosmičkoj sklai (po Fermijevoj klasifikaciji nismo dostigli nu nultu cicilizacijsku razinu u kosmičkim relavcijama) koji su jeddva u stanju da dobace do svog prirodnog satelita, a kamoli susjedne planete.

što princi spomenu, gorivo za civilizacijski razvoj predstavlja smješa inteleigencije, agresivnosti i altruizma (empatije).
cijenim da vremenom, sa porastom civilizacijskog nivoa, postotak agresivnosti u smješi opada, a pojavljuju se neki novi momenti, neophodni za dalji iskorak.
istinski razvoj započinje osjećajem interkosmičke povezanosti, doživljau svijeta kao jedinstvene cjeline .

ok, priznajem - ovo su čisto moje najgrublje moguće spekulacije.
šta mravi znaju o kitovima?

agresivnost (kod svijesnih bića, a ne kod jedinksi koje djeluju vođene slijepim instinktom) moguće da proističe od straha od nepoznatog, nesigurnosti...saznavajući, kužeći svijet prestaju razlozi za strah (od nepoznatog)

misim, teško mi je da zamislim superiornu inteligenciju, paranoičnu & homofobičnu.

no, možda je to tek efekat (zablude) mog lefty svjetonazora.



Lijeva Ruka Tame vs. Borgs

docsumann docsumann 11:52 26.08.2017

Re: dobro jutro štreberi

Kod AI je progresija i samoizmene ono sto je zajebano.


strange loops

kažu, pobornici materijalističke teorije svijesti, da upravo one u našoj neuralnoj mreži dovode do efekta svijesti.

Ako AI ikad skonta kako ucenjem sto brze da uci (drugi izvod), sto mi jos nekako i imamo jer sto vise znas to brze usvajas dalje, ali kad na to doda izmene na sebi kako bi brze ucila, sto mi ne mozemo, taj zamajac moze bukvalno od nje da napravi monstruma inteligencije samo u par iteraci


upravo to je okidač za tzv. Singularitet. kad AI krene sam sebe da usavršava. stvari kreću da se eksponencijalno odvijaju. već nakon par iteracija i najgrublje predviđanje onoga šta će se dešavati postaje nemoguće.
alselone alselone 19:16 26.08.2017

Re: dobro jutro štreberi

važi i obrnuto - zašto bi superiornije vrste bile neprijateljski raspoložene prema inferionijim?


Mozemo pretpostaviti da druge civilizacije uopste nemaju emocije. A i zasto bi. To je mozda samo nusproizvod naseg mozga.

AI ih sigurno nece imati.

Tako da u procesu odlucivanja samo matematika igra ulogu. A ja se plasim da smo mi u toj jednacini visak.
docsumann docsumann 20:33 26.08.2017

Re: dobro jutro štreberi


Mozemo pretpostaviti da druge civilizacije uopste nemaju emocije. A i zasto bi. To je mozda samo nusproizvod naseg mozga.


da, jasno. nama je teško da se emancipujemo od antropičnog gledišta.
pa otud uvijek uvlačimo u igru recidive, kao što su ljubav/mržnja, lijepo/ružno, dobro/zlo (ok, ovo posljednje možda i egzistira na univerzalnoj skali zbivanja)...

no, čak i ako nemaju emocija, elijeni moraju da imaju neki koncept svrhe po kojem uopšte delaju & djeluju.
to naravno može biti nešto potpuno deseto u odnosu na kategorije i vrijednosti s kojima mi baratamo (sloboda, znanje, imetak, ugodan život, opstanak vrste...)

e, tu nastupa matematika, odnosno kako ostvariti svrhu izraženu kroz ciljeve, kratkoročne i dugoročne, kako optimatizovati put ka ostvarenju cilja.

moguće i da nas potamane, onako usput, bez emocija, kao što mi spljeskamo komarca, ili muvu.

nadu polažem u to zrno soli, što ga nosimo u glavi.
možda ga prepoznaju kao potencijal kome vrijedi dati šansu.

Milan Novković Milan Novković 22:27 26.08.2017

Re: dobro jutro štreberi

alselone
važi i obrnuto - zašto bi superiornije vrste bile neprijateljski raspoložene prema inferionijim?


Mozemo pretpostaviti da druge civilizacije uopste nemaju emocije. A i zasto bi. To je mozda samo nusproizvod naseg mozga.

AI ih sigurno nece imati.

Tako da u procesu odlucivanja samo matematika igra ulogu. A ja se plasim da smo mi u toj jednacini visak.

Dobre su šanse da bez emocija nema ni svesti - dobre su šanse da je nema bez tela, čula, a emocije su, velikim delom, "mentalne slike stanja tela" (Damasio).

The Importance of Feelings - The neuroscientist Antonio Damasio explains how minds emerge from emotions and feelings.
docsumann docsumann 22:40 26.08.2017

Re: dobro jutro štreberi

Dobre su šanse da bez emocija nema ni svesti - dobre su šanse da je nema bez tela, čula, a emocije su, velikim delom, "mentalne slike stanja tela" (Damasio).


heh, da nisam imao bliske kontakte sa nematerijalnim oblicima svijesti, tako bi nekako izgledalo i moje viđenje stvari.
Milan Novković Milan Novković 23:02 26.08.2017

Re: dobro jutro štreberi

docsumann
Dobre su šanse da bez emocija nema ni svesti - dobre su šanse da je nema bez tela, čula, a emocije su, velikim delom, "mentalne slike stanja tela" (Damasio).


heh, da nisam imao bliske kontakte sa nematerijalnim oblicima svijesti, tako bi nekako izgledalo i moje viđenje stvari.

Sitan problem sa nematerijalnim oblicima svesti je to što neurolozi često istražuju tako što analiziraju oštećenja mozga kod konkretnih ljudi.

I to rade kvalitetno i sistematski, pa su zapažanja za poravnate kontekste (nije lako) ponovljiva.

To, naravno, pomalo podriva ideju nematerijalnosti svesti, pošto su neke manifestacije oštećenja porazno pomerene u odnosu na neoštećenog "pretka".
docsumann docsumann 23:31 26.08.2017

Re: dobro jutro štreberi


naravno da mozak ima bitnu ulogu u sistemu uspostavljanja svijesti (kod bioloških organizama), no postoji mnoštvo svjedočenje (iskustava) koja ukazuju na to da njegova uloga više sliči antenskom prijemniku, nego generatoru signala.
Dragan Pleskonjic Dragan Pleskonjic 12:26 29.08.2017

Re: dobro jutro štreberi

Trenutno na Tviteru:


• 11% Fear
• 58% Hope
• 31% Don't know
Dragan Pleskonjic Dragan Pleskonjic 20:36 30.08.2017

Re: dobro jutro štreberi

Anketa na Tviteru je završena i ovo su finalni rezultati:

• 10% Fear
• 54% Hope
• 36% Don't know
alselone alselone 09:27 26.08.2017

Neki dobri covek je pre par godina

okacio sliku sa tehnologijama koje dolaze, obelezenim po godinama i markirano kada pocinje razvoj, kada je rat, i kada je rasciscenje.

Dobri covece, ako citas ovo, pomozi da to pronadjemo ponovo.
Dragan Pleskonjic Dragan Pleskonjic 15:55 26.08.2017

Re: Neki dobri covek je pre par godina


alselone
okacio sliku sa tehnologijama koje dolaze, obelezenim po godinama i markirano kada pocinje razvoj, kada je rat, i kada je rasciscenje.

Dobri covece, ako citas ovo, pomozi da to pronadjemo ponovo.


Da li su to možda Kondratiev wave o kojima smo diskutovali u tekstu Pred rat?
docsumann docsumann 16:51 26.08.2017

Re: Neki dobri covek je pre par godina

Kondratiev wave


Будући да концепт дуготрајних таласа суштински значи да је капитализам стабилан систем, као и да је марксистичка идеологија тврдила да је капитализам систем који се самоуништава, Кондратијев је завршио у стаљинистичком логору, где је стрељан 1938. године


alselone alselone 17:09 26.08.2017

Re: Neki dobri covek je pre par godina

Da li su to možda Kondratiev wave o kojima smo diskutovali u tekstu Pred rat?


Nije, ovo je bila jedna slika, jedna tabela sa pregledom vodecih tenologija u narednih 20, 30 godina. Ali nema veze.
jinks jinks 11:02 26.08.2017

...

a čak da bi se mogla i oteti kontroli i početi da upravlja ljudima

Interesantno, da li iko uopšte još uvek i ume da objasni šta bi to u stvari i trebalo ili moglo da se desi sa veštačkom inteligencijom pa da postane ono o čemu se govori u citiranom delu teksta.

Mislim, veštačka inteligencija predstavlja skup pravila (odnosno, linija koda) koji se vrte na jednom računaru ili na mreži računara, i to fiksnog skupa pravila eksplicitno definisanih od strane ljudi u određenom ograničenom domenu.

Šta bi onda trebalo da predstavlja ta neka nova veštačka inteligencija, neku kreativnu svest koja bi sama određivala svoja pravila, ideje i kontest u kome one postoje i deluju.

Ali, da li je u tom slučaju potrebno da početni program koji su programirali ljudi bude takav da nastanak te nove kreativne svesti upravo i omogući ili ona može da nastane sama od sebe.

Mislim, postavljam ovo pitanje, pošto ljudi po svoj prilici ni do dan danas nisu uspeli da objasne ni nastanak svoje kreativnosti i inteligencije, a već uveliko pričaju o mogućnosti nastanka neke nove veštačke. Takođe, ne znam čemu pojam "veštačka", jer ukoliko bi i ta nova bila stvarna inteligencija, onda bi bila jednako inteligencija kao što je i ova naša ... odnosno, jednako prirodna koliko i veštačka.

Milan Novković Milan Novković 11:54 26.08.2017

Re: ...

jinks
a čak da bi se mogla i oteti kontroli i početi da upravlja ljudima

Interesantno, da li iko uopšte još uvek i ume da objasni šta bi to u stvari i trebalo ili moglo da se desi sa veštačkom inteligencijom pa da postane ono o čemu se govori u citiranom delu teksta.

Mislim, veštačka inteligencija predstavlja skup pravila (odnosno, linija koda) koji se vrte na jednom računaru ili na mreži računara, i to fiksnog skupa pravila eksplicitno definisanih od strane ljudi u određenom ograničenom domenu.

Šta bi onda trebalo da predstavlja ta neka nova veštačka inteligencija, neku kreativnu svest koja bi sama određivala svoja pravila, ideje i kontest u kome oni postoje i deluju.

Ali, da li je u tom slučaju potrebno da početni program koji su programirali ljudi bude takav da nastanak te nove kreativne svesti upravo i omogući ili ona može da nastane sama od sebe.

Mislim, postavljam ovo pitanje, pošto na ljudi do dan danas nisu uspeli da objasne ni nastanak svoje kreativnosti i inteligencije, a već uveliko pričaju o mogućnosti nastanka neke nove veštačke. Takođe, ne znam čemu pojam "veštačka", jer ukoliko bi i ta nova bila stvarna inteligencija, onda bi bila jednako inteligencija kao što je i ova naša ... odnosno, jednako prirodna koliko i veštačka.

Taj početni skup nekih pravila, iako nezaobilazan, je manje bitan, na kraju.

I ljudi ih imaju u genetskom materijalu, recimo 25,000 gena, nije "baš" "rocket science"

Strukturalna dinamika, prevezivanje, refaktorisanje, pamćenja, znanja, ... kolaboracija, interakcija sa okolinom ... kako vreme prolazi je gde su nam potencijali, ljudima pa, još lakše, "nažalost", mašinama.
jinks jinks 17:14 26.08.2017

Re: ...

Taj početni skup nekih pravila, iako nezaobilazan, je manje bitan, na kraju.

Naravno, ali i ta buduća evolutivnost, odnosno strukturalna dinamika kako kažete bi verovatno trebalo na određeni način da bude ugrađena u čitav pomenuti sistem - ako ništa drugo, njena mogućnost. Što je takođe, onda, na određeni način deo izvornog koda.

Naravno, verovatno postoji mogućnost nastanka nekog potpuno novog kvaliteta unutar tog početnog skupa pravila, relacija i prostora dinamike ... ali, da li ljudi uopšte i znaju kako se tako nešto dešava.

I ako je moguće, kako onda treba pisati polazni kod da bi se tako nešto uopšte i omogućilo. Mislim, to mu dođe verovatno kao zanat nad zanatima, kojima se po svoj prilici bave generacija unazad. Kako napraviti sistem (ne znam, državni, obrazovni, ...) koji će stvarati potpuno nove i nepredviđene ideje, između ostalog.
mnenadic mnenadic 19:12 26.08.2017

Da vas pitam:

A zašto bi čovek uopšte išao u razvoju AI do tačke u kojoj bi sam postao višak? Da li je čovek svestan gde se nalazi ta tačka? Dostizanje te tačke uopšte nije neminiovnost ljudske vrste. Ili jeste?
docsumann docsumann 20:44 26.08.2017

Re: Da vas pitam:

mnenadic
A zašto bi čovek uopšte išao u razvoju AI do tačke u kojoj bi sam postao višak? Da li je čovek svestan gde se nalazi ta tačka? Dostizanje te tačke uopšte nije neminiovnost ljudske vrste. Ili jeste?


uh, heh, hmmm... mišljenja sam da taj scenario nije intencioni s naše strane, već postoji kao mogući ispad tokom korekcije i dizajniranja AI-a od strane sebe samog.
u nekoj od faza razvoja AI koje trenutno ne možemo predvidjeti ko zna kakve se sve opcije mogu pred njim otvoriti.

Da li je čovek svestan gde se nalazi ta tačka?


čisto sumnjam. ustvari, siguran sam da NE.

Dostizanje te tačke uopšte nije neminiovnost ljudske vrste. Ili jeste?


možemo samo da nagađamo.
isuviše smo mladi kao vrsta u kosmičkim razmjerama, a već naziremo potencijalne evolucione tokove koji su toliko različiti od svega što nam se kao vrsti izdešavalo, i za koje nemamo ama baš nikakavo iskustvo s kojim bi se mogli posavjetovati.

meni to liči kao da skačemo sa neke džinovske litice u bezdan, bez znanja o tome da li ćemo možda uzletjeti, aterirati u neku dolinu vilenjaka, sam pakao, ili se naprosto razbiti ko saksija.

Arhiva

   

Kategorije aktivne u poslednjih 7 dana