Naisc idir Líonraí Neural agus Matamaitic Phure

An chaoi a dtugann teoirim esoteric leideanna tábhachtacha faoi chumhacht Líonraí Nádúrtha Saorga

Pictiúr le Evannovostro / shutterstock.com

Sa lá atá inniu ann, tá intleacht shaorga i láthair i mbeagnach gach cuid dár saol. Is samplaí iad fóin chliste, fothaí meán sóisialta, innill mholtaí, líonraí fógraí ar líne, agus uirlisí nascleanúna d’fheidhmchláir bunaithe ar AI a théann i bhfeidhm orainn go laethúil.

Tá an fhoghlaim dhomhain ag feabhsú go córasach an úrscothacht i réimsí mar aithint cainte, tiomáint uathrialach, aistriúchán meaisín, agus aithint réad amhairc. Mar sin féin, ní thuigtear go hiomlán fós na fáthanna a n-oibríonn foghlaim domhain chomh iontach.

Leideanna ón Matamaitic

Dúirt Paul Dirac, duine de aithreacha meicnic chandamach agus an argóint fisiceora Sasanach is mó ó Sir Isaac Newton, uair amháin go ndéanfadh dul chun cinn san fhisic ag úsáid “modh na fáthanna matamaitice”

“… Cuir ar chumas [s] duine torthaí a fháil faoi thurgnaimh nár rinneadh. Níl aon chúis loighciúil ann ar cheart go mbeadh an modh […] indéanta ar chor ar bith, ach fuair duine amháin amach go praiticiúil go n-oibríonn sé agus go n-éiríonn go réasúnta leis. Caithfear é seo a chur i leith roinnt cáilíochta matamaitice sa Dúlra, cáilíocht nach mbeadh amhras ar bhreathnadóir ócáideach an Dúlra air, ach a bhfuil ról tábhachtach aige mar sin féin i scéim an Dúlra. "
- Paul Dirac, 1939
Tá Portráid de Paul Dirac ag buaic a chumhachtaí (Wikimedia Commons).

Tá go leor samplaí sa stair inar eascair feidhmchláir chumhachtacha i bhfad níos faide ón gcomhthéacs inar forbraíodh iad mar gheall ar choincheapa matamaiticiúla teibí amháin. Tá an t-alt seo faoi cheann de na samplaí sin.

Cé go bhfuilim ag obair le foghlaim meaisín le cúpla bliain anois, is fisiceoir teoiriciúil mé ag traenáil, agus tá láthair bog agam don mhatamaitic íon. Le déanaí, chuir mé spéis ar leith sna naisc idir foghlaim dhomhain, matamaitic íon, agus fisic.

Soláthraíonn an t-alt seo samplaí de theicnící cumhachtacha ó bhrainse den mhatamaitic ar a dtugtar anailís mhatamaiticiúil. Is é an aidhm atá agam torthaí dian matamaitice a úsáid chun iarracht a dhéanamh “údar a thabhairt”, ar roinnt bealaí ar a laghad, cén fáth a n-oibríonn modhanna foghlama domhain chomh ionadh go maith.

Ionadaíocht theibí de líonra neural (foinse).

Teoirim Álainn

Sa chuid seo, déanfaidh mé argóint go bhfuil dlúthbhaint ag ceann de na cúiseanna go bhfuil líonraí neural saorga chomh cumhachtach le foirm mhatamaiticiúil aschur a néaróin.

Lámhscríbhinn le Albert Einstein (foinse).

Tabharfaidh mé údar maith leis an éileamh trom seo ag baint úsáide as teoirim cheiliúrtha a chruthaigh beirt mhatamaiticeoirí Rúiseacha i ndeireadh na 50idí, teoirim ionadaíochta Kolmogorov-Arnold mar a thugtar air.

Na matamaiticeoirí Andrei Kolmogorov (ar chlé) agus Vladimir Arnold (ar dheis).

13ú fadhb Hilbert

Sa bhliain 1900, chuir David Hilbert, duine de na matamaiticeoirí is mó tionchair sa 20ú haois, bailiúchán cáiliúil fadhbanna i láthair a leag cúrsa taighde matamaitice an 20ú haois go héifeachtach.

Tá baint ag teoirim ionadaíochta Kolmogorov-Arnold le ceann de na fadhbanna iomráiteacha Hilbert, a raibh tionchar mór acu uile ar mhatamaitic an 20ú haois.

Ag dúnadh isteach ar an nasc le líonraí neural

Measann ginearálú ar cheann de na fadhbanna seo, an 13ú fadhb go sonrach, an fhéidearthacht gur féidir feidhm n athróg a chur in iúl mar mheascán de shuimeanna agus de chomhdhéanamh de dhá fheidhm d’athróg amháin a luaitear Φ agus ϕ.

Níos nithiúla:

Teoirim ionadaíochta Kolmogorov-Arnold

Anseo, is fíoruimhreacha iad η agus na λnna. Ba chóir a thabhairt faoi deara go bhfuil an dá fheidhm neamhchaidrimh seo Φ agus go bhféadfadh struchtúr an-chasta (fractal) a bheith ag ϕ.

Chuir trí alt, le Kolmogorov (1957), Arnold (1958) agus Sprecher (1965) cruthúnas ar fáil go gcaithfidh a leithéid d’ionadaíocht a bheith ann. Tá an toradh seo beagáinín gan choinne, dar leis, is féidir castacht bhearrtha na bhfeidhmeanna ilbhliantúla a “aistriú” go hoibríochtaí fánacha feidhmeanna neamhchaidrimh, mar bhreiseanna agus cumadóireachta feidhm.

Anois, cad é?

Má d’éirigh tú chomh fada seo (agus ba bhreá liom dá ndéanfá), is dócha go bhfuil tú ag déanamh iontais: conas a d’fhéadfadh teoirim esoteric ó na 50idí agus 60idí a bheith bainteach go cianda le halgartaim ceannródaíocha mar líonraí neural saorga?

Meabhrúchán Tapa ar Ghníomhaíochtaí Líonraí Nádúrtha

Is éard atá sna nathanna a ríomhtar ag gach nód de líonra neural comhdhéanamh feidhmeanna eile, sa chás seo, na feidhmeanna gníomhachtaithe mar a thugtar orthu. Braitheann méid castachta cumadóireachta den sórt sin ar dhoimhneacht na sraithe i bhfolach ina bhfuil an nód. Mar shampla, déanann nód sa dara sraith i bhfolach an ríomh seo a leanas:

Ríomh a dhéanann an t-aonad i bhfolach k-ú sa dara sraith i bhfolach.

I gcás gurb iad na meáchain na meáchain, agus gurb iad na bs na claonta. Is léir an chosúlacht leis an bhfeidhm ilbhliantúil f a thaispeántar cúpla mír thuas!

Lig dúinn feidhm i Python a scríobh síos go tapa ach le haghaidh iomadú ar aghaidh a aschuir na ríomhanna a dhéanann na néaróin. Tá na céimeanna seo a leanas sa chód don fheidhm thíos:

  • An chéad líne: gníomhaíonn an chéad fheidhm gníomhachtaithe ϕ ar an gcéad chéim líneach a thugann:
x0.dot (w1) + b1

áit arb é x0 an veicteoir ionchuir.

  • An dara líne: gníomhaíonn an dara feidhm gníomhachtaithe ar an dara céim líneach
y1.dot (w2) + b2
  • An tríú líne: úsáidtear feidhm softmax sa chiseal deiridh den líonra neural, ag gníomhú ar an tríú céim líneach
y2.dot (w3) + b3

Is í an fheidhm iomlán:

def forward_propagation (w1, b1, w2, b2, w3, b3, x0): y1 = phi (x0.dot (w1) + b1) y2 = phi (y1.dot (w2) + b2) y3 = softmax (y2. ponc (w3) + b3) tuairisceán y1, y2, y3

Chun é seo a chur i gcomparáid lenár slonn thuas scríobhaimid:

y2 = phi (phi (x0.dot (w1) + b1) .dot (w2) + b2)

Is féidir an comhfhreagras a dhéanamh níos soiléire:

Ceangal idir Dhá Shaol

Tagaimid ar an gconclúid, dá bhrí sin, go dtugann an toradh a chruthaigh Kolmogorov, Arnold, agus Sprecher le tuiscint gur rudaí thar a bheith cumhachtach iad líonraí neural, nach bhfuil ina n-aschur ach comhdhéanamh feidhmeanna arís agus arís eile, ar féidir leo aon fheidhm ilbhliantúil a léiriú nó go cothrom beagnach aon phróiseas sa nádúr. . Míníonn sé seo i bpáirt an fáth go n-oibríonn líonraí neural chomh maith i go leor réimsí. Is é sin le rá, tá cumhacht ginearálaithe líonraí neural, i bpáirt ar a laghad, mar thoradh ar theoirim ionadaíochta Kolmogorov-Arnold.

Mar a thug Giuseppe Carleo le fios, fuarthas “ar bhealach neamhspleách” an chumhacht ginearálaithe chun feidhmeanna feidhmeanna feidhmeanna ad nauseam a fhoirmiú toisc go bhfuil líonraí neural, a oibríonn mar a thaispeántar thuas ag déanamh go beacht sin, ar bhealach simplithe chun déan cur síos ar an gcaoi a n-oibríonn ár gcuid brains.

Go raibh maith agat as léamh! Cuirtear fáilte i gcónaí roimh cháineadh agus aiseolas cuiditheach!

Tá roinnt rudaí suimiúla eile ag Mo Github agus ag mo shuíomh Gréasáin www.marcotavora.me faoi eolaíocht sonraí agus fisic.

Tá a lán eile le teacht, fanfaidh tú tiúnta!