Ako generatívna AI zruinuje vedu a akademický výskum

Ako generatívna AI zruinuje vedu a akademický výskum. O digitalizácii a erózii vedomostí v poslednom štádiu.

Východiská: epistemológia moderných masmédií.

Často sa vraciam ku klasike Neila Postmana z roku 1985 Amusing Ourselves to Death. Je to prenikavá analýza kognitívnych účinkov mediálnej technológie. Zameriava sa najmä na to, ako formát a spôsob komunikácie ovplyvňuje charakter obsahu a ako nás tento obsah potom trénuje, ale v menšej miere aj to, ako tieto otázky ovplyvňuje diskurz a „atmosféra“ výmeny informácií.

Je to takmer pred štyridsiatimi rokmi a sledovaným rušivým médiom je televízia. Celý prístup pôsobí takmer kuriózne, 80. roky vo vzťahu k súčasnému obdobiu sú komparatívnym zlatým vekom kritického myslenia, komplexnej expozície a uvedomelých, tvorivých občanov.

Napriek tomu problémy, ktoré Postman zdôrazňuje, boli významné už vtedy. Jeho kritiku možno zhrnúť tak, že formát televízie má komplexné, škodlivé účinky na obsah a charakter verejného diskurzu, ako aj na kognitívne schopnosti človeka, najmä pokiaľ ide o chápanie zložitých problémov a analyzovanie dôsledkov, argumentov a dôkazov s mnohými vrstvami a vetveniami..

Základným problémom podľa Postmana je, že písomný výklad a zložitá ústna tradícia rovnako podporujú a pripravujú ľudskú myseľ na náročnosť kritického myslenia a racionálnej reflexie. A naopak, že zábavné médiá a diskurzy, ktorých príkladom je najmä televízia, zamerané na krátkodobé uspokojenie a sprostredkovanie senzačných zážitkov, majú skôr opačný efekt.

Jeho príklady sú naozaj do očí bijúce, dokonca aj vtedy:

Protirečenie si skrátka vyžaduje, aby sa vyhlásenia a udalosti vnímali ako vzájomne súvisiace aspekty súvislého a súvislého kontextu. Zmiznite kontext alebo ho fragmentujte a rozpor zmizne. Nikde inde nebol tento bod jasnejšie objasnený ako na konferenciách s mojimi mladšími študentmi o ich písaní. „Pozri sa sem,“ hovorím. „V tomto odseku ste povedali jednu vec. A v tom ste povedali opak. Ktoré teraz platí?“ Sú zdvorilí a chcú ma potešiť, no otázka ich zmiatla rovnako ako mňa odpoveď. „Viem,“ povedia, „ale to je tam a toto je tu.“ Rozdiel medzi nami je v tom, že predpokladám, že „tam“ a „tu“, „teraz“ a „potom“, jeden a druhý odsek sú prepojené, že sú vzájomne závislé, že sú súčasťou toho istého koherentného myšlienkového sveta. To je spôsob typografického diskurzu a typografia je vesmír, z ktorého „pochádzam“, ako sa hovorí. Pochádzajú však z úplne iného sveta diskurzu: zo sveta televízie „Teraz… toto“. Základným predpokladom tohto sveta nie je koherencia, ale diskontinuita. A vo svete diskontinuít je rozpor ako test pravdy alebo zásluh nepoužiteľný, pretože rozpor neexistuje. Ide mi o to, že sme sa už tak dôkladne prispôsobili svetu správ „Teraz…toto“ – svetu fragmentov, kde udalosti stoja osamotene, zbavené akéhokoľvek spojenia s minulosťou, budúcnosťou alebo inými udalosťami – že všetky predpoklady koherencie zmizli. A tak, výkon, má protirečenie. V kontexte žiadneho kontextu takpovediac jednoducho zmizne. A pri jeho absencii, aký záujem by mohol byť na zozname toho, čo prezident hovorí teraz a čo povedal vtedy? Je to len zopakovanie starých správ a nie je v tom nič zaujímavé ani zábavné.

– Postman, tamtiež.

Pre väčšinu z nás to nie je neznáma situácia. Dokonca som mal podobnú skúsenosť dnes ráno pri pokuse o diskusiu s niekým, kto v rámci niekoľkých krátkych odsekov dosť neuveriteľne uviedol štyri (!) rôzne, vzájomne nezlučiteľné veci a samozrejme stále tvrdil, že sa mýlim. Jeho uvedená pozícia obsahovala tieto návrhy:

1. Viera niečo je absurdná
2. Viera by sa mali praktizovať len vďaka prijateľným dôkazom
3. Môžete sa držať viery z akýchkoľvek dôvodov, ktoré chcete
4. Viera je z definície zakotvená v emóciách a nie je prijateľným dôkazom

Všetky tieto vyhlásenia sú doslova nezlučiteľné so všetkými ostatnými navzájom.

Je to ako spletitá verzia Paradoxu klamárov. Ak s ním súhlasím, nevyhnutne sa mýlim, a ak nesúhlasím, mýlim sa tiež. Ale na rozdiel od starého myšlienkového experimentu, kde moja chyba spočíva v priamom potvrdení opaku tvrdenia, tu doslova neexistuje žiadny spôsob, ako pochopiť, ako by som sa mýlil, keby som s jeho postojom buď súhlasil, alebo ho odmietol, pretože je to vnútorne nekoherentné, v komplexnom a nielen binárnom zmysle.

Človek je takmer ohromený intenzitou tohto diskurzívneho požiaru smetnej nádoby.

Takže ako väčšina z nás vie, táto výmena aspoň do určitej miery odráža epistemický charakter súčasného verejného diskurzu v digitálnej sfére. Komunikácia je často zjednodušujúca a nesúvislá, a ak sa priblíži k určitej úrovni zložitosti, takmer okamžite upadne do protirečenia, irelevantnosti alebo skutočného nezmyslu, ako je uvedené vyššie.

Čo to znamená pre poznanie vo všeobecnosti, a najmä pre kvalitu, uchovávanie a reprodukciu komplexných vedomostí ľudských kultúr obsiahnutých v tradíciách, akými sú veda alebo humanitné vedy?

Predovšetkým si myslím, že situácia, ako je tá naša, výrazne zmenší okruh dostupných kandidátov na náročnú a často namáhavú prácu efektívneho spravovania takýchto tradícií vedomostí pre nich samotných ako jednotlivcov, ako aj pre inštitúcie alebo organizácie, ktoré sú potrebné na to, aby sa zachovávali tradície.

Nebudete mať veľa ľudí schopných napísať diela Doktor Faustus alebo Zdravý rozum, alebo vytvoriť akékoľvek umelecké dielo, ktoré sa spája s plnosťou ducha, charakteru a problémov svojej doby. A nenájdete veľa ľudí, ktorí by tomu rozumeli, aj keby sa niečo také dalo vyrobiť.

Problém tu do značnej miery spočíva v tom, že naša nekoherentná doba a jej mediálne technológie nedokážu vybaviť ľudí schopnosťou plne pochopiť základné abstraktné princípy a preniesť podstatu situovaných skúseností a postrehov do iného kontextu. V zásade nie sme dostatočne oboznámení s univerzálnymi abstrakciami a konceptmi zdravého rozumu, ktoré umožňujú komplexný diskurz a kritické myslenie. Bez tohto poznania sme menej schopní chápať nové a chaotické situácie a vidieť súvislosti a podobnosti medzi rôznymi skúsenosťami a formami poznania. Rozum ako taký sa nahlodáva, ako by to pravdepodobne povedal Akvinský.

Poznatky, ktoré získavame, sú špecializované, komodifikované a inštrumentalizované, a hoci môžu byť dosť rozsiahle, majú izolovaný charakter a neumožňujú efektívne kritické myslenie v abstraktnom a všeobjímajúcom zmysle. Je to niečo podobné, ako keby sa niekto mohol naučiť spoľahlivo používať kalkulačku prostredníctvom memorovania bez toho, aby mal viac než len základné znalosti matematiky. Dokáže ovládať zariadenie, ale nie je suverénnym majstrom príslušnej disciplíny. Nikdy nedokázal navrhnúť a zostrojiť kalkulačku.

„Človek je mierou všetkých vecí,“ povedal kedysi Protagoras a jeho cieľom pravdepodobne nebol relativizmus, ale skôr skutočnosť, že ľudské bytosti môžu (alebo by mali byť schopné) rozumne hodnotiť akúkoľvek a všetky situácie a stavy vecí. svet.

Kombinované účinky súčasnej AI

Dobre, takže o charaktere a problémoch vedomostí v tomto celkovom pozadí diskurzu, mediálnych technológií a kognitívnych adaptácií, v ktorých sa nachádzame, je toho ešte veľa čo povedať, ale zamerajme sa tu konkrétne na prínos AI.

Súčasná umelá inteligencia je súbor systémov rozpoznávania vzorov navrhnutých na dohľad a disciplínu, na riadenie toku informácií a na masovú produkciu komoditných náhrad za kultúrny obsah v neoliberálnom rámci.

V skutočnosti nie je možné preceňovať škody, ktoré by súbor systémov, ako je tento, mohol spôsobiť, ak by sa stal integrovanou súčasťou produkcie vedomostí spoločnosti. Nejde len o to, že masívne znásobujú problémy pozadia, ktoré som sa pokúsil načrtnúť vyššie, t. j. problémy senzačného prostredia digitálnych médií takmer úplne bez expozície a zameraného na ľahko uspokojujúcu zábavu.

Základným účelom samoučiaceho sa algoritmu na spracovanie informácií bolo vždy minimalizovať vzdialenosť medzi produktom a spotrebiteľom prostredníctvom posilňovania žiaducich vzorcov správania. Inými slovami, algoritmy budú primárne smerovať k posilneniu správania, ktoré efektívne podporuje získavanie nadhodnoty kapitálu od pracovníka-spotrebiteľa.

Toto je bod, ktorý by sa mohol opakovať mnohokrát. Google nie je knižnica. Je to súkromná spoločnosť štruktúrovaná okolo systému určeného na komodifikáciu informácií za účelom zisku a nemá povinnosť ani žiadnu skutočnú motiváciu prenášať údaje, na ktorých vám záleží, ani ich reálne využívať.

A čo viac, táto a podobné korporácie neustále tvrdo súperia o dominanciu v rámci takmer úplne centralizovanej informačnej architektúry, ktorá okamžite spája takmer každú ľudskú bytosť na planéte. Je to podobné, ako keď sa veľké biele žraloky nemôžu prestať hýbať bez toho, aby sa zadusili.

Preto sme navrhli dokonalý systém na rýchly vývoj týchto systémov na komodifikáciu informácií smerom k maximálnemu zisku, ktorý sa tiež zhoduje s centralizovanou komunikačnou architektúrou, ktorá umožňuje jedinou modifikáciou algoritmu google, ktorý súčasne zasiahne takmer každého človeka na svete.

Postmanove pochybnosti o televízii sa skutočne zdajú kuriózne.

Z uvedeného vyplýva, že akékoľvek iné kvality informačného výstupu týchto systémov okrem tých, ktoré posilňujú ziskové správanie spotrebiteľa v krátkodobom horizonte (v porovnaní s reklamným priemyslom), sa stávajú irelevantnými. Sú to prinajlepšom druhoradé priority a pokiaľ zasahujú do smernice o zisku, budú aktívne potláčané. Okrem toho budú mať tieto priority okamžitý globálny dosah.

A tieto digitálne systémy na komodifikáciu informácií v kapitalistickom rámci nemôžu inak, inak sa udusia.

Keď k vyššie uvedenej zmesi pridáme AI, najmä „generatívny“ druh, tieto problematické procesy sa jednoducho zhoršia. AI vo svojej súčasnej podobe pôsobí ako multiplikátor sily pri komodifikácii informácií v rámci zavedeného ekonomického poriadku a jeho digitálnych štruktúr výmeny. Samoučiace sa algoritmy zefektívňujú tok informácií a umožňujú cielenú reklamu, propagandu a naratívnu kontrolu na individuálnej úrovni s neuveriteľnou rýchlosťou a konkrétnosťou. GenAI navyše umožňuje automatizovanú produkciu informačných komodít, ktoré budú nevyhnutne prispôsobené tak, aby boli synergické s cieľmi dohľadu, marketingu a modifikácie správania.

Alebo sa žraloky udusia.

Mohli by sme si teda položiť otázku, či pestovanie rozhľadených nezávislých mysliteľov, duchovne vyspelých, schopných uspokojiť svoje vlastné potreby a s vnútorným miestom kontroly, podporí krátkodobé ziskové stimuly kapitálu alebo nie.

Odpoveď na túto otázku určuje tendenciu proprietárnych algoritmov, ktoré sa teraz navrhujú na dosiahnutie celospektrálnej informačnej dominancie.

Veda a akademický výskum

Čo to má spoločné s budúcnosťou vedy?

Dôsledky sú ohromujúce a zdanlivo celoplošné. Po prvé, masové školenia úzko špecializovaných spotrebiteľov, ktorí nie sú oboznámení s univerzálnymi pojmami a abstrakciami a nedostatočne vybavených kritickým myslením, nebudú účinnými správcami a obnovovateľmi zložitých tradícií poznania, či už ide o kvantovú fyziku alebo ľudovú medicínu. Bez univerzálnych pojmov, bez znalosti logiky, princípov príčiny a následku, toho, čo predstavuje rozumný dôkaz bez ohľadu na konkrétny kontext, budú ľudia čoraz menej schopní vidieť súvislosti medzi rôznymi disciplínami a osvojiť si svoj vlastný koherentný (pozn. súvislý, vzájomne pospájaný) pohľad na svet, ktorý je potrebný na to, aby sme sa ním mohli samostatne pohybovať. Ľudia budú menej kompetentní a menej sebestační, pokiaľ ide o vymýšľanie nových poznatkov v neznámych situáciách a prispôsobovanie svojich koncepčných schém a skúseností nepredvídateľným okolnostiam. Rovnako ako to, ako operátor kalkulačky ktorý si zapamätal vstupy a výsledky vyššie nebude schopný počítať s perom a papierom, keď sa stroj pokazí.

Chodiť do školy znamenalo naučiť sa čítať, pretože bez tejto schopnosti by sa človek nemohol zúčastňovať rozhovorov o kultúre. Väčšina ľudí však vedela čítať a zúčastnila sa. Pre týchto ľudí bolo čítanie ich spojením a modelom sveta. Vytlačená strana odhaľovala svet, riadok po riadku, stranu po strane, ako seriózne, koherentné miesto, schopné riadiť rozumom a zlepšovať logickou a relevantnou kritikou.

Postman, tamtiež.

Ale odhliadnuc od škodlivých účinkov na naše kognitívne schopnosti, akokoľvek môžu byť zlé, existuje významný pocit, že genAI a súčasná iterácia digitalizácie v poslednom štádiu môžu štrukturálne podkopať povahu a kvalitu informácií a skúseností, ktoré sú vlastné našim tradíciám, vedomostiam, starovekým aj moderným.

Pripomeňme, že centralizovaná informačná architektúra bude z nevyhnutných štrukturálnych dôvodov smerovať k podpore takých informácií, ktoré posilňujú správanie, ktoré následne podporuje získavanie nadhodnoty kapitálu od pracovníka-spotrebiteľa. Spoľahlivosť, objektivita a sto ďalších ukazovateľov kvality, ktoré by ste vy alebo ja možno chceli uprednostniť, sú takmer úplne irelevantné. Hlavnými prioritami budú motív zisku a pomocné ciele, akými sú propaganda, tvorba strategickej mienky a minimalizácia rušivých diskurzov.

A keďže výstup genAI, v neposlednom rade vďaka centralizovanej digitálnej architektúre, začína dominovať kanálom a spôsobom komunikácie, ako aj obsahu našich informačných úložísk, charakter výstupu AI bude mať významný vplyv na kvalitu dát, zachovaných v rámci akýchkoľvek tradícií poznania, ktoré môžu pretrvať. Inými slovami, obsah a spôsoby fungovania vedy ako tradície poznania budú smerovať k prioritám, ktoré sú vlastné systémom určeným na komodifikáciu informácií. Smerom k posilneniu ziskového spotrebiteľského správania a formovania strategickej mienky.

Jednou z ciest k tomuto potupnému koncu je zavedenie generatívnej umelej inteligencie do rámca “ publikuj alebo zahyň “ v súčasnej akademickej obci. Povedzme, že to nie sú len študenti, ktorí budú používať chatGPT alebo podobné systémy na obmedzovanie problémov, a že každý s magisterským alebo vyšším magisterským titulom sa takýmto zvrátenostiam úplne vyhýba.

Ani zďaleka tomu tak nie je. Súčasný bibliometrický model akademickej súťaže značne znevýhodní tú menšinu z nás, ktorí sa tejto veci odmietajú dotknúť. Naša produkcia bude oveľa obmedzenejšia v porovnaní s ľuďmi, ktorí s pomocou prispôsobených nástrojov genAI dokážu vychrliť možno dva životaschopné výskumné články za deň. Môžu byť podpriemerné a odvodené, ale toto je do značnej miery hra s číslami.

Niekoľko mechanizmov potom zvýši význam materiálu generovaného umelou inteligenciou vo vede a na akademickej pôde, v neposlednom rade skutočnosť, že ľudia, ktorí vyplnili svoje životopisy takýmto odpadom, urobia pokrok v súťaži o funkčné obdobie, štipendiá a výskumné pozície, čo prinúti iných, aby ich nasledovali. Časopisy využijú túto produkciu na zvýšenie priepustnosti, viditeľnosti a podielu na trhu prostredníctvom hrubej sily, čo opäť bude tlačiť na konkurenciu, aby nasledovala. Nízkonákladové časopisy zaplavia trh polovytvoreným obsahom.

Výskumníci a vedci sa v blízkej budúcnosti stanú oslavovanými „pohotovými inžiniermi“.

Niekto by si možno trochu naivne predstavoval, že proces vzájomného hodnotenia by mal byť stále schopný fungovať ako spoľahlivá kontrola kvality, ktorá odstraňuje najhoršie prebytky inak klesajúcej špirály. Jeden by sa mýlil.

Peer-reviewers, táto čudná značka ľudí, ktorí sú ochotní robiť namáhavú a nudnú prácu bez nároku na odmenu, budú samozrejme čeliť záplave nevýrazných, podpriemerných, umelou inteligenciou generovaných článkov, keďže objem produkcie sa predvídateľne zvýši používaním týchto druhov nástrojov. A aké je nevyhnutné riešenie tohto malého rébusu?

Samozrejme, nechajte AI vykonať aj „peer review“:

Budete mať recenzentov AI, ktorí budú kontrolovať články napísané algoritmami publikovanými v časopisoch, aby ich nikto nečítal. Možno s výnimkou samotnej AI, ktorá teraz generuje svoje vlastné tréningové údaje v zlej informačnej slučke spätnej väzby, ktorá bude plná štrukturálne integrovaných halucinácií.

Kde je teda kontrola kvality? Ako je to vôbec predstaviteľné? Kto bude vykonávať „overovanie faktov“ prívalov materiálu generovaného AI? A na základe akých údajov? Výskumné články generované alebo kurátormi AI, ktorých informácie boli oddelené od spoľahlivosti, objektivity a platnosti a teraz sa vyrábajú ku koncu posilňovania ziskového spotrebiteľského správania a vytvárania strategického názoru?

Toto všetko je základom skutočne zlého problému epistemológie, základnej kvality dôkazov, ktoré sú dostupné ľudskej bytosti. Ak to pôjde oveľa ďalej, konkrétne sa blížime k úplne novej situácii ľudského poznania, kde sa preruší základný reťazec dôkazných svedectiev. V skutočnosti nemôžete dôverovať žiadnej informácii získanej prostredníctvom centralizovanej digitálnej infraštruktúry, že je skutočným popisom skúseností, záverov alebo zistení skutočnej ľudskej osoby. Všetko bude potenciálne spochybnené.

Všetko.

Takže v dnešnej dobe, keď sedím v časných ranných hodinách, poskytujem bezplatnú recenziu nejakého obskúrneho časopisu o filozofii a spýtam sa sám seba, či mi to všetko stojí za to, potom len premýšľam o tejto umelej inteligencii vytvorenej krysy s jeho obrovským vtákom a štyrmi nafúknutými loptičkami a ja sa pre seba usmievam a pripomínam si, že utrpenie je plodné aj očisťujúce.

Veľký pochod duševnej deštrukcie bude pokračovať.

Všetko bude odmietnuté. Všetko sa stane krédom. Je rozumné zaprieť kamene na ulici; presadzovať ich bude náboženskou dogmou. Je to racionálna téza, že všetci sme v sne; bude to mystický rozum povedať, že sme všetci hore. Budú zapálené ohne, aby svedčili, že dva a dva sú štyri. Na dôkaz toho, že listy sú v lete zelené, budú vytiahnuté meče.

Zostaneme brániť nielen neuveriteľné cnosti a príčetnosť ľudského života, ale ešte niečo neuveriteľnejšie, tento obrovský nemožný vesmír, ktorý nám hľadí do tváre. Budeme bojovať za viditeľné zázraky, ako keby boli neviditeľné. Budeme sa pozerať na nemožnú trávu a oblohu s podivnou odvahou. Budeme z tých, ktorí videli, a predsa uverili.“

Chesterton, Heretici.

Zdroj: https://off-guardian.org/2024/03/17/how-generative-ai-will-ruin-science-and-academic-research/