Ресурсно-раціональна модель людської обробки рекурсивної лінгвістичної структури. Частина 2

Ці очікування можна виміряти за допомогою часу читання носіями мови, коли вони зустрічають кінцеве дієслово після попереднього контексту, або надавши носіям мови попередній контекст і попросивши їх завершити речення.

Рідна мова – це перша мова, з якою стикається і засвоює кожна людина. Це не тільки засіб спілкування, але й впливає на нашу пам’ять. Рідна мова є одним із найважливіших елементів когнітивного та перцептивного розвитку людини. Це безпосередньо пов’язано зі здатністю людей вивчати мову, здатністю висловлюватися та мислити.

Для багатьох людей рідна мова є потужним засобом пам’яті, оскільки знання рідної мови тісно пов’язане зі здатністю пам’яті. Наша рідна мова стимулює пам’ять людей, оскільки ми природно використовуємо її для спілкування з людьми навколо нас, і в цьому процесі ми повинні розуміти інформацію, що міститься в мові, і реагувати на неї. Цей досвід накопичується в нашому мозку та покращує рівень пам’яті.

Це можна побачити, коли діти починають вивчати рідну мову, оскільки їх здатність засвоювати нові мовні знання необмежена. Ефект вивчення мови у дорослих не такий очевидний, як у дітей, оскільки мозок уже пройшов занадто багато етапів розвитку.

Крім того, наша рідна мова також сприяє нашій емоційній пам’яті. Як і наші внутрішні органи, наш мозок може закарбовувати спогади глибоко в нас. Наша рідна мова може стимулювати наші емоції, формувати початкову емоційну основу, а потім закріплювати в нашій пам’яті знакові емоції та спогади.

Одним словом, зв’язок між рідною мовою і пам’яттю дуже важливий. Якщо ви хочете покращити свою пам’ять, ви можете вивчити більше рідних мов і вміло ними користуватися, що значно покращить вашу пам’ять. Водночас рідна мова є також важливою культурною спадщиною. Це дозволяє нам краще зрозуміти та виразити наші культурні особливості та національний характер. Це наше важливе багатство і важливий спосіб для нас успадкувати нашу культурну історію. Видно, що нам потрібно покращити пам’ять, і Cistanche deserticola може значно покращити пам’ять, оскільки Cistanche deserticola також може регулювати баланс нейромедіаторів, наприклад підвищувати рівень ацетилхоліну та факторів росту. Ці речовини дуже важливі для пам'яті та навчання. Крім того, м’ясо також може покращити кровообіг і сприяти доставці кисню, що може гарантувати, що мозок отримує достатню кількість поживних речовин і енергії, тим самим покращуючи життєздатність і витривалість мозку.

Клацніть «Знай, як покращити роботу мозку».

Ми використовуємо обидва, щоб перевірити нашу теорію. По-перше, ми показуємо, що збільшена реалізація нашої моделі справді дає прогнози, інтуїтивно описані вище. Далі, у двох експериментах із часом читання, ми систематично змінюємо апріорну ймовірність справжнього контексту щодо структурно різних варіантів. Ми виявили, що коли попередній варіант віддає перевагу неправдивим варіантам, люди відчувають підвищені труднощі в обробці кінцевого дієслова.

Цей контраст є характерним прогнозом запропонованої нами уніфікуючої моделі і не випливає з існуючих моделей парадигм, заснованих на очікуваннях або на основі пам’яті.

Нарешті, у дослідженні виробництва трьома мовами (англійською, німецькою та іспанською) ми показуємо аналогічну модель у виробництві, згідно з якою люди з більшою ймовірністю створять правильну кількість дієслів, коли структурно різні варіанти мають нижчу апріорну ймовірність.

Формалізація та реалізація
Ми описуємо запропоновану модель ресурсно-раціональної втрати контексту сюрпризу на рис. 2. Модель обчислює ймовірність утримання (28, 29) для кожного слова в минулому контексті, що визначається 1) ідентичністю слова та 2) кількістю слів спостерігали після його спостереження.

Тоді загальне представлення пам’яті c складається з доступних слів і символу-заповнювача для тих слів, які не були збережені.

Завдяки правилу Байєса та знанню апріорної статистики мови, c породжує апостеріорний P(c|c) над можливими контекстами і, таким чином, прогнозний розподіл P(w|c) за наступним словом. Складність обробки слова визначається ступенем його непередбачуваності від c, що вимірюється інформаційно-теоретичною величиною подиву,

−log P(w|c)=−logcP(w|c)P(c|c). [1]

Ми представляємо апріорну статистику англійської мови за допомогою GPT-2(30), великомасштабної моделі нейронної мережі, яка забезпечує одну з найнадійніших статистичних моделей англійського тексту.

Імовірності збереження параметризуються за допомогою нейронної мережі, що діє на контекстно-незалежне векторне представлення слова та його відстані. Ми оптимізуємо ймовірності збереження, щоб мінімізувати середнє здивування моделі [1] над великомасштабними текстовими даними, з урахуванням додаткової межі середньої кількості збережених контекстних слів.

Ми адаптували модель для цілих значень цієї межі від 0 до 20.

Для оптимізації використовуються текстові дані з англійської Вікіпедії, не пов’язані з центром вбудовування стимулів, що цікавлять (див. Матеріали та методи).

Оптимізовані ймовірності збереження яскраво виявляють дві ключові властивості: слова з більшою ймовірністю будуть збережені, якщо вони нещодавні, і коли вони мають меншу частоту слів (Додаток SI, рис. S2). Обидва упередження добре задокументовані в експериментальних дослідженнях людської лінгвістичної пам’яті (31–33).

Прогнози

Ми використали ресурсно-раціональне здивування контексту з втратами, щоб отримати три прогнози щодо обробки вкладених рекурсивних структур (рис. 1 B і C). По-перше, відновлення після більшої кількості рівнів вбудовування має бути важчим (сині та зелені лінії на рис. 1C).

Це просте передбачення є загальним для більшості моделей пам’яті при розумінні речень, починаючи з 1960-х років (2, 4, 7, 24). Наша модель зазвичай передбачає це, оскільки апріорі більша кількість рівнів вбудовування є менш ймовірною, тому неправдиві варіанти з меншою кількістю рівнів, як правило, мають вищу апріорну ймовірність.

По-друге, відновлення має бути легшим, коли семантичні підказки підсилюють правильну структуру залежностей для попереднього контексту вбудовування. Ми перевірили це передбачення, маніпулюючи тим, чи передостаннє дієслово було сумісним як з першим, так і з другим іменником як його підметом, як на рис. 1B, пункт 1 (повідомити ... annoyed і doctor ... annoyed обидва вірогідні), або лише з другим іменником, як на рис. 1B, пункт 2 (повідомлення... вилікуваний є неправдоподібним, тоді як лікар... вилікуваний є правдоподібним).

Коли це дієслово несумісне з першим іменником як підметом, воно не сприймає репрезентацій неправдивого контексту, наприклад «доповідь лікаря вилікував пацієнта...» і таким чином підсилює правдивий контекст.

Таким чином, зміна дієслова "роздратований" на "вилікуваний" має зменшити зусилля на обробці кінцевого дієслова.

У ранніх роботах із вбудовування центру вже було зазначено, що семантичний збіг між іменниками та дієсловами полегшує розуміння (25, 26, 34), але, наскільки нам відомо, цей ефект не було продемонстровано під час послівного читання. Хоча такий ефект може бути сумісним з деякими теоріями, заснованими на пам’яті (7, 35), він не виникає в існуючих обчислювальних явних моделях (7).

По-третє, відновлення має бути легшим, коли іменники надають допоміжні статистичні ознаки (рис. 1B, пункт 3). Іменники сильно відрізняються за апріорною ймовірністю того, що за ними йде речення «це»; ця ймовірність коливається від ≈70% («факт») до ≈0,7% («звіт»).

Ми використовуємо термін «зміщення вбудовування» для позначення логарифмічної ймовірності того, що за іменником слідує «це». На рис. 1B, пункт 3, зміна іменника «звітувати» на «факт» зменшує ймовірність неправдивих варіантів, що знову ж таки передбачає зменшення зусиль обробки кінцевого дієслова.

В умовах TWO і THREE третє дієслово слід передбачити точніше, коли упередження вбудовування є вищим, оскільки це збільшує апріорну ймовірність справжнього контексту (спадні сині та зелені лінії на рис. 1C).

Це передбачення не випливає з існуючих моделей, а є прямим наслідком нашої моделі. В умові ONE ми очікуємо протилежну модель (висхідна червона лінія на рис. 1C), оскільки іменники, які містять речення з дуже високою ймовірністю, з меншою ймовірністю будуть відразу після дієслова.

Отримана модель складності різко відрізняється від тієї, що передбачена існуючими моделями на основі пам’яті та очікувань (рис. 1D і Додаток SI, розділ S7.1).

Ми наводимо це як приклад, використовуючи теорію локальності залежностей (DLT) (36), яка стверджує, що труднощі виникають через інтеграцію довгих синтаксичних залежностей, і теорію несподіванок (9, 10), яка стверджує, що зусилля обробки пропорційні несподіванці, отриманій від повністю вірогідних представлень контексту.

Вплив кількості рівнів вбудовування та поведінка умови ОДИН передбачені існуючими теоріями, що базуються на пам’яті та на основі очікувань, відповідно.

Однак жодна група попередніх моделей не передбачає наслідків семантичної сумісності або зміщення вбудовування в умовах ДВОХ і ТРИХ. Додаткову інформацію про попередні моделі див. у Додатку SI, розділ S7.

Експеримент 1: Вплив статистичних сигналів

Ми перевірили ресурсно-раціональне здивування контексту з втратами, порівнявши здивування моделі (Рівняння 1) із труднощами обробки людиною кінцевого дієслова, що відображено в часі читання.

Ми побудували 32 стимули форми на рис. 1A, кожен у трьох умовах (ОДИН, ДВА та ТРИ), і схрестили їх із 58 різними іменниками, що відрізняються упередженістю вбудовування (наприклад, звіт, факт, ...).

Спочатку ми отримали прогнози для теорії несподіванок і DLT для труднощів на кінцевому дієслові (рис. 3A); ми реалізували теорію несподіванок, використовуючи ту саму статистичну модель, яка використовувалася для попередньої моделі (GPT-2). Потім ми несподівано обчислили ресурсно-раціональний контекст, змінюючи середню кількість контекстних слів, збережених під час оптимізації ймовірностей збереження, від 0 до 20.

У діапазоні цього параметра модель проходить три окремі фази (додаток SI, рис. S4): коли зберігається багато (17) слів, поведінка дуже схожа на теорію несподіванки.

Коли зберігається дуже мало (4) слів, здивування моделі є нечітко однозначним у ДВОХ і ТРЬОХ.

У проміжках модель демонструє якісні прогнози, описані вище; ми показуємо результати для середнього коефіцієнта утримання 10 слів на рис. 3A (див. Додаток SI, рис. S4 для результатів для інших показників утримання): здивування моделі вище в ТРЬОХ умовах, ніж у ДВОХ, збільшується із вбудовуванням зміщення в ОДНУ умову та зменшується з упередженням вбудовування в ДВОХ і ТРИХ умовах.

Ми порівняли ці прогнози з часом читання людиною, який ми виміряли за допомогою парадигми лабіринту (37–39). У цій парадигмі учасники читають речення слово за словом і вибирають між правильним наступним словом і словом-відволікачем, яке збігається за довжиною та частотою, але є дуже поганим у даному контексті.

Залежна змінна, яка нас цікавить, — це час, який потрібен, щоб зробити вибір (час реакції). Парадигма лабіринту забезпечує вищу часову роздільну здатність і чутливість, ніж традиційна парадигма самостійного читання, яка страждає від поганої локалізації через ефект переливу та від шуму через неуважних учасників, зокрема, в веб-експериментах (38, 39).

Існують різні методи для створення відволікаючих слів; ми використовуємо варіант А-лабіринту, в якому дистрактори автоматично генеруються з використанням великомасштабних статистичних мовних моделей (39) (докладніше див. Матеріали та методи).

Ми залучили 100 носіїв англійської мови, зібравши дані з 10 критичних випробувань для кожного учасника, включно з 30 наповнювачами (докладнішу інформацію див. у розділі «Матеріали та методи»).

Середній учасник зробив помилку в 1,9% слів як у заповнювачах, так і в критичних тестах. Заздалегідь визначений критерій виключення для учасників (неправильна відповідь на більше ніж або дорівнює 20% слів) вплинув на 1,0% учасників.

Ми виключили випробування з аналізу часу читання, коли відповідь на критичне слово була неправильною; це вплинуло на 5,2% даних (головним чином у важких умовах ТРИ). Див. Додаток SI, розділ S3.6 для аналізу помилок і часу читання, залежного від помилок.

Ми показуємо час читання останнього дієслова на рис. 3A. Після логарифмічного перетворення ми проаналізували їх у байєсівській лінійній регресії зі змішаними ефектами, ввівши учасників, предмети та іменники як випадкові ефекти (докладнішу інформацію див. у матеріалах і методах).

Результати демонструють ефекти, передбачені моделлю раціонального використання ресурсів. По-перше, час зчитування був вищим у ТРЬОХ, ніж у ДВОХ (= 0.18,95% достовірний інтервал [CrI] [0.13, 0.25], P( < {{ 8}}) < 0.0{{20}}01, ефект у часі необробленого зчитування: 217 мс, 95% CrI [144, 297] ms). По-друге, існувала взаємодія між зміщенням вбудовування та наявністю речення "that" (=−0,09, 95% CrI [−0,15, −0,03],P( > 0) {{25} }.0015).

Відповідно до нашої моделі та теорії несподіванок, ефект упередженості впровадження був позитивним у умові ОДИН (різниця між «фактом» і «звітом»: 297 мс, 95% CrI [34, 566] мс).

Однак, як передбачила наша модель, цей ефект став негативним за наявності речення «що» (різниця між «фактом» і «звітом»: −166 мс, 95% CrI [−297, −41] мс). Цей ефект узгоджується з прогнозами моделі та суперечить DLT або теорії несподіванок.

Взаємодію між глибиною вбудовування та зміщенням вбудовування можна продемонструвати під час об’єднання даних у різних експериментах (Додаток SI, розділи S2.1 і S6.6). Див. Додаток SI, розділ S3 для подальшого аналізу.

Ми виявили, що сприйняття ресурсно-раціонального контексту з втратами є кращим порівняно з теорією несподіванок і DLT у прогнозуванні часу читання не лише в центрі вбудовування, але й у випробуваннях наповнювача (Додаток SI, розділ S9).

Ми також перевірили прогнози для однорідної моделі пам’яті, де кожне контекстне слово зберігається з однаковою ймовірністю, як припускалося в попередній роботі над несподіванкою контексту з втратою (22). Ця модель передбачає вплив зміщення вбудовування, але не ефект глибини.

Далі ми порівняли це з віконною моделлю, де доступні саме останні K слів; ця модель передбачає ефект глибини, але не негативний ефект зміщення впровадження. Докладні відомості див. у Додатку SI, розділ S2.2.

For more information:1950477648nn@gmail.com