Читати книгу - "Пришестя роботів: техніка і загроза майбутнього безробіття"

що складалася, головним чином, з англійських професорів і викладачів літературної майстерності, започаткували онлайн-петицію у відповідь на повідомлення про те, що есе в стандартизованих тестах будуть оцінюватися машинами. У цій петиції за назвою Professionals Against Machine Scoring of Student Essays in High Stakes Assessment («Професіонали проти машинного оцінювання есе під час перехідної атестації») [1] наведена аргументація цієї групи. Суть петиції полягає в тому, що алгоритмічне оцінювання письмових есе є, окрім усього іншого, примітивним, неточним, свавільним, а також дискримінаційним, уже не кажучи про те, що воно здійснюватиметься «пристроєм, який, фактично, не вміє читати». Упродовж менш ніж двох місяців цю петицію підписали майже чотири тисячі професійних викладачів, а також відомих інтелектуалів, зокрема й Наум Хомський.

Звісно, використання комп’ютерів для оцінки екзаменаційних відповідей не є чимось новим; вони вже багато років займалися оцінкою багатоваріантних тестів, і в цьому контексті вважаються трудозбережними пристроями. Одначе коли комп’ютери почали наступ на сферу, яка вважається надзвичайно залежною від кваліфікації людини та її інтелектуальних здібностей, значна частина викладачів сприйняла цю технологію як загрозу. Машинна оцінка есе потребує передової технології штучного інтелекту; базовий метод оцінки студентських есе дуже подібний до того методу, на основі якого був створений лінгвістичний онлайн-перекладач компанії Google. Спершу алгоритми машинного навчання тренуються на великій кількості зразків написаного тексту, який вже колись пройшов оцінку людей-викладачів. Опісля цього ці алгоритми «спускають з цепу», і вони беруться до оцінки нових студентських есе, здійснюючи це практично миттєво.

Немає сумнівів, що автори петиції «Професіонали проти машинного оцінювання есе під час перехідної атестації» мають рацію, коли заявляють, що машини, які здійснюють оцінювання, «не вміють читати». Однак, як ми вже переконалися на прикладах інших програм для великих масивів даних і машинного навчання, це не має значення. Методи, що ґрунтуються на аналізі статистичних кореляційних зв’язків, дуже часто не поступаються найкращим показникам роботи людей-експертів, а часто навіть перевершують ці показники. І дійсно, в одній аналітичній роботі за 2012 рік її автори, дослідники з педагогічного коледжу при Акронському університеті, порівняли машинне оцінювання з оцінками, які поставили люди-викладачі, і виявили, що технологія «досягла практично аналогічного рівня точності, до того ж у певних випадках програмне забезпечення виявилося надійнішим». Це дослідження охоплювало дев’ять компаній, які надають послуги з комп’ютерного оцінювання, і 16 тисяч заздалегідь оцінених учнівських есе з державних середніх шкіл у шести штатах США [2].

Лес Перельман, колишній директор літературної програми Массачусетського технологічного інституту, є одним із найактивніших критиків машинного оцінювання й одним з ініціаторів петиції 2013 року, в якій висловлювався протест проти такої практики. У декількох випадках Перельман успішно скомпілював повністю безглузді есе, яким вдалося обдурити оцінні алгоритми, й отримати високі бали. Однак мені здається, що коли вміння, потрібне для компілювання нісенітниці, якою можна обдурити програму, приблизно дорівнює вмінню, необхідному для написання раціонального есе, то це, ймовірніше, підриває аргументацію Перельмана про те, що цю систему можна легко обвести навколо пальця. Реальне запитання полягає ось у чому: чи може учень, якому бракує здібності гарно писати, ввести в оману оцінну програму. І, скоріш за все, дослідження, здійснене в Акронському університеті, дає на це запитання негативну відповідь. Однак Лес Перельман таки зачіпає одну дійсно важливу проблему: перспективу того, що учнів спеціально навчатимуть писати так, щоб догодити алгоритму, який, за його словами, «непропорційно щедро винагороджує учнів за довгі й багатослівні речення» [3].

Немає жодних сумнівів, що алгоритмічна оцінка, попри пов’язану з нею суперечливість, завойовуватиме домінантні позиції з тим, як школи продовжуватимуть шукати способів скоротити витрати. У тих ситуаціях, коли треба оцінити велику кількість есе, такий підхід має свої очевидні переваги. Окрім швидкості та дешевизни, алгоритмічний метод забезпечує об’єктивність і послідовність у тих випадках, коли в інакшому разі довелося б вдатися до послуг численної команди людей-екзаменаторів. Ця технологія також забезпечує учнів миттєвим зворотним зв’язком і добре підходить для виконання завдань, яким за інших обставин викладач не зміг би приділити достатньої уваги. Наприклад, на багатьох курсах з комунікативних навичок учнів заохочують або навіть вимагають від них вести щоденники; алгоритм може оцінити кожен запис і, можливо, навіть запропонувати його покращити одним лише натиском кнопки. Видається резонним припустити, що автоматичне оцінювання екзаменаційних робіт буде, принаймні в осяжному майбутньому, введено на вступних курсах, де навчають базових комунікативних навичок. Професори англійської мови мають мало підстав боятися, що алгоритми невдовзі вторгнуться до творчих літературних семінарів найвищого рівня. Одначе їхнє застосування на вступних іспитах здатне в підсумку забрати роботу у випускників-асистентів викладача, яких нині залучають до рутинної роботи з оцінювання екзаменаційних робіт.

Цей скандал з приводу робототехнічного оцінювання екзаменаційних есе є лишень невеличким прикладом того опору, який неминуче підніметься, коли прогресивні інформаційні технології всією своєю силою насамкінець обрушаться на освітню сферу. Донині інститути й університети загалом залишалися невразливими до того істотного підвищення рівня продуктивності, яке вже встигло трансформувати інші галузі. Переваги інформаційних технологій наразі не поширилися загалом на всю вищу освіту. Цим, принаймні частково, пояснюється різке зростання вартості вищої освіти, що сталося впродовж останніх десятиліть.

Існують переконливі свідчення, що ситуація невдовзі почне змінюватися. Один з найбільш дестабілізувальних чинників виникне, скоріш за все, з боку онлайн-курсів, пропонованих елітарними навчальними закладами. На ці курси записується чимало охочих, і тому вони стануть вагомим рушієм застосування автоматизованих методів як навчання, так і оцінювання його результатів. EdX, консорціум елітарних університетів, заснований з метою надання онлайн-курсів, на початку 2013 року оголосив, що зробить програму для оцінювання есе безкоштовною доступною для кожного навчального закладу, охочого нею скористатися [4]. Іншими словами, алгоритмічна система оцінювання стала ще одним прикладом базованого в інтернеті програмного структурного блоку, що допоможе прискорити неминучий поступ до дедалі більшої автоматизації кваліфікованої людської праці.

Піднесення і падіння МВДК

Безкоштовні інтернетні курси на кшталт тих, які пропонує EdX, є частиною тенденції, спрямованої до масових відкритих дистанційних курсів, або МВДК, яка вибуховою хвилею поширилася у суспільній свідомості наприкінці літа 2011 року, коли двоє учених-комп’ютерників зі