Дистанционное обучение программированное

А. Г. Оганесян, д-р физ.-мат. наук, проф., Национальный университет "Львовская политехника"

Говорить о новейших технологиях дистанционного обучения (ДО) через Интернет без возможности оперативного дистанционного контроля усвоения учебных материалов в значительной мере лишено смысла. Один из вузов, например, объявил о создании факультета ДО, который вообще не предусматривает использования компьютерных технологий обучения (кстати, англичане именно так и делают). При таком подходе заочная и дистанционная формы обучения совпадают с точностью до несущественных деталей. Тем не менее, "презентации" и сообщения в газетах появляются постоянно. Так сказать, эйфория неведения. К сожалению, учитывая растущий интерес к ДО, вызванный неумеренной рекламой ещё не созданной системы обучения, примитивную замену термина "заочное" на "дистанционное" обучение можно считать свершившимся фактом. Этот очевидно бессмысленный процесс поддерживается и финансируется, что при хронической нехватке средств не только на развитие, но и на текущие нужды высшего образования выглядит, по меньшей мере, странно.

Поэтому прежде не мешает уточнить само понятие ДО. Тут нет определённости. Даже опытные педагоги пока не выработали согласованного определения ДО. В рамках такой неопределённости невозможно ни выполнить сравнительный анализ, ни рассмотреть возможные пути совершенствования систем ДО. Полные же энтузиазма фразы о возможностях применения современных сетевых информационных технологий в учебном процессе - обычно не более чем риторика. И, как правило, рассматривается только один аспект учебного процесса - доставка студенту учебных материалов через Интернет. Неужели всерьёз можно рассчитывать, что это чем то улучшит качество обучения заочников? Нет, конечно. Всем хорошо знакомо несовершенство этой формы обучения (если её вообще можно считать обучением). И изменение названия и способа доставки студентам учебных материалов ситуацию не изменят.

Выпускник вуза, раз уж ему выдан диплом, например, инженера по какой-то специальности, должен уметь выполнять именно работу инженера, а не только знать, как это делать. Но это в идеале. В прошлые времена в СССР было понятие "молодой специалист". Предполагалось, что он знает достаточно, но мало умеет. В порядке распределения его направляли на работу по специальности и назначали минимальный оклад. В течение трёх лет молодой специалист учился применять полученные знания на практике. В этот период его практически нельзя было уволить. Даже если он не проявлял должного рвения в работе.

Что теперь? Теперь всюду появляются объявления типа: "требуется бухгалтер с опытом работы", т. е. предполагается, что выпускник вуза по-прежнему много знает, но мало умеет и такие "специалисты" в наше время спросом не пользуются. ДО в сегодняшнем исполнении способно только усугубить ситуацию.

Аксиома: научиться работать - можно только работая. И несомненно прав Г.А. Атанов утверждающий, что "нет учебной деятельности - нет обучения" [Атанов Г.А., 2003]. Правда, умение без знаний вряд ли возможно (разве что катающиеся на велосипедах медведи в цирке это демонстрируют). В самом деле, даже сапожник должен знать свойства кожи, клея, ниток и множество только ему известных секретов, чтобы шить действительно хорошую обувь. Подготовка пилота начинается с изучения теоретических курсов и только после успешной сдачи экзаменов приступают к полётам. Так же готовят водителей автомобилей. И те, и другие в период обучения не зря проводят большую часть времени за штурвалом самолёта или рулём автомобиля (знаю это не по наслышке). А вот студентов совершенно зря заставляют основную часть учебного времени слушать лекции. Отсюда и результаты.

Даже индивидуальное обучение, например музыкантов, не гарантирует успешного овладения специальностью. Многое зависит от способностей. При массовом же обучении, когда качество самого процесса обучения существенно хуже, гарантий ещё меньше (о заочном обучении и говорить не приходится).

Права пилота или шофёра подтверждают умение управлять самолётом или автомобилем. Что же будет подтверждать диплом вуза с дистанционной формой обучения? Разве только то, что ему были переданы по сети различные учебные материалы (пусть совершенно великолепные), он участвовал в сетевых дискуссиях и лично сдал определённое количество экзаменов.

Обучают управлять самолётом или автомобилем одни, а проверяют подготовку всегда другие. В вузах же преподаватель и экзаменатор, как правило, представлены одним лицом. И, к сожалению, слишком много причин сейчас вынуждает преподавателя вуза завышать оценки, а администрацию это поощрять. Результат: почти массовый выпуск дипломированных неучей. Отсюда и недоверие к дипломам. Их девальвация.

Очевидно, чтобы изменить ситуацию, нужно устранить причины, её вызывающие. Три основных уже названы. Во-первых, от массового обучения нужно перейти к индивидуальному; во-вторых, надо обучать умению работать - работая (очень рекомендую прочитать книгу профессора Г.А. Атанова [Атанов Г.А., 2003]); в третьих, обеспечить независимость проверки уровня подготовленности на всех этапах обучения.

Вопрос в том, как это осуществить. Сложно. Однако бывают периоды удачного стечения обстоятельств. На мой взгляд, сегодня есть всё необходимое, чтобы создать не бутафорную, а действительно работающую систему дистанционного обучения. Во-первых, забытая теория и практика разветвлённого программированного обучения; во-вторых, хорошо обоснованная теория деятельностного обучения (например, [Атанов Г.А., 2003]); в-третьих, есть Интернет.

За рубежом к работам по программированному обучению и применению обучающих машин приступили с середины пятидесятых годов прошлого века. Основоположником метода разветвлённого программированного обучения в США считают Н. Краудера [Crowder, N. A., 1958]. Вот что он пишет о методике разветвлённого программирования:

"Разветвленное программирование исходит только из предположений о природе процесса обучения, являющихся обычными в педагогической практике уже в течение продолжительного времени. Более того, как уже было сказано ранее, разветвленное программирование не является педагогической теорией о способах обучения, а представляет собой методику подготовки письменных материалов, которые отвечают целому ряду педагогических целей. Поэтому методика будет описана до рассмотрения теоретических вопросов.

Данная методика строится с использованием следующего простого принципа: выбор учащимся одного из нескольких данных готовых ответов может быть использован автоматически для того, чтобы подготовить его к восприятию нового материала; учащийся, выбирающий одну из имеющихся альтернатив, может обратиться к иному материалу, чем учащийся, избравший другую альтернативу. Один из способов использования этой методики сводится к включению в обычный текст вопросов, которые автоматически учитываются и могут быть использованы для исправления ошибок.

В простейшем "перепутанном учебнике" учащемуся предлагается небольшая часть материала, подлежащего, усвоению, ставится вопрос и предлагается выбрать ответ из ряда предложенных с целью проверки правильности усвоения только что пройденного материала. После каждого предлагаемого ответа ставится номер страницы. Учащийся выбирает правильный, по его мнению, ответ и переходит к той странице, номер которой указан против избранного ответа. Если выбор, сделанный учащимся, был правильным, то на этой странице он найдет следующую порцию материала и соответствующий вопрос вместе с альтернативными ответами. Если же он выбрал неправильный ответ, то на странице, которая указана против этого ответа, он найдет материал, разъясняющий, почему этот ответ неверен. Познакомившись с разъяснением, учащийся должен вернуться на первоначальную страницу и вновь попытаться выбрать правильный ответ. Таким образом, учащийся не сможет перейти к следующей дозе нового материала до тех пор, пока не выберет правильного ответа, а при выборе неправильных ответов ему вновь придется просмотреть старый материал.

Страницы в таком учебнике даются в неопределенном "перепутанном" порядке, а не последовательно. В результате учащийся не может игнорировать обращенный к нему вопрос и пассивно переходить к следующей странице. Он должен сознательно произвести выбор, а не выбирать наугад, так как эта "следующая" страница будет совсем под другим номером, и найти ее можно только после выбора правильного ответа.

Можно быть заранее уверенным, что при обсуждении формы ответа возникнет вопрос, способствует ли выборочный метод ответов запоминанию неправильных положений. Этот вопрос правомерен в отношении обучения голубей, но представляется мне совершенно неправомерным при серьезной педагогической работе с людьми. Мы ожидаем от учащегося правильного ответа в силу того, что он понял только что прочитанный по этому вопросу материал, а не потому, что он давал данный ответ чаще, чем другие ответы. В материале для заучивания наизусть это может быть и справедливо, но и большей части материала, интересующего педагогов, есть, видимо, причина для правильного ответа на вопрос, а не просто статистический подсчет частоты ответов".

Одной из характерных особенностей разветвлённого программированного обучения является активная самостоятельная работа обучаемого и немедленное получение обучающимся сведений об ее результатах. Являясь автором печатных вариантов разветвленных программ типа "перепутанная книга" (scrambled book), Н. Краудер тем не менее отдает предпочтение использованию технических средств (им самим создана и рекомендована обучающая машина "Autotutor", которая была широко распространена в США и по образцу которой выполнялись многие машины в других странах, в частности в Англии). Заслуживает внимания его определение роли обучающих машин, основанное не только на выводах теории, но и подтвержденное лабораторными исследованиями. Машины рассматриваются как средство, позволяющее точно регистрировать ход экспериментов, строго соблюдать последовательность предъявления материала (исключать подсматривание ответа), обеспечивать частый самоконтроль в массовой аудитории, выдавать немедленное подкрепление правильности действий. За прошедшие полвека неузнаваемо возросли возможности и интеллект вычислительных машин. Современные компьютеры позволяют выйти за пределы задач с выборочными ответами [Оганесян А.Г., 1999] и не ограничивают возможностей по созданию качественных интеллектуальных программ.

Вот как оценивал программированное обучение академик АН УССР Б.В.Гнеденко ещё в 1968 году:

"Повышение эффективности учебного процесса при введении программированного обучения обеспечивается увеличением доли занятий, на которых создана возможность дифференцированного, индивидуального обучения в условиях массовой аудитории. Это позволяет не только всесторонне использовать индивидуальные различия учащихся, но и вести обучение с учетом особенностей усвоения материала каждым учащимся, а текущий контроль усвоения сделать средством, регулирующим последовательность и содержание дальнейшего обучения. Достоинства такого метода очевидны. Появляется возможность высвободить время учителя для выполнения наиболее квалифицированного и творческого труда. Создаются условия для обучения большего количества людей при данном числе педагогов. Открываются широкие перспективы для заочного, домашнего и вечернего образования, удельный вес которых все более увеличивается. Возрастает активность и самостоятельность обучаемых в приобретении знаний. Программирование обучения должно помочь молодому поколению самостоятельно учиться всю жизнь, не отставая от развития науки и техники".

Создаётся ощущение, что эти слова написаны сегодня. Однако первоначальный энтузиазм постепенно иссяк, и на долгие годы о программированном обучении забыли. Идея программированного обучения опередила время: персональные компьютеры ещё не появились, а программированные учебники не прижились: очень уж утомительно было без конца искать страницы, куда следовало перейти в зависимости от выбранного ответа на задаваемые вопросы. Да и сами вопросы, как правило, предполагали выборочный ответ, т. е. каждый вопрос сопровождался несколькими возможными вариантами ответов, один из которых был верным. Остальные же были, в лучшем случае, только приблизительно верными.

Большим недостатком существующего учебного процесса является то, что учет результатов обучения происходит через длительные промежутки времени, а сама переработка содержания обучения осуществляется слишком медленно, так что иные программы отражают уже давно пройденный и превзойденный уровень. Сам учет реализации программ ведется интуитивно, на основе элементарных оценок лишь конечных результатов обучения. Это означает, что содержание обучения и способы обучения отчленяются друг от друга.

Появление доступных персональных компьютеров и компьютерных сетей в корне изменило ситуацию. Оно позволило соединять искусственно разорванные в обычном учении процессы изучения материала, его осмысливания, закрепления и контроля усвоения. Метод разветвлённого программирования, реализованный с использованием современных персональных компьютеров, идеально подходит для индивидуального деятельностного обучения. В самом деле, ядром и существом учебной деятельности является решение задач. Учебная задача - это любая задача, предъявляемая студенту, если она направлена на достижение учебных целей [Атанов Г.А., 2003]. Характерная же особенность программированного обучения заключается в том, что оно даёт немедленное подкрепление после правильных ответов. Известно, что знание правильности ответов является подкреплением для учащихся. Установлено, что если ответ подкрепляется с задержкой даже на несколько секунд, эффективность подкрепления значительно снижается. У взрослых людей при сравнительно небольших задержках в подкреплении определенное поведение всё же вырабатывается, тем не менее, любая задержка делает подкрепление менее эффективным [Holland J.G., 1958]. Также широко известно, что учебный материал усваивается только в случае его осуществления и подкрепления. Однако в условиях вуза студент активно выполняет совсем немного вербальных операций [Оганесян А.Г., 1999]. Выполняя предлагаемые компьютером задачи, студент работает и эта работа подкрепляется. Одновременно обеспечивается объективный и независимый текущий контроль успеваемости. Для обучения необходимо не только подкрепление, |нужна и большая частота правильных ответов, поскольку материал, вызывающий ошибочные ответы, действует как наказание. При работе с обучающими машинами наблюдались случаи, когда учащиеся прекращали работу, если материал становился для них настолько трудным, что они допускали много ошибок [Holland J.G., 1958].

Для методики разветвленного программирования характерен тщательный отбор материалов, расчленение их на дозы и введение контрольных вопросов и заданий. Нельзя подготовить разветвленную программу, просто разрезав обычный текст на параграфы и включив в каждый параграф вопрос и ответы по выборочной системе.

Учебники писать трудно. Одного знания предмета недостаточно. Тут необходимо умение просто объяснять сложное. Но мало кто владеет этим искусством (как тут не вспомнить об "учебнике", по которому львовские школьники впервые знакомятся с физикой: начинается он с изложения свойств газов"на основании молекулярно-кинетической теории" ). Программированные же учебники писать значительно сложнее. Обычные учебники состоят из текстов, контрольных вопросов и задач к ним. Программированные же должны дополнительно содержать, во-первых, тексты, излагающие один и тот же материал с различным уровнем подробностей; во-вторых, тексты с дополнительными пояснениями для каждого неверного ответа; в-третьих, для каждого возможного ответа номер следующей задачи (или способ его определения). И это ещё не всё. Неразумно просто ввести в память компьютера только тексты, пусть и перепутанные. В отличие от книги, где все материалы статические, учебные материалы компьютерной обучающей системы могут быть динамическими.

Я не сторонник замены учебника компьютером. Даже противник. Компьютер должен дополнять учебник, а не заменять его. Выполнять только те функции, которые недоступны книге. Например, книге недоступны динамические иллюстрации и звуковое сопровождение (разве что в виде приложений из аудио и видеокассет). Кроме того, вовсе необязательно, чтобы учебные тексты обязательно появлялись на экране. Вполне допустимо после решения задачи на экран выводить рекомендацию, какой раздел, и в каком учебнике следует прочитать.

Однако есть один довод в пользу электронных учебников, содержащих изложение материала. Прежде всего, потому, что эти материалы можно постоянно корректировать и дополнять. Включать данные из последних публикаций и т. д. Однако это должны делать только ведущие предмет педагоги. И делать это профессионально.

Большинство обычных методов обучения не позволяет осуществлять тщательную "подгонку" материала к возможностям студентов. Только при программированном обучении, реализованном в виде комплекса компьютерных программ, можно пересматривать материал, сообразуясь с конкретными трудностями, которые встречаются у студентов. Образно говоря, студент может сам принять участие в составлении программы, что исключается при работе с учебником. И, наконец, используя Интернет, всё это можно делать дистанционно.

Практика стихийных или плохо регулируемых попыток создания методических и технических средств для дистанционного обучения делает особенно ценным давнее замечание Дж. Холланда (Гарвардский университет, 1958 г.) об опасности, что "программированное обучение может оказаться погребенным под "лавиной обучающих машин и бесполезных программ к ним". Именно это сейчас и происходит. Во всяком случае, понятие "Дистанционное обучение" потеряло свой первоначальный смысл и стало просто синонимом термина "Заочное обучение". Нужен новый термин, отражающий первоначальный смысл понятия дистанционного обучения, которое появилось (во всяком случае, у нас) в связи с открывшимися возможностями современных информационных технологий. Можно использовать, например, термин "Дистанционное обучение программированное" - ДОП.

Создать и внедрить в реальный учебный процесс высшей школы ДОП одномоментно совершенно невозможно. Это очень трудоёмкий процесс, требующий высокого профессионализма и соответствующего финансирования. Можно только постепенно, переводя один предмет за другим с обычной формы обучения на дистанционную. И так - для каждой специальности. Однако, если на первом этапе, используя современные компьютерные технологии, создать методику обучения и механизм текущего дистанционного контроля успеваемости для заочников, то получим именно то, что уже можно назвать дистанционным обучением. Более того - такой механизм существует и давно используется в реальном учебном процессе [Оганесян А.Г., 2002; Оганесян А.Г., 2001]. Основная его особенность - учебная деятельность студента организуется без участия "тьютора", т. е. преподавателя, поддерживающего связь со студентом по Интернет. Большинство создателей систем дистанционного обучения с участием "тьюторов", для краткости - ДОТ, несомненно, сочтут это большим недостатком. Однако, уж не раз писал об этом, для массового обучения, особенно в преддверии перехода к открытому образованию, ДОТ неприменим по одной простой причине - "тьюторов" потребуется недостижимо много. Да и дорого это будет. Поэтому ДОТ приемлем разве что для небольшой прослойки хорошо обеспеченных людей. А вот ДОП без "тьютора", позволяет максимально использовать достоинства дифференцированного индивидуального подхода при массовом обучении, а также использовать результаты контроля текущего усвоения для управления содержанием и последовательностью дальнейшего изложения материала. Это недорого и доступно для большинства.

ДОП - это комплекс программ, часть из которых находится на сервере вуза и выполняет функции, аналогичные функциям деканатов. В основном это учёт и статистическая обработка результатов. Другая часть, это предметные программы, с которыми непосредственно работает студент. Для краткости их можно назвать АсДОП (Автономная система дистанционного обучения программированная). Студент получает АсДОП по электронной почте.

Рис. 1. Функциональная схема АсДОП.

Функции и режимы работы АсДОП достаточно подробно описаны в [Оганесян А.Г., 2002; Оганесян А.Г., 2001]. Контроль знаний, неизбежно предполагаю-щий диалог, выполняется автономно, на компьютере студента. По электронной почте в вуз передаются только результаты этого контроля. Студент работает с АcДОП в реальном времени, а обратная связь - через электронную почту. АСДО содержит набор задач и вопросов по конкретному предмету, программы анализа и оценки ответов студента, хронометрирования, защиты от несанкционированного доступа и управления.

Функционально АсДОП состоит управляющей программы и банка задач по конкретному предмету (см. рис 1). Управляющая программа универсальна и не зависит от содержания задач. Банк задач для каждого предмета свой. Любая задача это, как правило, небольшая программа, написанная на алгоритмическом языке высокого уровня (мы используем язык Си). Привожу исходный текст одной из задач с выборочным ответом по курсу "Цифровая обработка сигналов", а на рис.2 показан кадр, выводимый этой программой на дисплей.

При создании АсДОП, которую уже несколько лет используем в учебном процессе, были поставлены следующие два условия:

размер АсДОП не должен превышать 1,4 мегабайта, чтобы, во-первых, её можно было разместить на одной дискете (очень мало студентов имеют доступ к Интернет) и, во-вторых, время её передачи по электронной почте не должно превышать нескольких минут;

АсДОП должна работать со всеми операционными системами (включая и DOS), иначе, учитывая низкую обеспеченность студентов компьютерами (ещё используют компьютеры даже без Windows), многим она будет недоступна.

Со временем ограничения можно будет снять, но сегодня именно они позволяют использовать АсДОП в реальном учебном процессе для заочников. На первом занятии каждый заочник получает дискету АсДОП с личным идентификатором, который исключает возможность подтасовок или использование чужих результатов работы [Оганесян А.Г., 2000; Оганесян А.Г., 1999]. Только некоторые из заочников получают АсДОП по электронной почте (чаще всего отсутствовавшие на первом установочном занятии). Допуск к экзамену получают только те студенты, которые успешно выполнят все задания АсДОП. Таким образом, АсДОП заменяет обычно используемые для заочников контрольные задания (не секрет, что редкий студент выполняет их сам). Кроме того, многие студенты стационара используют АсДОП дома для подготовки к экзаменам.

Несмотря на экспериментально доказанную пользу от применения АсДОП в учебном процессе, пока вся эта непростая работа держится только на одном энтузиазме и без всякого финансирования. На базе заочных факультетов и подготовительных кусов создаются факультеты, и даже институты ДО. А результат обычный - смена вывесок и никакого интереса к ДОП. К сожалению, это не исключение - скорее правило.

Много лет назад мне казалось, что только недостаток компьютеров тормозит широкое применение компьютерных обучающих систем в учебном процессе вузов. Сейчас компьютеры есть. Есть и учебные классы. Более того, уже широко используются в учебном процессе различные пакеты программ (в основном иностранные), в том числе и обучающие. Почему же собственные разработки, хорошо согласованные с учебными программами и методикою нашей высшей школы, энтузиазма у администрации вузов они не вызывают? Сейчас ответ ясен: наши обучающие системы КОС, ДОП и АсДОП не только обучают, но и тестируют, принимают модули и экзамены, т. е. нарушают основной действующий принцип "сам учу - сам и результат оцениваю".

Погоня за журавлём в небе не позволяет увидеть синицу в руках. Конечно, никакие компьютерные экзаменующие программы не гарантируют абсолютно точной оценки знаний. Однако и преподаватель не может этого гарантировать. Но даже самая несовершенная экзаменующая программа гарантирует объективность и неподкупность (если, конечно, она не содержит специальных операторов для этой цели, что уже криминал, который совсем нетрудно обнаружить). Это чрезвычайно важно и в корне меняет ситуацию. Именно поэтому компьютерные экзаменующие программы почти идеально приспособлены для проведения конкурсных экзаменов при поступлении в вуз (хотя необходимость самих конкурсных экзаменов весьма проблематична).

Некоторые вузы уже используют компьютеры на вступительных экзаменах. Однако все они грешат существенным недостатком - между абитуриентом и компьютером всегда есть посредник, что не исключает сомнений в объективности. Посредник вводит написанные абитуриентом ответы в компьютер. Невозможность посадить самого абитуриента за компьютер обычно объясняют тем, что компьютеров меньше, чем абитуриентов. Однако этот довод не выдерживает критики. Ничто не мешает проводить тестирование в порядке очереди. Вспомним, в былые времена устные конкурсные экзамены принимали 2-3 преподавателя в одной аудитории. В компьютерном же классе могут сдавать экзамен 10-20 абитуриентов одновременно. А учитывая, что большинство университетов имеют не один компьютерный класс, которые в период приёмных экзаменов свободны, то наличие посредника представляется просто лишним.

Иногда приводят ещё один довод: ответы абитуриента на бумаге являются юридическим документом, позволяющим урегулировать возможные конфликты. Но это тоже не довод. Компьютер сохранит ответы абитуриентов значительно надёжнее, чем любая бумага. Бумагу нетрудно подделать. А компьютерный документ значительно сложнее. Банки давно совершают денежные операции на компьютерных сетях и не опасаются подделок. Просто программное обеспечение для приёма конкурсных экзаменов должно быть разработано профессионально. К сожалению, на одном энтузиазме эту работу не осилить, а держатели средств её просто не замечают. А ведь система набора студентов требует пересмотра, хотя практически все причастные к этому процессу считают её достаточно хорошей. Но откуда тогда на первом же курсе такое количество еле успевающих? Почему столь велико несоответствие между успехами на конкурсных экзаменах и на первой же сессии?

Уверен, что проблемы с широким внедрением компьютерного тестирования, как это ни покажется странным, связаны именно с объективностью такого тестирования.

Список литературы

[Оганесян А.Г., 2002] Оганесян А.Г. Проблема обратной связи при дистанционном образовании. - Москва: Открытое образование, № 3, 2002, URL: http://www.maoo.ru

[Оганесян А.Г., 2001] Оганесян А.Г. Пути и проблемы открытого образования.- Educational Technology & Society 4(3) 2001, ISSN 1436-4522, pp. 116-129, URL: http://ifets.ieee.org.russian

[Оганесян А.Г., 2000] А.Г.Оганесян, Н.А.Ермакова, К.О.Чабан. Проблема "шпаргалок" или как обеспечить объективность компьютерного тестирования? - Москва: Дистанционное образование, № 6, 2000, с.29-34. URL: http://www.maoo.ru

[Оганесян А.Г., 1999] А.Г.Оганесян. Опыт компьютерного контроля знаний. - Москва: Дистанционное образование, № 6, 1999, с.30-35.

URL: http://www.fcde.ru

[Атанов Г.А., 2003] Г.А.Атанов. Возрождение дидактики - залог развития высшей школы. - Донецк: ДОУ, 2003. -180 с.

[Crowder, N. A., 1958] Crowder, N. A., Intrinsically programmed materials for teaching complex skills and concepts. Paper read at the Amer. Psychol. Ass., Washington, D. C., August, 1958. (a) -, Automatic tutoring by means of intrinsic programming: Paper read at the Air Force Office of Scientific Research and the Univ. of Penna. Conference on the Automatic Teaching of Verbal and Symbolic Skills. Philadelphia, December, 1958.

[Holland, J. G., 1958] Holland, J. G., A teaching machine program in psychology and its classroom use. Paper presented at Conference on Teaching Machines, Univ. of Penna., December 1958.