Оценка экономической эффективности использования информационных технологий в медицине

Статьи - Анализ

Я.И. Гулиев

И. Ф. Гулиева

Е.В. Рюмина

Оценка экономической эффективности медицинских информационных технологий предполагает количественное сопоставление затрат и результатов. Если необходимые для этого показатели возможно сформировать, то далее оценивание эффективности можно осуществить с помощью известных методов оценки экономической эффективности инвестиционных проектов [1-4]. Этот подход наиболее общий и в силу этого особенно труднореализуем для специфических проектов, отличных от традиционных инвестиционных проектов, внедряемых в промышленности. Основной сложностью приложения данного подхода (как, впрочем, и всех других подходов) к проектам внедрения информационных технологий в медицине является экономическая оценка их результатов.

Следующим этапом приближения к решению поставленной задачи является анализ общих подходов к оценке эффективности информационных систем, независимо от их предметной области. Здесь отмечается отсутствие методик, готовых к практическому использованию. Практические наработки имеются лишь для частных случаев при допущении определенных условий, касающихся характера и области внедрения информационных систем.

В отсутствие унифицированного подхода к оценке экономической эффективности информационных технологий разрабатываются специальные методы для информационных систем, служащих решению конкретных управленческих задач, в частности в области медицины. Большинство таких методов имеет эвристический характер и основываются на изучении затрат и экономических последствий внедрения информационных систем в каждом конкретном случае. Если удается количественно определить затраты и результаты использования таких систем, то далее возможно применение общего подхода к оценке экономической эффективности инвестиционных проектов, о котором говорилось выше.

Этот наиболее предпочтительный уровень решения задачи оценки эффективности информационных систем в медицине труднодостижим, поэтому положительным продвижением можно считать и содержательное выявление позитивных результатов внедрения конкретной информационной системы, измеряемых определенными качественными показателями.

Изложенной логике перехода от общего к частному при разработке методов оценки эффективности информационных технологий в медицине следует далее приводимый анализ современного состояния исследований в рассматриваемой области.

Общий подход к оценке экономической эффективности инвестиционных проектов. Универсальные методики оценки эффективности инвестиционных проектов содержат общие ее принципы и являются достаточными лишь для наиболее распространенных проектов производственного назначения. В этих методиках имеются указания на необходимость привлечения специальных процедур для экономической оценки результатов, связанной с учетом нестандартных ситуаций (например, в проектах научно-технического развития, проектах экологического назначения и т.п.). Это говорит о том, что методики рассчитаны на более широкое, чем только производство товаров, применение. Такие методики оценки эффективности должны определять наиболее предпочтительное направление вложения средств среди всех возможных направлений в промышленности, науке, здравоохранении и т. д. Одной и той же методикой должна быть обеспечена возможность сравнения эффективности любых нестандартных проектов с промышленными проектами, поскольку в них инвестируются одни те же финансовые ресурсы.

Специфика оценки эффективности информационных технологий состоит в отражении их результатов, которые не являются доходами от продаж выпускаемой продукции, поэтому отличаются от результатов промышленных инвестиционных проектов. Возможность подобных ситуаций предусмотрена в существующих методиках. В них особо подчеркивается, что инвестирование осуществляется с целью получения выгоды. Термин «выгода» используется для того, чтобы показать, что цели инвестиционных проектов не ограничиваются чистым доходом от продаж, а могут принимать другие формы, например, экономии средств, предотвращения потерь.

Кроме Методики ЮНИДО [5] в России применяются «Методические рекомендации по оценке эффективности инвестиционньгх проектов», утвержденные Министерством экономики РФ, Министерством финансов РФ и Госстроем России [2]. Эти рекомендации отвечают условиям перехода экономики к рыночным отношениям, предполагающим унификацию методов оценки эффективности, и согласуются с методами и подходами, предложенными в методике ЮНИДО [5] и в советской методике 1988 г. [6].

В соответствии с указанными методиками рассматриваются четыре показателя: чистый дисконтированный доход, индекс доходности, внутренняя норма доходности и срок окупаемости инвестиций. Поскольку ни один критерий сам по себе не является достаточным для оценки проекта, то решение должно приниматься с учетом всех критериальных показателей.

Основным препятствием к использованию этих методик для оценки экономической эффективности информационных технологий в медицине является отсутствие четкого представления о результатах, достигаемых в каждый год расчетного периода.

Анализ исследований оценки эффективности информационных систем. Проблема оценки эффективности информационных технологий возникла с появлением автоматизированных систем управления. В 1975 г. была утверждена «Методика определения экономической эффективности автоматизированных систем управления предприятиями и производственными объединениями» [7]. Однако методика имела очень ограниченную сферу применения и использовалась только на тех предприятиях, где был возможен объективный учет затрат и доходов (например на транспортных предприятиях) [8].

В настоящее время активно формируется представление об общей принципиальной убыточности информационных технологий. «Применение вычислительной техники лишь добавляет новое качество управления, но не меняет суть. Происходит просто смена поколений инструментов работы с информацией» [9]. Тратить время и деньги на расчет «экономического эффекта внедрения корпоративных информационных систем -значит еще больше увеличить убытки, связанные с этим внедрением» [там же].

Однако выгоды от внедрения информационных технологий реальны. В общем случае к первичным выгодам относятся: информированность руководства; снижение затрат труда на учет; уменьшение потерь от погрешностей учета; повышение точности и оперативности текущих управленческих процедур. К вторичным выгодам - повышение управляемости, сохранение позиций на рынке, конкурентоспособность; снижение издержек от ошибок управления; улучшение взаимодействия с партнерами [8]. Сложность состоит в экономическом измерении этих выгод.

Другой подход предложил и развил в своих многочисленных работах П. Страссманн [10]. Поскольку количественно проследить экономический эффект информационных технологий часто не представляется возможным, то эффективность внедрения информационных систем можно рассматривать с точки зрения их воздействия на такие основные финансовые составляющие, как объем продаж, объем оборотных средств, себестоимость изделий, доля на рынке. Изменение этих составляющих представляется как результат модернизации структуры управления производством. П. Страссманн ввел понятие «отдача от менеджмента». То определение, которое он дает этому понятию, роднит его с понятием интеллектуального капитала (или нематериальных активов), рассчитываемого как разность между акционерной стоимостью компании и стоимостью ее чистых активов. П. Страссманн считает, что таким образом введенный показатель отдачи от менеджмента отражает эффективность использования информации на предприятии. Однако это понятие много шире, чем эффект использования информационных систем.

Поскольку предметом нашего изучения являются методы оценки эффективности именно информационных систем, то в этой области в качестве общего метода можно назвать, пожалуй, только модель ССВ - совокупной стоимости владения (в англоязычной литературе TCO - Total Cost of Ownership). Эта модель предназначена для оценки сравнительной эффективности, так как основана на следующей предпосылке: две информационные системы характеризуются одинаковым результатом, поэтому для выбора более эффективной из них достаточно сравнить затраты, связанные с их внедрением и обслуживанием. Таким образом, отпадает необходимость решения наиболее сложной задачи - определения выгод, получаемых от информационных систем. Однако область практического использования метода существенно сужается вследствие принятого предположения о тождестве выходных параметров сравниваемых проектов.

Под совокупной стоимостью владения понимаются «полностью учтенные ежегодные расходы предприятия (а не только его IT-отдела), связанные с приобретением и, что особенно важно, использованием информационных технологий в бизнесе». Подразумевается учет не только прямых, но и скрытых, косвенных затрат, например потерь от простоев пользователей. Работа с моделью ССВ сосредоточена на оценке затрат, и в этом направлении достигнуты существенные результаты по классификации затрат, методам их измерения, определению их структуры. Наибольшее распространение получила модель ССВ, разработанная компанией Gartner Group в середине 1990-х годов. Компания Microsoft для базовой модели ССВ распределила затраты следующим образом:

Доля в общих затратах, %

Программное обеспечение 25

Администрирование 21

Поддержка 16

Разработка 6

Коммуникации 4

Человеческий фактор 21

Простои 7

Под человеческим фактором понимаются незапланированные косвенные затраты, связанные с ошибками и трудностями в работе с информационными системами, которые приводят к непроизводительным затратам времени и ресурсов пользователей.

Последние результаты в области исследования затрат на информационные технологии представлены в учебных пособиях [14, 15].

Учет затрат на внедрение и эксплуатацию информационных систем (ИС) способен не только выявить более эффективный их вариант при сравнении систем с аналогичными результатами, но и оценить экономическую эффективность в общем случае, поскольку эта оценка является сопоставлением получаемых выгод с осуществляемыми затратами.

В отсутствие единой, общепризнанной и универсальной методики процесс оценки экономической эффективности ИС превращается в значительной степени в исследовательскую работу с необходимостью проектной привязки к конкретному объекту. В нашем случае такими объектами являются медицинские учреждения.

Подходы к оценке экономической эффективности информационных технологий в медицине. Основной сложностью приложения общего подхода к проектам внедрения информационных технологий в медицине является экономическая оценка их результатов. Существует мнение, что внедрение медицинских информационных технологий, как впрочем и любых информационных технологий, имеет исключительно затратный характер, а их отдача выражается не стоимостными показателями, а только качественными: повышением качества медицинского обслуживания, облегчением работы медицинского персонала, улучшением здоровья пациентов и др. По существу, такое мнение возникло из-за отсутствия не реальной экономической выгоды, обеспечиваемой информационными технологиями, а разработанных методов измерения экономического эффекта.

Для определения экономической эффективности медицинских информационных систем можно воспользоваться зарубежными оценками, поскольку имеется многолетний опыт компьютеризации в здравоохранении развитых стран. В данной статье приведен анализ некоторых литературных источников по рассматриваемой проблеме.

Наиболее значимыми и показательными среди внедряемых в настоящее время медицинских информационных технологий являются системы электронных медицинских карт (СЭМК). В европейских странах электронные медицинские карты заменили обычные бумажные карты на 50-90%, в США - на 70% [16].

Поскольку отдача от внедрения медицинских информационных технологий в целом складывается из экономии средств по отдельным направлениям их расходования, то оценки достигаемого экономического эффекта могут быть получены путем выявления как можно более полного круга преимуществ, обеспечиваемых информационными системами. Наиболее ощутимыми выгодами внедрения медицинских информационных технологий являются:

• сокращение количества действий с картами, возможности копирования записей;

• экономия затрат на лекарственные препараты;

• экономия затрат на лабораторные и радиологические исследования;

• сокращение сроков госпитализации;

• выгоды администрирования при работе с платежными документами.

Отметим, что к перечисленным выгодам, получаемым за счет внедрения системы электронных медицинских карт, при условии их широкого распространения, обязательно добавляется экономический эффект других факторов, например, обмена клинической информацией о пациентах между медицинскими учреждениями. Частный случай такого обмена - взаимодействие поликлиники и стационара. Но в этом аспекте экономический эффект мало изучен.

В обзорной работе приводится более детальная классификация выгод от применения медицинских информационных технологий - по амбулаторному сектору и по стационарному:

амбулаторный сектор:

• выгоды от электронных медицинских записей;

• экономия затрат на выписки из карт;

• экономия на лабораторных исследованиях;

• экономия затрат на лекарственные препараты;

• экономия на радиологических исследованиях;

стационарный сектор:

• выгоды от улучшения работы медсестер с документами;

• выгоды от электронных медицинских записей;

• экономия на лабораторных исследованиях;

• экономия затрат на лекарственные препараты;

• выгоды от сокращения сроков госпитализации.

Количественное определение размеров экономии по каждому из этих видов выгод проводилось путем хронометража рабочего времени медицинского персонала, опросов экспертов, сравнения затрат до и после внедрения ИС, прямых расчетов стоимости лекарственных средств и т. д.

Последовательно рассмотрим оценки финансовых результатов, получаемых по каждому из преимуществ медицинских информационных технологий.

Выгоды от сокращения количества действий с картами, возможности копирования записей.

Амбулаторный сектор. СЭМК уменьшает (избавляет) необходимость вести бумажные амбулаторные карты пациентов. Экономия достигается за счет того, что нет необходимости в персонале, занимающимся поиском и выдачей бумажных карт; однажды записав данные о пациенте, врач может в дальнейшем быстро их найти и ознакомиться со всеми ресурсами карты; данные не занимают физического пространства, которое может использоваться более продуктивно. Конечно, учреждения, оборудованные СЭМК, продолжают получать бумажные документы в форме отчетов лабораторий, направлений к врачу-специалисту и т.д. В этом случае также возможна экономия благодаря сканированию бумажных документов в СЭМК и использованию их любым врачом без дополнительных поисков необходимой информации в бумажных документах. Поскольку перевод документа в электронный вид осуществляется однажды, то в дальнейшем затраты персонала на работу с документами могут быть уменьшены.

В литературе приводятся различные данные об экономии за счет введения электронных медицинских записей. Экономия расходов на ведение записей медицинским персоналом оценивается в 63,4 % [16].

В работе [17] приводится следующий расчет: приемлемая оценка времени, затраченного на каждую выписку из бумажной карты, составляет приблизительно четыре минуты. Количество выписок из карт на одного врача в день больше, чем количество посещений в 1,6 раза (например, потому, что некоторые выписки делаются при телефонных контактах между врачом и пациентами, между врачами). При средней нагрузке - 15 пациентов в день 5 дней в неделю в течение 48 недель -на одного врача приходится 5760 выписок ежегодно, что занимает 384 ч. рабочего времени, или составляет 5530 долл. ежегодно (данные по США).

Стационарный сектор. Использование СЭМК облегчает медсестрам доступ к лечебным документам пациентов, дает экономию за счет сокращения времени на обработку документации и избыточный сбор данных; за счет снижения затрат, связанных с бумажными формами, предотвращения многих случайно пропущенных процедур. Механизмы поддержки принятия решений в таких системах могут скоординировать лечение, автоматически напоминая о необходимости помощи вспомогательных служб.

Оценивается, в основном, сокращение времени работы с документацией. Было определено, что СЭМК позволяет уменьшить число операций с медицинскими картами на 60-70% и сократить персонал, занятый на работе с медицинскими записями на 50%. Экономия времени, расходуемого на работу с документацией, может использоваться, по крайней мере, по трем направлениям: (1) сократить количество нанятых медсестер; (2) улучшить заботу о том же количестве пациентов; (3) принять на лечение дополнительных пациентов, не снижая качества услуг.

Показательным примером влияния СЭМК на сокращение затрат непроизводительного времени медсестер является исследование работы медсестер в отделениях интенсивной терапии [18]: использование электронных медицинских карт на 52 мин. уменьшает время, потраченное на работу с документами при 8-часовой рабочей смене. Это позволяет сократить потребность в медсестрах на 11%.

Исследование, проведенное в клиниках Норвегии, показало сокращение затрат времени медсестер вследствие внедрения электронных медицинских карт на 10% [19]. В работе [20] эта экономия оценивается в диапазоне 12-20%.

Экономия затрат на лекарственные препараты. Затраты на лекарственные препараты снижаются благодаря внедрению модулей компьютеризированного ввода врачебных назначений и поддержки клинических решений. Врачам предоставляется возможность пользоваться электронными базами данных о лекарствах, об их сочетании, противопоказаниях и т.д. С их помощью осуществляется выбор способа лечения в соответствии с медицинскими стандартами с учетом стоимости лекарственных средств, а также их рационального сочетания и оптимального срока применения. Разные экспертные оценки, приводимые в ряде литературных источников, сходны в том, что электронная система предложения альтернативных лекарственных средств позволяет на 15% снизить общие затраты на препараты [16, 17, 21].

Экономия на лабораторных и радиологических исследованиях. Экономия на лабораторных исследованиях достигается в медицинских учреждениях, оборудованных СЭМК с модулем назначений процедур и тестов, а также поддержки клинических решений, за счет сокращения числа ненужных, часто дублирующих друг друга тестов. Это происходит вследствие того, что СЭМК не только предоставляет врачам возможность ознакомиться с результатами всех текущих и предшествующих анализов, но и выстраивает оптимальную схему их проведения в связи, например, с применением определенных лекарственных препаратов, с переходом от одной стадии лечения к другой и т.д. Также СЭМК помогает сформировать структурированные наборы назначений на анализы, исключающие избыточность проводимых тестов. Оценки экономии этих затрат составляют 22,4% общего количества затрат на лабораторные тесты в амбулаторном секторе и 11,8% - в стационарном. Затраты на рентгенологические исследования в амбулаторном секторе сокращаются на 14% [16].

Выгоды от сокращения сроков госпитализации. Пребывание пациентов в стационарах сопровождается множеством различных потерь времени - задержек в назначениях исследований и лечения, в поиске документов, в координации назначений различных специалистов и др. Система электронных медицинских карт позволяет свести подобные потери времени к минимуму и тем самым сократить срок пребывания пациента в стационаре. По разным оценкам, полученным путем выборочного контроля, это сокращение составляет от 10 до 30% фактической длительности пребывания в стационаре.

Выгоды администрирования при работе с платежными документами. Более полная фиксация всех проведенных врачебных действий и процедур при использовании СЭМК позволяет выявить ошибки, допускаемые при выставлении счетов, что увеличивает сумму счетов на 2% и снизить качество ошибок на 78% [16].

До сих пор рассматривался один вид информационных систем, внедряемых в медицинских учреждениях, - СЭМК. Однако разрабатываются и внедряются и другие информационные системы, в частности компьютеризирующие работу административных служб. Так, внедрение информационных технологий в административные службы медицинских учреждений обеспечивает экономию затрат на регистрацию платежных документов в размере 63% средних затрат [17].

Сопоставление затрат и результатов внедрения медицинских информационных технологий. В работе [17] построена модель затрат на СЭМК в американских больницах на основе данных литературных источников и предоставленных непосредственно больницами в общей сложности по 27-ми стационарам. Модель позволяет прогнозировать затраты на СЭМК, учитывая такие основные характеристики стационаров, как их размер и эксплуатационные расходы. Модель не затрагивает технических спецификаций СЭМК; скорее всего, речь идет об общем функционале СЭМК, который включает элементы компьютеризированного ввода врачебных назначений и отчетов о ведении пациентов.

Стоимость СЭМК складывается из двух частей: капитальные затраты на внедрение и ежегодная, текущая стоимость обслуживания. При этом стоимость обслуживания оценивается как процент от капитальных затрат.

Предполагается, что в большинстве случаев капитальные затраты на СЭМК будут рассчитаны на период от трех до пяти лет, они включают стоимость программного обеспечения СЭМК, расходы на местную инфраструктуру (такую, как сетевые устройства и компьютеры), а также трудовые затраты персонала стационара, вовлеченного в установку и в модернизацию работы на основе информационных технологий.

В работе [16] приведен конкретный пример: для клиники, осуществляющей за пять лет затраты в информационные технологии в размере 42,9 тыс. долл., дисконтированная величина получаемой экономии за тот же период составляет 129,3 тыс. долл., что означает окупаемость затрат на внедрение, эксплуатацию и поддержку медицинских информационных технологий на уровне 200%, т.е. на порядок выше относительно самых эффективных отраслей экономики.

В целом для всей системы здравоохранения США рассчитаны финансовые выгоды, которые могут быть получены за счет внедрения медицинских информационных технологий (таблица).

Потенциальная величина выгод почти вдвое превышает их среднюю фактическую величину. В последнем столбце таблицы представлена структура выгод по амбулаторному и стационарному секторам в процентном выражении. Как видим, в амбулаторном секторе самыми значимыми выгодами являются: экономия затрат на лекарственные препараты (57,9% суммарной экономии), экономия на радиологических исследованиях (15,9%), экономия на лабораторных исследованиях (10,3%). В стационарном секторе - выгоды от сокращения сроков госпитализации (61,7%), от улучшения работы медсестер с документами (21,7%).

В работе [16] представлено иное соотношение (без учета выгод от сокращения сроков госпитализации): наибольшие выгоды от внедрения электронных медицинских карт получаются за счет экономии на лекарственных препаратах (33%), экономии на радиологических исследованиях (17%) и за счет уменьшения ошибок в счетах (15%).

Такие результаты позволяют при проведении аналогичных исследований сосредоточиться именно на этих типах выгод, если полный охват всех преимуществ СЭМК будет сопряжен со сложностями в получении стоимостной информации. Авторы всех рассмотренных работ подчеркивают, что некоторые выгоды не были учтены из-за отсутствия их обособленного финансового учета, а другие в принципе пока не имеют количественной определенности: улучшение качества медицинской помощи, уменьшение медицинских ошибок и т. п.

Таблица

Суммарные выгоды от внедрения информационных технологий в медицинских учреждениях США

Вид выгоды Потенциальная экономия за год, млрд. долл. Средняя годовая экономия, млрд. долл. Доля в суммарной экономии, %

Амбулаторный сектор

Выгоды от электронных медицинских записей 1,9 0,9 8,4

Экономия затрат на выписки из карт 1,7 0,8 7,5

Экономия на лабораторных исследованиях 2,2 1,1 10,3

Экономия затрат на лекарственные препараты 12,9 6,2 57,9

Экономия на радиологических исследованиях 3,6 1,7 15,9

Итого 22,3 10,7 100

Стационарный сектор

Выгоды от улучшения работы медсестер с документами 12,7 7,1 22,7

Выгоды от электронных медицинских записей 2,5 1,3 4,1

Экономия на лабораторных исследованиях 3,0 1,6 5,1

Экономия затрат на лекарственные препараты 3,7 2,0 6,4

Выгоды от сокращения сроков госпитализации 36,7 19,3 61,7

Итого 58,6 31,3 100

Всего по амбулаторному и стационарному секторам 80,9 42,0

Данные таблицы позволяют оценить экономическую эффективность внедрения информационных технологий в систему здравоохранения США. Учитывая, что ежегодные расходы на эти цели в стационарном секторе составляют 6,7 млрд. долл. [17], а средние финансовые выгоды - 31,3 млрд. долл., окупаемость затрат на медицинские информационные технологии в этом секторе превышает 350%. Как бы скептически ни относиться к этой баснословной экономической эффективности, она настолько превышает среднюю эффективность по отраслям экономики, что приведенные оценки остаются доказательными даже при допущении о многократном завышении в рассматриваемых работах выгод, получаемых от внедрения медицинских информационных технологий.

Воспользовавшись зарубежным опытом оценки получаемого эффекта, можно рассчитать выгоды от внедрения СЭМК. Для этого необходима информация о всех рассмотренных статьях расходов медицинского учреждения: о заработной плате медсестер по отделениям за год; стоимости потребленных лекарственных средств за год; суммарных годовых затратах лабораторий; суммарных годовых затратах отделений, которые проводят радиологические исследования; стоимости одного койко-дня, количестве койко-дней в сумме для всех пациентов за год; об административных расходах. Для последующего сопоставления затрат и результатов с целью оценки экономической эффективности инвестиционных проектов создания медицинских информационных систем необходимы также данные о затратах на внедрение и эксплуатацию самих медицинских информационных систем.

Необходимость формирования перечисленных экономических показателей функционирования лечебных учреждений ставит новую задачу перед медицинскими информационными системами - задачу встраивания в такие системы экономического блока. Представленные результаты анализа зарубежного опыта оценки экономической эффективности медицинских информационных систем во многом определяют содержание такого блока и направления работы по его созданию. В дальнейшем, по мере внедрения СЭМК в российских лечебных учреждениях, планируется работа по формированию собственной системы оценок экономии затрат и на их основе - более точная оценка экономической эффективности информационных технологий в медицине.

Литература

1. Методические рекомендации по оценке эффективности инвестиционных проектов и их отбору для финансирования / Офиц. изд.-е. М.: Теринвест, 1994.

2. Методические рекомендации по оценке эффективности инвестиционных проектов: (Вторая редакция) / М.: Экономика, 2000.

3. Виленский П.Л., Лившиц В.Н., Смоляк С.А. Оценка эффективности инвестиционных проектов. Теория и практика. М.: Дело, 3-е изд., 2008.

4. Материал об оценке эффективности инвестиционных проектов в Москве // http://www.isa.ru/ref/Оценка%20эффект.инвест.проектов.doc

5. Беренс В., Хавранек П.М. Руководство по оценке эффективности инвестиций. М.: ИНФРА-М, 1995.

6. Методические рекомендации по комплексной оценке эффективности мероприятий, направленных на ускорение научно-технического прогресса. М.: Изд. ГКНТ, 1988.

7. Методика определения экономической эффективности автоматизированных систем управления предприятиями и производственными объединениями. Офиц. изд.-е, утверждена Постановлением ГКНТ СМ и АН СССР. М., 1975.

8. Эффективность информационных технологий // http://new.hse.ru/sites/infospace/ podrazd/facul/facul_bi/kuirp/DocLib3/УМК/Эффективностъ%20ИТ_КонспектЛекций.doc

9. Балашов В.Г., Ириков В.А. Технологии повышения финансового результата предприятий и корпораций. М.: РОЭЛ Консалтинг, 2002.

10. Strassmann P.A. // http:/www.strassmann.com

11. Скрипкин К.Г. Экономическая эффективность информационных систем. М.: ДМК Пресс, 2002.

12. Кухаренко М. Расходное место // Эксперт-Алгоритм. 1999. № 2.

13. Кириенко И.А. Вычисляем ССВ. Компьютерра. 2002. № 5.

14. Провалов В.С. Информационные технологии управления: учебное пособие. М.: Флинта: МПСИ, 2008.

15. Джамай Е.В. Рынок информационных продуктов и услуг: учебное пособие. М.: Изд-во МАИ, 2008.

16. Wang S., et al., A Cost-Benefit Analysis of Electronic Medical Records in Primary Care // The American Journal of Medicine, Vol. 114, 2003.

17. Girosi F., Meili R., Scoville R. Extrapolating evidence of health information technology savings and costs. Santa Monica, Calif.: RAND Corporation, 2005.

18. Wong D., et al., Changes in Intensive Care Unit Nurse Task Activity After Installation of a Third-Generation Intensive Care Unit Information System // Critical Care Medicine, Vol. 31, No. 10, 2003.

19. Ellingsen E., Monteiro E. Big Is Beautiful. Electronic Patient Records in Norway 1980-2000 // Methods of Information in Medicine, Vol. 42, 2003.

20. Fickel K. Hot-Wiring Hospitals // Profit Magazine, 2001.

21. Tierney W., Miller M. Physician Inpatient Order Writing on Microcomputer Workstations. Effects on Resource Utilization // JAMA, Vol. 269, No. 3, 1993.