Если поискать информацию о компании «ИнтерОПТИК» и ее руководителе Валерии ИВАНИДЗЕ, то в Яндексе сразу найдется сайт фирмы, которая долгие годы специализируется на двух направлениях: научно-производственная деятельность (разработка технологий производства прецизионной оптики на основе полимерных материалов; разработка и внедрение систем бинокулярного зрения; разработка, производство, оптовая продажа очковых линз и специальных очков) и продажа и обслуживание оборудования для изготовления очков и диагностики зрения, необходимого для салонов оптики и медицинских учреждений
Почти ничто не выдает того факта, что «ИнтерОПТИК» – одна из активных и успешных (работает с 1991 года!) российских структур, вступивших в сферу технологий дополненной реальности. При разработке они поставили задачу не присоединиться к большинству своих коллег за рубежом в области удовлетворения рынка массовых продаж, а повысить с помощью систем дополненной реальности эффективность производства в России применительно к разным видам деятельности.
Решения, используемые при производстве продукции компании, ориентированы на наиболее ответственные отрасли. Среди клиентов – предприятия авиастроения, производители прецизионной техники, Роскосмос, организации, занимающиеся обслуживанием и ремонтом сложнейшей техники на больших дистанциях от материнских предприятий. Закономерен, причем взаимно, интерес и к атомной отрасли. Познакомиться с президентом группы Валерием Иванидзе нам довелось на выставке АТОМЕКС-2018, когда на семинаре Концерна он коротко и емко представил возможности компании в сфере дополненной реальности – и не только!
Подробная беседа состоялась уже в начале 2019-го о том, как технологии дополненной реальности могут дополнить реальную деятельность Концерна.
– По роду деятельности я разработчик-технолог, – объясняет собеседник тот непростой путь, которым пришел в дополненную реальность. – Перестройку и проблемы конца 1980-х встретил в должности заместителя генерального директора по науке крупнейшего советского технологического НИИ оптико-электронной промышленности (НИТИ). В подчинении 12 отделений, примерно по 120 человек в каждом, по всем необходимым технологическим переделам производства сложных оптико-электронных приборов гражданского и военного назначения. Мы работали на 42 производственных объединения СССР. НИТИ был базовой структурой, объединяющей в технической сфере институты Академии наук и технические подразделения предприятий отрасли, это был сплав. Поэтому никому не приходило в голову задавать вопросы: а что сделала Академия наук для производства, тем более что это не задача академии, это задача отраслевого НИИ. Именно это позволило СССР освоить полный цикл производства современных приборов, создать задел.
Только в начале 2000-х годов Россия поняла, что старые заделы закончились, ситуация усугубилась еще и тем, что в двухтысячные произошел мировой научно-технический рывок, а новое создать не успели.
В свободной деятельности и анархии рынка решать подобные задачи, что мог позволить большой НИИ, и еще на новом уровне, старым багажом нельзя. К счастью для нас, предприятие оказалось в тренде и разработало перспективные оптические технологии для создания современных приборов, но продать их крупным предприятиям не получилось, они оказались не востребованы. В 2006 году в компании было принято решение о создании собственного конструкторского бюро. Предприятие подключилось к выполнению НИР и ОКР по заказам крупных предприятий, имеющих государственное финансирование.
Результатом работы собственного КБ стало появление продукции, некоторые образцы которой компания смогла вывести на мировой уровень. Наша позиция не выдергивать отдельные элементы или даже переделы, не приспосабливать имеющееся к рынку, а создавать базовые технологии, сейчас их принято называть «компетенции», и определять направления их внедрения. Большую роль в этом играет участие в международных выставках и Интернет. Если обеспечивать поиск в передовой сфере, полезные публикации найти очень сложно. Мы наблюдали, как часто опубликованные за рубежом неделю назад технологии и решения после проявления к ним интереса вдруг бесследно исчезают. Похоже, что системы поиска научно-технических публикаций научились не только искать, но и автоматически их прятать. Отсюда и необходимость проходить весь научно-исследовательский и опытно-конструкторский цикл самостоятельно, ориентируясь на мировые разработки.
Большинство наших разработчиков владеют техническим английским. Мы обладаем несколькими перспективными компетенциями, некоторые из которых позволили создать собственную российскую систему дополненной реальности. Это принципиально другой уровень решенных задач, чем те, что позволяют выполнять системы виртуальной реальности. Точнее говоря, второе является маленьким частным решением первого при разработке аппаратного и программного продукта, а главное в возможностях и эффективности практического применения. Система дополненной реальности (СДР), разработанная компанией, –это пакет прикладных программ и универсальное оптико-электронное устройство дополненной реальности (УДР).
Конструкция УДР позволяет изменять внешний облик и функциональные возможности в зависимости от целей конкретного применения. Например, для обычных условий – «очки дополненной реальности», при совмещении со шлемом – «шлем дополненной реальности», возможны бинокулярные и монокулярные исполнения. В отличие от лучших зарубежных аналогов, таких как Holelens (США, Microsoft) и Epson Moverio BT-3000, BT-350 (Япония, Japanese electronics company), Smart Helmet (Италия, Illogic), конструкция имеет неоспоримые преимущества за счет возможности настройки изделия по индивидуальным параметрам лица и зрения пользователя. Пользователем наших решений являются производственники, люди среднего и преклонного возраста, именно они оценивают качество продукта. Функция индивидуальной настройки обеспечивает меньшее зрительное утомление и длительную работоспособность при выполнении ответственных и зрительно-напряженных работ, что является особенно важным при рабочем дне продолжительностью 6–8 часов. Часто параметр «длительная работоспособность» подменяют возможностью устройства работать без перезарядки, что решено и в нашей СДР.
Одним из частных решений СДР является разработка, выполненная нами для Роскосмоса. Это мобильное индивидуальное средство экипажа. Мы рассчитываем, что в ближайшее время она начнет работать на орбите, что, вне всякого сомнения, повысит эффективность выполнения экспериментов, позволит обеспечить качественное обслуживание и ремонт, визуальное общение экипажа и органов управления с космонавтами, находящимися в разных отсеках. Мечтаем внести свой вклад в повышение эффективности и безопасности работы в открытом космосе.
Есть другие разработки, например, позволяющие оценивать среду или изучаемый объект в многоспектральном диапазоне электромагнитного излучения не только визуально (как телекамера в видимом спектре) или в каком-то одном инфракрасном диапазоне (как прибор ИК-наблюдения). Имеется возможность с помощью нашей разработки (исключительно отечественного производства) изучить селективно и одновременно объекты в видимом, ближнем и среднем ИК-диапазонах. Это может быть использовано, например, для экспресс-оценки состояния человеческого тела; моментального анализа газового состава, воды, пищи; комплексного анализа состояния сельскохозяйственного угодий и многого другого.
Еще одно важнейшее применение разработки – поисково-спасательные работы. Например, в открытом море малое судно или человек терпят бедствие. Визуально объект обнаружить крайне сложно; мало пользы принесет и тепловизор (температура тела и воды быстро выравнивается). А в сочетании с возможностью анализа следов газа, ранее выделенного работающим двигателем, паров воды или отражения от нее на этом фоне зафиксировать небольшой градиент превышения температуры. Подобные технологии дают возможность спастись в задымленных помещениях, при полном отсутствии видимости и значительных температурах горения, которые не позволяют обычному тепловизору видеть что-то другое.
Направления использования сложнейшей оптики и квантовой электроники, которыми мы занимаемся, могут оказаться актуальными для использования в ряде отраслей, в том числе на предприятиях Росэнергоатома и Атомэнергоремонта.
– Как эти возможности интегрировать в деятельность российской атомной промышленности?
– Мы беседовали с одним из представителей ремонтного направления. По его словам, в специфике ремонта имеют место ограничения по времени работы человека, особенно при наличии радиации. Это объекты с особым режимом, и часто приходится выполнять действия в одиночку, в стесненных условиях, качество и здоровье человека при этом должны быть обеспечены. Требуются подсказки, инструкции могут изменяться в ходе выполнения работы. Любое отвлечение – это истраченный потенциал. Между тем решения есть, они уже широко применяются в мире. Так, сложные работы в компаниях «Боинг» и «Аэробус» выполняются с использованием систем дополненной реальности. Необязательно это только очки, когда человек выполняет сложную работу, выводится проецирование подсказок либо на изделие, либо на экран смарт-шлема. УДР производственного назначения стоит не менее 20 тысяч евро за изделие, но окупаемость три-четыре месяца только за счет возможности привлечения к работам большего количества людей без достаточного опыта для самостоятельного выполнения сложных задач. Поэтому достигается высокая производительность труда, сокращение количества контролеров при реальном обеспечении качества контроля. Так собирают и космические аппараты.
Часто процесс выполнения работ пытаются заменить фиксированием: все записывается видеорегистратором, но он обеспечивает возможность фиксации, а разбор процесса происходит после возникновения проблемы. Так можно найти виновного, принять меры к недопущению повторения. Если в процессе работ возникает сомнение или явно делается ошибка, использование СДР позволяет дистанционно вмешаться мастеру, наблюдающему одновременно за несколькими работниками. Исполнитель может вызвать подсказку, показать элементы объекта мастеру, использовать имеющиеся камеры для распознавания и поиска решений при реализации вновь возникших проблем. Важно выяснить, не «кто виноват», а как предотвратить ошибку в момент, когда работник только подходит к ее совершению.
Качество – это не единственная задача, решаемая с помощью СДР. Производительность труда и увеличение объемов проведения работ, выпуска сложной продукции – это когда можно делегировать ответственность и контроль более опытному сотруднику, а исполнение – менее опытным или даже совсем не опытным, но «компьютерно» осведомленным молодым людям. Сегодня в России даже школьник первых классов может владеть такой технологией и обучать родителей.
Базовая разработка аппаратной части обладает большой универсальностью, позволяющей видоизменить облик СДР (это делает производитель, то есть «ИнтерОПТИК») применительно к производственным задачам. Возможны различные варианты такого изделия. Есть варианты с защитным шлемом (как для силовых министерств, так и для производственных целей) или с защитным экраном, как очки, защищающие от попадания мелких предметов и пыли. Например, если работник обследует изнутри газовую трубу, то экран должен быть впереди, перед лицом а не перед глазами, как очки, имеются варианты бинокулярного отображения (два глаза видят один экран) или монокулярного, видимого одним глазом.
Важно, что система позволяет создать многоуровневое взаимодействие исполнителя и любого другого работника, включая при необходимости и генерального директора. Исполнитель на месте работ использует СДР в виде очков или шлема, а другой человек в иерархии управления может использовать ноутбук, планшет, компьютер и даже личный смартфон. Поэтому в основу созданных и создаваемых пакетов программ положена операционная система Android (более 80% смартфонов используют эту операционную систему).
Стоит уделить внимание программному обеспечению. Многие считают, что проблемой внедрения является специфика производства, но ошибаются. Мы, как разработчик, создали и продолжаем расширять варианты «программных матриц», в которые инженеры предприятия-пользователя вносят описание своей технологии в последовательности, как выполняется работа исполнителем. Примерно схема работает как сайт, на котором вы решили приобрести билеты, мебель, сделать заказ на изготовление и любое другое. «Насыщение» технологиями по специфике – дело стороны, внедряющей СДР.
Разработана универсальная методика, учитывающая последовательность шагов, включая возможность параллельного и одновременного совершения действий при реализации соответствующей технологии с учетом иерархии исполнителей. Действие на шаге один, например, сопровождается фотофиксацией объекта и определением с помощью камеры высокого разрешения его наименования, номера, назначения; на втором – вызывается соответствующая программа, демонстрирующая предстоящую работу; на третьем – исполнение задание и получение подсказок; на четвертом доклад «шаг четыре сделал» и так далее. Система подсказывает, что должно произойти после такого-то действия. Описания, при необходимости – инструкции, разветвления алгоритма, при тех или иных вариантах развития событий. Мы передаем такую матрицу инженерам и технологам заказчика, они ее заполняют (заодно детально разбираются в собственных производственных процессах). Мы затем проверяем заполнение с точки зрения правильности, это несколько дней. И можно тестировать решение. Интегрирование в программу дополнительной сложной поддержки, учет в разработке других важных элементов – это уже отдельная работа.
– Понятно, что, когда работника в реальном масштабе времени дублирует инструктор, используется интеллект человека. А каким образом такие очки снабдить, где надо, искусственным интеллектом, базирующимся на опыте эксплуатации, конкретных знаниях?
– Ваш вопрос подчеркивает необходимость уточнения терминологии. Что такое виртуальная и дополненная реальности, где они пересекаются, где имеют принципиальные различия. Из-за меньшей сложности задач системам виртуальной реальности уделяется внимание, время на телевидении и их охотнее демонстрируют руководителям.
Виртуальное – это то, что симулировано с помощью компьютерных программ, цифровая технология. Аппаратная часть, для простоты понимания, – это смартфон, установленный в коробку. Можно комплект из картонной коробки, закрывающий обзор (реальность), и двух линз купить за одну тысячу рублей и скачать бесплатно в Интернете программу, разделяющую экран на две части для каждого глаза. В комплекте имеется по одной линзе на каждый глаз, они позволяют видеть экран с очень близкого расстояния. Основная стоимость – программы, преобразующие, например, реальное видео в цифру или создающие облики и действия, похожие на реальность, например, путешествие по Марсу. Такие программы могут быть очень сложными и дорогими. Существует мнение, что если перед виртуальными очками поставить две хорошие камеры и демонстрировать видимое ими на экран смартфона перед глазами, то можно обеспечить отображение реальной ситуации. Это грубейшая ошибка, характеризующая уровень неосведомленности в физиологии и понимания взаимодействия глаз и мозга человека.
Система дополненной реальности отличается от виртуальной тем, что виртуальная информация, созданная с помощью цифровых технологий, накладывается на картину реального мира, наблюдаемую пользователем в СДР, происходит взаимодействие реальных и виртуальных объектов. Отсюда вытекает первое требование: устройство не должно заслонять обзор окружающего пространства, это достигается конструкцией расположения оптических экранов, а главное – они прозрачны для обеспечения зрения через них. Представьте себе смартфон с прозрачным экраном. Но и это не все, руки должны быть свободны, это еще одно неоспоримое преимущество по отношению к любым компьютерным гаджетам, управлять, не используя руки, – следующее требование.
Вторая часть задачи – обеспечить взаимодействие; это не просто двухсторонняя горизонтальная коммуникация «мастер – исполнитель». Могут быть ситуации, когда мастер управляет десятком исполнителей; может быть, что на контроле у десяти исполнителей сидят три мастера, а за ними наблюдает главный конструктор всего изделия с правом вмешаться, и так далее. СДР нашего производства обеспечивает встраивание в любую уже существующую компьютерную сеть многоуровневого взаимодействия.
– Как очки, точнее, система искусственного интеллекта за ними определяют, на что именно смотрит исполнитель, что делает, то есть как формируется первичный сигнал для анализа автоматизированной системой?
– Есть решения сравнительно простые, такие как считывание QR-кодов. Сложнее система распознания. Третье, дорогое, – это работа с «облаком точек», когда из групп вычленяются с помощью сложных алгоритмов нужные объекты. Такое третье решение актуально, если мы не знаем окружающую обстановку. Но поскольку оборудование того же энергоблока заранее известно, то применяются более легкие алгоритмы. Важно, сличая имеющуюся картинку с образцом-фотографией (или 3D-моделью), вычленять элементы на получаемой от очков картинке независимо от ракурса, условий видимости и так далее. УДР оборудованы несколькими камерами, причем одна камера на очках является регистратором, передает информацию на следующий уровень управления, занимается распознанием. Ракурс и сами очки с оператором при этом не являются фиксированными на одном месте. Можно подойти к изделию, агрегату не с той стороны, но это потеря времени, а иногда, например, в атомной энергетике, – опасность, поэтому перед началом работ оператор на оптическом экране видит маршрут и сравнивает его с реальной обстановкой, на экране указано стрелками, как пройти к месту работ. Это сравнительно простые вещи.
Мы же можем дополнить СДР и другими элементами контроля и распознавания: например, дополнить камеру, которая работает в видимом диапазоне, датчиками и камерами, работающими в широком ИК-диапазоне, для оценки газового состава воздуха, поиска элементов, близких к разрушению от короткого замыкания, и др. Тогда в реальном времени оператор увидит, например, истечение газов, признаки ионизирующего излучения, возможного начала горения, плохого контакта в электрической схеме. Это дополнительные меры, позволяющие понять, что планируемая работа по подготовленной схеме требует уточнения.
– Каковы возможности связи такого устройства с «удаленным помощником»? Например, сеанс одновременного ремонта из центра на Ферганской улице с площадками в Египте, Турции и Бангладеш?
– Мы поддерживаем существующие интерфейсы общего использования – Bluetooth, Wi-fi – для взаимодействия с ближними объектами, имеются датчики взаимодействия с ГЛОНАСС, GPS, Galileo. Можем интегрировать со специальной спутниковой связью, такой как ИРБИС, покрывающей весь земной шар за счет расположения спутников на полюсах. Возможна работа в «зонтике» локально развернутой системы связи. Разработанная СДР имеет возможность использовать не только собственную достаточно мощную память, но работать и с облаком, работать как обычный телефон через сим-карту.
– Какова физиологическая составляющая проблемы? Например, у нас много работников пожилого возраста, кто-то из них со слабой аккомодацией хрусталика, и им будет трудно видеть подсказку…
– При настройке по параметрам пользователя в устройстве изменяют размеры межцентрового положения оптических экранов. Штатная установка наших изделий в отгрузке 62 мм, межцентровое расстояние зрачков. Но его можно регулировать от 58 до 76 мм (диапазон взрослых людей). Регулировка параметров зрения на каждый глаз позволяет их использовать с минусовым (миопия) и плюсовым зрением (гиперметропия, пресбиопия) в диапазонах от –4,0 до +4,0 оптических диоптрий.
Пока нет необходимости решений для большого астигматизма. УДР переналаживаются, они с легкостью могут быть переданы от одного исполнителя к другому с минимальной перенастройкой. Учитывается и другая специфика. Кому-то нужны очки, они должны быть легкими; на производстве и стройке очки должны быть внутри шлема. Другой будет работать в шлемофоне, третий – в среде ионизирующих излучений и полной защиты от атмосферы. У ремонтника, сборщика конкретного оборудования может быть своя специфика. Наша задача, будучи поставщиками отраслевого решения, оценивать задачу и менять, уточнять конструктив.
– Каковы ваши возможности по тиражированию таких изделий? Допустим, они оказались крайне нужны, как скоро вместо пяти прототипов заказчик получит серию из 15 тысяч?
– У нас в Москве опытное производство и лаборатории. Мы проработали возможность строительства специального корпуса на территории предприятия, арендуемой у города.
Подводя итог, хочу отметить: система дополненной реальности, еще раз подчеркиваю – полностью отечественная, создана для внедрения в различные отрасли – авиастроение, производство прецизионной техники, космос, обслуживание и ремонт сложнейшей техники на больших дистанциях от материнских предприятий, а также для таких новых отраслей, как телемедицина, обеспечение безопасности силовыми структурами с меньшим количеством сотрудников, дистанционное и не только обучение в школах, лицеях и вузах. Такие системы нужны везде, где человек решает сложные логические задачи, особенно в условиях высокой ответственности и когда человек работает лучше, опираясь на поддержку других.
Алексей Комольцев для журнала РЭА
