четверг, 10 мая 2012 г.

Лидерство как свойство

Часто можно услышать, что достижение цели невозможно для группы людей при отсутствии хорошего лидера. При этом, далеко не всегда очевидно, что же люди понимают под термином “лидер” и как такой лидер появляется в команде. Часто, в качестве лидера понимают руководителя группы, некоего активного и ведущего участника.

Если обратиться к доступным источникам, можно найти тенденцию разделения функций такого лидерства на собственно лидерство и формальное руководство. Так, например, 
лидерство – феномен, порожденный системой неформальных отношений. А вот руководство – феномен, имеющий место в системе формальных отношений. Причем роль руководителя заранее определена социальной организацией, оговорен круг функций. Роль лидера возникает стихийно, в штатном расписании учреждения ее нет.” 
(определение, найденное в Интернете).

В таком определении главной особенностью лидерства выделяется его неформальность, в противовес руководству, которое закреплено нормативно. Эти понятия ставятся в противопоставление друг другу. Однако, с таким определением можно и поспорить - лидерство возможно как в формальных так и в неформальных отношениях и никак от легитимности статуса не зависит. Например, часто в компаниях принято назначение на руководствующие должности так называемых тим-лидов (лидеров команд), т.е. нормативное закрепление за лидером его реальных функций. С другой стороны, некоторые люди, после назначения их на руководящие должности, становятся и естественными лидерами команды. Т.е. можно сделать вывод, что не всегда такое разделение на формальность и неформальность корректно. С другой стороны, нелепо было бы спорить с утверждением, что лидер и руководитель - понятия хоть и смежные, но разные. Постараемся найти, в чем разница.
Посмотрим на группу людей как на социальную систему. Эта система состоит из людей (элементов системы), которые находятся во взаимодействии. В качестве взаимодействия, как правило, выделяется информационный обмен между людьми. Это можно проиллюстрировать рисунком 1

.
Рисунок 1.

На рисунке изображен схематичный социальный граф, ноды которого представляют собой конкретных участников группы, а линии - информационные потоки между ними.
В какой-то момент, один (или несколько) членов группы начинают стягивать на себя бОльшую часть таких потоков и перераспределять их (см. рис. 2). На иллюстрации таким человеком становится участник 1
.
Рисунок 2.

В этот момент можно говорить о появлении лидера. Лидер не может существовать без окружающей его системы (ровно как и не может быть “как есть” перенесен в другую систему), поскольку он неразрывно связан с текущим окружением. Таким образом, хотя лидерство и привязано к конкретному лицу, оно скорее является свойством системы, а не конкретного человека. Можно сказать, что лидерство участника 1 - это свойство системы Группа, представленной на иллюстрации.


Руководство же, с другой стороны, связано с наличием у конкретного человека набора определенных полномочий. Этот статус является экзогенным (внешним) по отношению к системе отношений внутри группы.


В случае, описанном выше (при присвоении официального статуса фактическому лидеру), получается ситуация, когда нормативное описание системы соответствует её реальному функционированию. В противном случае, роль руководителя перестаёт быть ключевой в обмене информацией. Оба этих варианта можно охарактеризовать как приемлемые с точки зрения организации. Степень приемлемости зависит от конкретных целей, которые ставятся перед руководителем.


Если задача руководителя - вести за собой группу и управлять операционными процессами, то несовмещение позиций руководителя и лидера может привести к снижению эффективности работы такой группы. Если же задача руководителя - наладить органичное развитие группы и процессы обмена информацией в ее рамках, то разделение ролей может, наоборот, быть благотворной для компании, когда каждый занимается своим делом и не отвлекается на смежную работу.

пятница, 9 сентября 2011 г.

Основные принципы сбалансированного управления


На протяжении веков человечество сталкивалось с проблемами грамотного управления в изменяющихся внешних условиях. Примерами таких ситуаций являются в равной мере как корабль, попавший в шторм или штиль, так и армия, ведущая боевые действия, так и фирма, находящаяся на экономически нестабильном рынке. Все три названные выше ситуации объединяет одно - необходимость наличия грамотного капитана, стратега или менеджера, т.е. человека, способного управлять, принимать своевременные и правильные решения. 





За долгие годы необходимости в управлении люди все больше и больше развивали этот инструмент, дополняли его различными приемами, использовали разные методики. Основные требования к управлению, что неудивительно, были сформулированы в военной науке и остаются неизменными уже много лет: Управление должно быть устойчивым, непрерывным, своевременным, скрытным, разумно сочетающим централизацию и инициативу.
Каждый из этих пунктов нуждается в некотором прояснении. Первое требование к управлению - устойчивость. Устойчивость предполагает наличие стабильных и надежных каналов связи между объектом и субъектом управления, что позволяет обеспечить выполнение следующего требования - непрерывности. Под непрерывностью здесь следует понимать непрерывность по решаемым задачам, т.е. ни одно действие, на которое управление должно распространиться, без управления и не останется. Другими словами, можно сказать, что это совокупность добропорядочности руководителя в исполнении своих обязанностей и доступности и целостности всех необходимых информационных активов. В таких и только в таких условиях может обеспечиваться непрерывность управления. Следующее требование - своевременность, оно же оперативность управления. Действительно, как нельзя управлять автомобилем, глядя только в зеркало заднего вида, так нельзя управлять в принципе, будучи оторванным от актуальной ситуации во внешней и внутренней среде. Под скрытностью в рамках данной работы понимается конфиденциальность используемых в управлении активов. Вопросы конфиденциальности управления встают особо остро в сферах безопасности или высококонкуретных отраслях. Наиболее интересным, наверное, является последний пункт, гласящий, что управление должно сочетать в себе централизацию и инициативу. Централизация подразумевает подчинение местным управленцам центру управления (менеджерам среднего звена - топ-менеджменту и т.д., аналогий может быть много), в то время как инициатива включает в себя наличие управленческого таланта и умения применить его во благо управляемой системе.
Может возникнуть вопрос, почему за источник требований к управлению в работе, посвященной архитектуре предприятия, были взяты тезисы из военной науки? Здесь выбор был обусловлен в первую очередь тем, что, по мнению автора, воинские документы, как правило, являются наиболее полными. Стоит прояснить эту мысль: в военной науке большинство регламентирующей документации, что называется, "написано кровью". За каждой поправкой и за каждым дополнением к кодексам, уставам и т.д. зачастую стоят жизни многих людей; они стоят из-за отсутствия на тот момент того или иного требования или уточнения. Именно поэтому военные документы отличаются высокой детализацией, что, однако, часто влечет за собой высокую подверженность избыточности. С другой стороны, повышение риска избыточности информации ведет к понижению риска ее неполноты, что в данном случае является крайне значительным фактором: опустить часть информации в обзоре является гораздо более неприятной оплошностью, чем повторить что-то дважды. 
Хотя описанные выше принципы управления и отвечают на вопрос "как управлять?", они не дают никакого практического руководства к действию. Действительно, резонно задаться вопросом: "С чего начать?". Здесь можно привести часто используемую цитату из "Алисы в Стране чудес": когда Алиса подошла к Чеширскому коту с вопросом, куда ей идти, кот ответил: "Это зависит от того, куда ты хочешь попасть". Действительно, в зависимости от цели путешествия будет меняться и маршрут. В управлении наблюдается тоже самое: сперва стоит определить четкие цели, уже затем искать пути их достижения. Можно возразить, сказав, что наличие цели - сам собой разумеющийся атрибут управления, и нет в природе менеджмента без целей, посему не за чем выделять определение целей в отдельный этап. Конечно, это так, но далеко не всегда имеющиеся цели отражают реальную ситуацию, и далеко не всегда достижение этих целей способствуют правильному развитию системы относительно миссии. Под миссией здесь будем понимать некое далекое, практически недостижимое состояние системы, к которому она стремится. На сегодняшний день определена международная практика целеполагания по принципу S.M.A.R.T. Согласно нему, цели должны быть:

• S (specific) - конкретными – должно быть четко сформулировано, что должно быть достигнуто.
• M (measurable) - измеримыми - планируемый результат, должен быть измерим в каких-то цифрах или быть «реально осязаемым», иначе как определить, что желаемое достигнуто? Помимо этого, измеримый результат должен по-настоящему мотивировать исполнителей. Идеальный вариант, когда цель - не просто цель, но желание.
• A (achievable) - достижимыми -  Цели должны быть достижимыми, но достижение результата должно зависеть от действий исполнителей, а не от независящих от него факторов или саморазвития системы.
• R (reasonable) - реалистичными – Достижимость целей должна учитывать имеющиеся ресурсы и ограничения. Цель должна быть реалистичной и уместной в данной ситуации, должна вписываться в нее и не нарушать баланс с другими целями и приоритетами.
• T (time-based) - контролируемыми по времени - Срок или точный период выполнения - одна из главных составляющих цели. Цели, принципиально не достижимые за необходимое время, являются малополезными в рассмотрении.

При этом нельзя забывать, что цели никогда, или практически никогда, не бывают отдельностоящими - они всегда так или иначе связаны друг с другом. Эти связи можно условно разбить на два типа:
·         агрегация/декомпозиция
·         влияние/взаимовлияние
Использование первого типа связи позволяет объединять цели в иерархические структуры: миссия разбивается на стратегические цели, те - на тактические, эти в свою очередь - на оперативные и т.д. Что интересно, такое разделение целей по степени важности в бизнес пришло тоже из военной науки. Таким образом, цели можно объединять в деревья целей.
С другой стороны, даже если какая-то цель не является подцелью другой, ее достижение может в той или иной степени повлиять на достижение первой. Этот тип связи и назван выше влиянием/взаимовлиянием. 

Использование взаимосвязей целей является основой одного из наиболее популярных на сегодняшний день механизма управления организацией - Системы Сбалансированных Показателей (ССП). Компания становится успешной только в том случае, если планомерно развивается. В аспекте управления понятие "планомерное развитие" означает создание и реализацию стратегических планов. Принципиальной основой ССП, которая во многом стала главной причиной популярности механизма в виду своей эффективности, стала мысль, что управлять можно только тем, что можно измерить, i.e. цель может быть формально достигнута только тогда, когда существует измеримый показатель, чье значение явно об этом свидетельствует (достигает определенного уровня, например).

Авторы ССП предложили четыре основных направления оценки эффективности:
·         Финансы ("каково представление о компании у акционеров и инвесторов?")
·         Клиенты ("какой компанию видят покупатели ее продуктов?")
·         Бизнес-процессы ("какие бизнес-процессы требуют оптимизации, на каких организации стоит сосредоточиться, от каких отказаться?")
·         Обучение и рост ("какие возможности существуют для роста и развития компании?")
Однако, возможно расширение и изменение этих направлений в зависимости от специфики компании.
При использовании ССП основные стратегические цели разбиваются по описанным выше основным направлениям, затем между ними проводятся связи типа "влияние". Теперь вступает в силу основная идея ССП - численные показатели, в качестве которых выступают Ключевые Показатели Эффективности (КПЭ, KPI в оригинале). Для каждой цели привязывается необходимое количество таких показателей, которые в совокупности и позволяют определить степень достижения целей.
С помощью инструмента ССП можно оценить динамику достижения целей, но сам по себе он цели не достигает. Целей достигают сотрудники компании с использованием ее ресурсов. Следующей важной задачей управления сегодня является управление ресурсами. Рассмотрим такой его аспект, как стимулирование и мотивация сотрудников для достижения тех или иных показателей. Один из хороших инструментов в данной области предложен наукой институциональная экономика - стимулирующие контракты. 
Предпосылками теории стимулирующих контрактов являются:
·         предполагаемые усилия сотрудника на выполнение поставленных задач ненаблюдаемы
·         контракт должен базироваться на чем-то наблюдаемом
·         успех или неудача проекта должны вероятностно зависеть от усилий агента
·         несовершенство информационного обеспечения контрагентов
При этом накладываются два условия на работника:
1.    incentive compatible (исполнитель должен хотеть прикладывать большие усилия, т.е. его ожидание полезности от высоких показателей труда должно быть выше, чем ожидание полезности от низких)
2.    induce participation (исполнитель должен хотеть участвовать в этой работе/проекте)
В таких предпосылках стимулирующий контракт строится следующим образом:
Вводится функция полезности агента (сотрудника) (1), положительно зависящая от заработной платы и отрицательно - от собственных усилий на выполнение работы:
u(w) = w – c(e)     (1)
с(e) представляет собой функцию антиполезности, зависящую от объема затраченных усилий (т.е. насколько сотруднику не нравится работать), w - функция заработной платы.
Зарплата сотрудника в свою очередь некоторым образом зависит от результата работы - некоего выпуска Y, выраженного в его стоимости:
w = w(Y)    (2)
, причем Y зависит как от усилий работника, так и от некоторой случайности внешней среды. Назовем ее ξ.
Y = Y(e,ξ)   (3)
Исходя из (1), (2), (3) можно построить целевую функцию фирмы (4):
max E(uP) = E(y – w(y))     (4)
, где E(uP) - ожидание полезности фирмы (принципала). При этом на эту максимизацию накладываются ограничения участия агента в проекта (ожидание полезности агента E(uA) должна быть выше резервного уровня uR, т.е. полезности, которую он бы получал в другом проекте или не участвуя ни в каких проектах):
E(uA) = E(w(y) – c(e)) ≥ uR ,
Из полученных уравнений можно вычислить (вывод опускается) уровень, на котором должна держаться заработная плата для стимулирования агента участия в том или ином проекте и прикладывания максимальных усилий для получения необходимого результата.
Теперь представим себе, что вместо выпуска Y у нас набор показателей - вектор КПЭ, значения которых зависят от конкретного агента. Тогда E - вектор затрат: i-ый элемент вектора E показывает затраты ресурса сотрудника направленные на деятельность, измеряемую с помощью i-того элемента вектора Y.
Уравнение (1) примет вид:
u(w) = w – c(∑Е)     (5)
,а зарплата будет зависеть от значений конкретных КПЭ с определенным весом. Уравнение (2) примет вид:
w = w(Y,b)    (6)
, где b - вектор коэффициентов вклада достигнутого значения КПЭ в зарплату сотрудника.
В новых условиях принципал максимизирует ожидание выгоды от достижения определенных значений КПЭ П(Y), выраженное в денежном эквиваленте, за вычетом затрат на заработную плату сотрудника:
max E(uP) = E(П(Y) – w(Y,b))
Грамотно варьируя значения вектора b и накладывая императивные ограничения на значения определенных КПЭ, принципал может стимулировать сотрудника на концентрацию внимания на те или иные виды деятельности. 
При организации непосредственного управления таким способом главная ловушка для менеджера - неверный выбор КПЭ или неверная оценка значимости тех или иных КПЭ. В этом случае появляются системы поощрения, которые не работают, т.к. награждающий поощряет то поведение, которого он хотел бы избежать, в то время как желаемое поведение не вознаграждается вообще. Можно привести такие примеры подобных ситуаций в жизни: 
·         избиратели выбирают кандидатов, которые дают только общие обещания без указания точных данных (например, сроки или требуемые ресурсы), 
·         в медицине поощряют отсутствие врачебной ошибки в выписке больного человека в то время, как ошибку в постановке диагноза здоровому человеку не наказывают (здесь врачи перестраховываются и если сомневаются, то говорят, что человек болен);
·         детские дома спонсируются по количеству детей (поэтому невыгодно детей пристраивать в семьи – дома начинают сами этому препятствовать);
·         преподавателей поощряют за количество публикаций а не качество обучения;
·         студенты борются за оценки а не знания подтвержденные этими оценками (на основании оценок идет отбор в магистратуру, на работу по резюме и т.д.);
·         персонал в фирме ведет себя не так, как того требуют нужды бизнеса, а так, чтобы это было поощрено.
В статье Стивена Керра выявлены следующие причины возникновения подобных некорректно составленных стимулирующих контрактов:
1.    увлечение «объективными» критериями, которые объективны только, если их субъективные элементы 
a.    определены заранее и
b.    хорошо скрыты в самих инструментах ранжирования;
2.    придание слишком большого значения легко наблюдаемым действиям;
3.    лицемерие. В некоторых из приведенных примеров поощряющий получает желаемое поведение, несмотря на заявления о том, что он этого поведения не желал. Так происходит, например, в отношении руководства к подхалимству в производственной фирме (подчиненные чувствуют, что такое поведение поощряется, несмотря на уверения руководства в том, что такая практика им не нравится).
4.    мораль и беспристрастность ценнее, чем эффективность  Иногда учет других факторов не дает возможности установить систему, которая поощряет поведение, нужное поощряющему. Чувство долга многих избирателей (автор статьи пишет про американцев), которое обязывает их голосовать за того или иного кандидата, не позволяет им лишить поддержки политиков, которые отказываются обсуждать детали.
Причины 1 и 2 оплачивают не то поведение, которое требуется. При 3 и 4 система поощряет как раз желаемое поведение, и системы нерациональны только для тех, кто верит публичным заявлениям поощряющего (причина 3)  или пытается максимизировать только экономические показатели (причина 4). В качестве решения заявленных проблем можно предложить обоснованный выбор КПЭ, основанный не только на желании владельцев компании, но и на мировом опыте ("best practices") вкупе с тщательным экспертным анализом конкретных ситуаций.
Последним этапом управления можно назвать контроль достижения целей и оценка результатов. На этом этапе управленцами необходимо обобщить всю имеющуюся информацию по объекту управления и оценить эффективность управления с целью ее повышения в будущем. Вариантов критериев эффективности можно привести множество, однако наиболее общим, наверное, можно назвать экономические результаты деятельности управляемого объекта в целом, т.е. осуществление предприятием (или организацией) своей миссии при наименьших затратах. 
Обобщая все вышесказанное, можно сделать вывод, что грамотное управление сегодня состоит из следующих основных этапов:
1.    Постановка целей.
2.    Организация стратегии управления.
3.    Оптимизация способов достижения цели.
4.    Управляющее воздействие — организация процессов выполнения задач и обеспечение их ресурсами.
5.    Контроль достижения целей и анализ результатов.
После анализа результатов возможна повторная итерация процесса с внесением необходимых корректив. 
Можно так же сделать вывод об увеличении роли инструментальных средств поддержки управления, таких как описанный выше инструмент ССП. Это диктуется тем, что управляемые системы становятся все более сложными и массивными, так что без использования агрегации и технических средств поддержки принятия решений (СППР различных видов) задачи управления становятся практически невыполнимыми.

пятница, 6 мая 2011 г.

Как бороться с искажениями информации для принятия решений?


Система управления — систематизированный набор средств влияния на подконтрольный объект для достижения определённых целей данным объектом.
Системы управления с участием людей как объектов управления зачастую называют системами менеджмента, а людей - таким известным и знакомым словом менеджеры. Задачи менеджера в рамках процесса управления, на первый взгляд, достаточно очевидны: поставить задачу, спланировать ее решение, проконтролировать ход, учесть результаты. В бизнес-реалиях акцент, как правило, стоит на планировании и контролинге, и основная оценка деятельности менеджера ведется по этим показателям.
Постараемся взглянуть на описываемую ситуацию с другой стороны: со стороны исполнителя. Каковы его задачи в процессе управления? На первый взгляд - получить задание и отчитаться по выполнению. Но если с отчетами все более-менее понятно и просто, то с первой частью - получением задания - не всегда все очевидно. Казалось бы, почему?




Для более детального изучения этой ситуации временно отойдем от вопросов управления. Представим себе двух человек. Одному из них в голову пришла некоторая идея, оформленная в виде его личных ощущений и понимания мира. Это - некий идеал реализации идеи. Он пытается передать свою мысль другому человеку, при этом облекая ее в слова. Для каждого атомарного образа в своей голове у говорящего есть синоним в словаре русского языка; из таких синонимов он и строит свою речь при объяснении. Часть смысла при этом неминуемо искажается, поскольку даже сам автор может не всегда точно подобрать необходимые эпитеты. Дальше происходит еще более интересная вещь: эти слова попадают в поле восприятия реципиента, который, прежде чем осознать их, пропускает этот поток через призму своих синонимов, но уже в обратном порядке: из слов он подбирает синонимы из своего внутреннего ощущения мира. Таким образом, происходит как бы тройной перевод: "язык" мироощущения первого человека -> язык слов -> "язык" мироощущения второго человека. Добавим сюда возможные помехи в каналах передачи данных (шум на улице, например), и получим 3 "бутылочных горлышка" процесса, состоящего из 3 этапов. Уникально депрессивная картина - на каждом этапе отсеивается часть смысла первоначального посыла. Более позитивным выглядит вариант, при котором осознанное исполнителем резко контрастирует со средой, в которой передавалось сообщение. Это вызывает реакцию отторжения такого сообщения, что выливается в некий сеанс обратной связи, в ходе которого общающиеся стороны могут достигнуть взаимопонимания. Гораздо хуже, когда искажения незаметны с первого взгляда или не могут быть выявлены принципиально. Примером такой ситуации является, например, экспертная оценка или авторитетное мнение.
Поэтому на каждом из этапов необходимо стараться проводить превентивные меры воздействия, расширяющие эти бутылочные горлышки

Описанная выше ситуация не изменяется, когда мы отходим от задачи управления. Пусть стоит аналитическая задача, для решения которой необходимо учитывать частное мнение некоего лица, например - владельца бизнеса. Тогда вектор передачи информации не изменится, но произойдет смена его владельца. Если раньше процесс передачи информации инициировал (и был заинтересован в нем) владелец информации, то теперь эта роль отходит реципиенту, и уже он, со своей стороны, старается расширить узкие места, чтобы упростить свою работу. Таким образом можно выделить два варианта передачи информации: условно “толкание” (инициатор - владелец информации) и “вытягивание” (инициатор - реципиент передачи).

Рассмотрим ситуацию с переводом сообщения из мыслительных образов в слова языка. Пусть идет диалог между двумя коллегами из международной компании, при этом один из них говорит, скажем, на финском, а второй - на японском. Вероятность того, что они поймут друг друга очевидно стремится к нулю. Пусть теперь в компании принимается правило, что международные переговоры ведутся только на английском. Тогда оба собеседника, переключившись на знакомый обоим язык, начнут понимать друг друга. Что изменилось в ситуации глобально? Появилось правило, по которому мысли обращаются в слова.
Наличие такого правила становится очевидным, когда люди говорят на различных языках, однако оно зачастую забывается, когда язык общения один. Тем не менее, даже в рамках одного языка возможно неправильно понимание тех или иных терминов, поэтому критически важным становится наличие тезауруса для корпоративного общения.
Если заранее договориться, какими словами что обозначать в своей речи в рамках одной предметной области, то достаточно большая часть ошибок, связанных с разным пониманием одних и тех же слов при передаче сообщения, просто пропадет.

Однако, как большинство глобальных решений, предложенный вариант, с одной стороны, направлен на решение большой группы проблем, с другой - не позволяет решить конкретные проблемы полностью. В рамках единого тезауруса все-равно остается место для неточностей и искажений, с которыми приходится бороться.

Такую борьбу можно свести к использованию двух типов методик: назовем их "границы" и "уклонения". Рассмотрим их подробнее. "Границы" представляют собой авторитарные механизмы уточнения формулировок. Самым известным примером использования "границ" является применение различных формальных процедур проверки: от простейших чек-листов до сложных принципов. Примеров здесь может быть масса, приведем один: при формулировании целей часто применяется так называемый принцип SMART, представляющий собой авторитарный указатель, какими цели должны быть и в соответствии с чем их формулировать (i.e. расставлены конкретные рамки-"границы", за которые выходить нельзя). Такое ограничение воли человека к формулированию своих мыслей приводит к тому, что другая сторона (исполнитель в модели управления, но глобально - любое заинтересованное лицо) будет иметь больше шансов получить необходимое для своей работы сообщение, не отягченное "мусором". При этом, стоит заметить, такие "границы" могут меняться в зависимости от конкретной ситуации, e.g. для формулирования целей существуют и другие подходы.

Бывают ситуации, когда использование одних только формальных "границ" не помогает для сокращения бутылочных горлышек. Это может происходить, например, когда владелец информации не может сам сходу привести ее к виду, удовлетворяющему этим границам (или, в худшем случае, не хочет этого делать). В такой ситуации “тянущему” контрагенту не остается ничего другого, кроме как прибегать к помощи тех или иных видов “уклонений” от прямого сбора необходимой информации, позволяющих собирать нужные сведения не напрямую, а косвенно. Случай, когда владелец информации нацеленно не желает ей делиться далее рассматриваться не будет, поскольку является скорее вопросом для изучения таких наук как психология и социология. Когда же возможен конструктивный диалог между контрагентами, появляется возможность прибегнуть к инструментам, способным так или иначе помочь структурировать и проанализировать нужную информацию.

Среди техник “вытягивания” информации BABOK, например, выделяет:
     Мозговые штурмы
     Анализ документов
     Проведение фокус-групп
     Анализ интерфейсов
     Интервьюирование
     Наблюдение
     Прототипирование и имитация
     Семинары и мастер-классы
     Опросы

Общим в этих методах является то, что при отсутствии готового решения или ясного понимания того, как к нему идти, использование одного или совокупности методов позволяет прийти к конечному результату. Обеспечение релевантности такого результата является задачей заинтересованного агента (как правило - реципиента), и не гарантируется ни одним из подходов. Правильное их комбинирование и уместное использование целиком находится в сфере ответственности аналитика.

Ниже представлен пример построения стратегической карты компании (СКК), в ходе которого были применены “граничные” рамки наряду со специальными методами “вытягивания” информации.

Построение СКК верхнего уровня было выполнено в следующие этапы:
1.     Формулирование миссии компании
2.     Формулирование стратегических целей компании
3.     Разнесение целей одного уровня на различные перспективы
4.     Выявление связей между целями.

Остановимся более подробно на анализе проведения этапов 2 и 4 этого процесса.

На этапе формулирования стратегических целей владелец бизнеса оказался в ловушке невозможности сформулировать, что он хочет от компании в таком виде, чтобы с этим было возможно работать. Выходом оказалось построение четкого вопросника (соответствующего принципу SMART), по которому проверялась каждая сформулированная им цель. В результате такой проверки, цели подверглись уточнению. Такой подход к работе позволил ускорить процесс целеполагания и увеличить его эффективность.

На этапе выявления связей между целями, ответственные эксперты часто сталкивались с ситуацией невозможности однозначно определить взаимное отношение силы связей (i.e. какие цели влияют относительно сильнее, а какие относительно слабее друг друга). Для решения такой задачи был разработан подход, основывающийся на методе анализа иерархий. В рамках этого подхода стояла не трудновыполнимая на данном этапе задача сравнить степень влияния всех связных целей на конкретную, а более простая - сравнить попарно степень влияния всех связных целей. С этой задачей экспертам было справиться гораздо проще. Затем, с помощью математического инструментария метода анализа иерархий, было проведено взаимное взвешивание влияния, которое затем, по заранее утвержденному правилу, переводилось в шкалу от 1 до 5, i.e. от “очень слабого влияния” до “очень сильного влияния” (принятую в методологии ARIS по построению СКК).

Таким образом, специально разработанный подход, попадающий под обозначенное ранее определение “уклонение”, позволил решить стоящую задачу по “вытягиванию” информации с меньшей погрешностью, чем простой ее сбор.

Из всего вышеизложенного можно сделать следующие выводы:
1.      Процесс передачи информации таит в себе много “бутылочных горлышек”, наличие которых продиктовано в первую очередь самой природой информации и организации общения;
2.      Можно выделить два типа передачи информации: “толкание” и “вытягивание”;
3.      Для упрощения организации обмена информацией необходимо наличие единого словаря для всех контрагентов;
4.      Для расширения “бутылочных горлышек” предлагается использование двух типов методов:
a.       “границы”, которые жестко регламентируют то, в каком виде подается информация,
b.      и “уклонения”, которые позволяют собрать необходимую информацию косвенно, через различные побочные или неочевидные источники.

понедельник, 6 декабря 2010 г.

Использование энтропии в определении авторства текста

В продолжение первой части


Сегодня задача определения смысла текста является одним из наиболее перспективных направлений в сфере ИТ. Существует множество методов и подходов к такому определению, начиная от классического языка логики предикатов и заканчивая новейшими разработками, такими как теория к-представлений. Данная работа не претендует на научную новизну, а является скорее неким прикладным экспериментом.


Для начала повторю теоретический бэкграунд такого эксперимента.
В теории информации энтропия — это мера неопределённости информации. Она вычисляется по формуле (1)


   (1)


где p — вероятности появления символов алфавита в сообщении. Физический, если можно так выразиться, смысл энтропии заключается в том, что она показывает среднее количество информации, которое несет один символ текста, выраженное в битах. Так, если символы алфавита появляются в сообщении в соответствии с Гауссовским распределением, то энтропия сообщения будет максимальна, в то время, как если в сообщении содержится только один неслучайный символ, то энтропия будет равна нулю.

Идея использовать значение энтропии для определения смысла текста не нова. Например в небольшом исследовании на хабре было доказано, что метод определения авторства, основанный на прямом сравнении энтропий текста-фрагмента и эталонного текста, является крайне неточным и не подходит для идентификации текстов из-за большого разброса значений внутри текста. Энтропия сама по себе - показатель обезличенный, что затрудняет его использование в данной области. Постараемся уменьшить степень обезличенности. 

Для этого в рамках задачи определения смысла текста по значению энтропии отойдем от использования букв и символов. Вместо них будем опираться на слова из текста, приведенные к начальной форме. Таким образом энтропия будет строиться не на основе частот появления тех или иных букв, а на основе частоты появления тех или иных слов. Для всех подсчетов воспользуемся специально написанной утилитой (описание работы утилиты есть ниже). 

Для эксперимента были выбраны несколько сказок Ганса-Христиана Андерсена. Из начального списка более 25 произведений были умышленно вычеркнуты малые по объему (менее 10 кБайт), поскольку небольшой объем обрабатываемого текста, скорее всего, приведет к нерепрезентативности - банально не наберется необходимое для исследования количество слов. Список использованных в работе сказок с номерами, под которыми они будут встречаться далее, представлен ниже:
0 - Тень 
1 - Аисты
2 - Бабушка
3 - Девочка со спичками
4 - Девочка, которая наступила на хлеб
5 - Дикие лебеди
6 - Дочь болотного царя
7 - Дюймовочка
8 - Красные башмаки
9 - Огниво
10 - Оле-Лукойе
11 - Русалочка
12 - Снежная королева
13 - Сон
Для каждой из них были проведены следующие преобразования:
  1. были вырезаны знаки препинания,
  2. все слова были приведены в начальную форму.

Затем для каждой из них были проведены необходимые подсчеты. Например, рассмотрим первую их них - Тень. Сначала для нее было подсчитано (рис.1):
  • количество слов в тексте
  • количество разных (уникальных) слов тексте
  • значение энтропии
  • список наиболее часто встречающихся слов
Рисунок 1. Расчет энтропии первого порядка.

Затем для наиболее часто встречающихся слов были подсчитаны значения энтропии второго порядка (см. рис. 2). Под энтропией второго порядка будем понимать значение условной энтропии, т.е. энтропии для слов, следующих по тексту за заданным.

Рисунок 2. Расчет энтропии второго порядка.

Аналогичная процедура была проведена со всеми доступными текстами, так что скопилась полная база, содержащая:
  • энтропии первого порядка для текстов
  • списки наиболее часто встречающихся слов текстов
  • энтропии второго порядка для текстов

Теперь, имея на руках эту базу, можно постараться решить следующую задачу определения авторства - по отрывку текста определить оригинал. Для этого возьмем отрывок одного из текстов размером 58 кБайт. Попробуем посчитать для значения энтропий второго порядка для всех слов, которые ранее были определены как часто встречающиеся.

Энтропия первого порядка для рассматриваемого отрывка равна 8,92974. Теперь посчитаем значения энтропий второго порядка для всех означенных ранее слов каждого из текстов. В случае, если совпадения будут явны, можно сделать вывод, что данный текст является частью первого. В ходе проверки было выявлено, что только для одного набора наиболее часто встречающихся слов все слова повторились в данном отрывке с заметной регулярностью, однако значения энтропии для отрывка оказались несколько меньшими (примерно на 15% меньше при том, что размер отрывка составил 50% размера сверяемого изначального текста). Это можно объяснить тем, что существует зависимость энтропии от размера выборки. К слову, это действительно оказался текст, из которого был взят изучаемый отрывок. 

Подобный эксперимент был повторен трижды для разных текстов и отрывков. Всегда наблюдалось совпадение по часто встречаемым словам и уменьшение значений энтропии.

Из такого исследования можно сделать вывод, что хотя принадлежность отрывка к конкретному тексту была доказана во всех попытках, сделано это было скорее за счет вероятностных оценок встретить те или иные слова в тексте, чем за счет сравнения значений энтропий. Возможно, можно выделить зависимость изменения показателя энтропии от размера текста, однако в рамках данной работы очевидной закономерности выделено не было. В то же время, показатель энтропии первого порядка в качестве определителя принадлежности текста оригиналу оказалось использовать невозможно.

Возможно, с помощью показателя энтропии можно ответить на другой вопрос: является ли один и тот же человек автором двух различных текстов или различных частей одного текста? Попробуем для этого взять курсовую работу, написанную реальным человеком, и посчитать показатели энтропии для разных ее глав.

ГлаваЭнтропия
Вступление+Заключение8,19287
Первая глава8,84601
Вторая глава8,90423

Как видно, энтропия содержательных глав работы несколько выше, чем энтропия введения и заключения. Такое разделение на исследуемые части было сделано из предположения, что студент скорее всего сам напишет вступление и заключение к работе, а вот в основной части он вполне может облегчить себе жизнь компилированием других источников. Такое компилирование наверняка негативно сказывается на стиле изложения, а следовательно ведет к увеличению показателя энтропии. В данном случае показатель хоть и вырос, но не сильно. Это может быть связано, например, с использованием цитирования или большого количества редко встречающейся специфической лексики в работе. 

В заключение можно сделать следующие выводы: инструмент энтропии можно использовать для косвенного определения авторства текста, однако такой анализ не является достаточно надежным, чтобы в важных исследованиях опираться только на него. Использование значений энтропии второго порядка требует ввода дополнительной коррекции с учетом изменения объемов выборки, а энтропии первого порядка не может служить однозначным показателем ввиду обезличенности такого показателя.








Приложение. Описание работы утилиты.


В основе работы написанной утилиты лежит формула энтропии Шеннона. Для подсчета численного значения энтропии высчитываются вероятностные оценки появления слов в тексте. Такие оценки строятся в зависимости от частот, с которыми слова встречаются в тексте. Для подсчета текст проходит предварительную обработку:
  1. из текста удаляются все знаки препинания,
  2. все слова приводятся в начальную форму.
Утилита позволяет выбрать сразу несколько текстов к обработке, все слова из которых переносятся в отдельные файлы в папке с программой. Так же для всех файлов генерируется .bat файл, при запуске которого происходит создание новых файлов, в которых вместо каждого слова будут записаны начальные формы этого слова. Этот .bat файл в ходе своей работы вызывает специальную утилиту mystem.exe, написанную в компании Яндекс. Описание программы с официального сайта:"Программа mystem производит морфологический анализ текста на русском языке. Для слов, отсутствующих в словаре, порождаются гипотезы." В сгенерированном .bat файле вызов этой программы прописан с такими параметрами, что та находит начальную форму для встреченных слов и выписывает их в файл.


Затем, с созданным таким образом новым файлом уже можно работать. Происходит это следующим образом:
  1. Для каждой начальной формы, имеющейся в файле, утилита подсчитывает количество повторений
  2. Затем, на базу этого количества, утилита рассчитывает вероятности,
  3. которые потом подставляются в формулу энтропии.
Параллельно ведется учет общего количества слов в тексте и количества уникальных слов в тексте.

Утилита позволяет вывести на экран 15 наиболее часто встречаемых слов в тексте.

Для подсчета энтропии второго порядка утилита требует ввода списка слов, для которых ее необходимо считать. Затем она:
  1. Для каждого слова строит список слов, которые следуют за ним в различных местах текста,
  2. Для такого списка слов повторяется описанный выше алгоритм.
Параллельно ведется учет общего количества раз, что заданное слово встречается в тексте и количества различных уникальных слов, что следуют за заданным по тексту.
Так же в этот момент генерируется таблица с отчетом по заданным словам в формате excel.

среда, 3 ноября 2010 г.

Введение в понятие Энтропия

Из Теории Информационных Технологий и Систем известно, что информационная энтропия - это мера хаотичности информации [1]. Другими словами, это неопределённость появления какого-либо символа первичного алфавита.
Если предположить, что при передаче информации отсутствуют какие-либо потери или шумы (все переданные символы и только они были получены приемником), то значение энтропии численно равно количеству информации на символ передаваемого сообщения.

Прекрасным примером служит любой язык, на котором говорят люди (во всяком случае, любой европейский язык. Утверждать что-либо об азиатских языках автору работы не позволяет недостаток опыта работы с ними, хотя в рамках предположения можно посчитать, что на языки этой группы в той же мере распространяются описанные ниже законы). Разные символы (буквы) встречаются в языке с разной частотой (ниже это будет доказано), более того - разные буквосочетания имеют разную частоту появления. Поэтому при добавлении новой буквы неопределенность получить следующую букву сообщения (слова) снижается.




В информатике большое месте занимает теория информации Шеннона и его подход к понятию энтропия. Если заглянуть в Википедию [2], можно узнать, что родился он в 1916 году в городе Петочки, Мичиган, США. Он закончил Мичиганский Университет и после этого долгое время работал в Массачусетском Технологическом Институте, где защитил степень доктора по математике и магистра по электротехнике. На сегодняшний день Шеннон известен как автор фундаментальных трудов по теории информации, электротехнике и криптографии. Мировую известность Шеннону принесла статья «Математическая теория связи», опубликованная в 1948 году. В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки передачи и хранения информации. Он ввел понятие информации, содержащейся в передаваемых сообщениях и первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики, рассматривая как конечные множества сообщений, так и непрерывные множества сообщений. Развитая Шенноном теория информации помогла решить главные проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами. 
Числовое значение энтропии и предел максимального сжатия данных устанавливается в теореме Шеннона об источнике шифрования. Эта теорема говорит о том, что минимальная средняя длина передаваемого слова (носителя информации, кодового слова) не может быть меньше, чем энтропия Шеннона, без потери точности информации. Другими словами, устанавливается предел максимального сжатия информации, до которого точность не теряется; и численное значение этого предела и есть значение энтропии Шеннона. Энтропия здесь представляет собой функцию от входного сообщения (случайная величина) и от размера алфавита, в котором происходит передача (или кодирование).
Можно проследить связь между количеством информации и энтропией. [3] Приведем ряд примеров. При бросании монеты выпадает орел или решка, это определенная информация о результатах бросания. При бросании кубика мы получаем информацию о выпадении определенного количества очков. В каким из этих двух случаев мы получаем больше информации?
Известно, что вероятность W выпадения орла равна 1/2, вероятность выпадения трех очков на кости - W=1/6. Реализация менее вероятного события дает больше информации: чем больше неопределенность до получения сообщения о событии (бросание монеты, кости), тем большее количество информации поступает при получении сообщения. Информация I связана с числом равновероятных возможностей P - для монеты P=2, для кости P=6. При бросании двух костей мы получаем вдвое больше информации, чем при бросании одной кости: информация независимых сообщений аддитивна, а числа равновероятных возможностей перемножаются. Значит, если имеются два набора равновероятных событий P1 и P2 , то полное число событий
P=P1*P2, (1)
а количество информации I складывается, т. е.

I(P)=I(P1*P2)=I(P1)+ I(P2).    (2)
Известно, что правилам (1) и (2) подчиняются логарифмические функции, т. е. зависимость количества информации I от числа равновероятных событий должна иметь вид
I=A*log(P)
где постоянная А и основание логарифма могут быть выбраны по соглашению. В теории информации условились полагать А=1, а основание логарифма двум, т. е.
I=log2(P). (3)
При бросании монеты получается информация (Р=2), которую примем за единицу информации I=1:
log2(2)=1 бит
В общем виде формула (3) принимает вид (вывод опускается)[3]:

Такая величина (4) названа Шенноном информационной энтропией.
В начале работы была постулирована идея о том, что различные буквы встречаются в языке с разными вероятностями. Для того, чтобы подтвердить или опровергнуть данное утверждение, можно провести небольшое исследование: возьмем достаточно большой набор слов русского языка и подсчитаем вероятности появления различных символов. В качестве источника слов возьмем "Толковый словарь русского языка в 4-х т." - всего 86702 слова. Чтобы обработать этот объем информации воспользуемся утилитой, написанной автором этой работы на первом курсе обучения в ГУ-ВШЭ.
 
Утилита была создана в том числе для подсчета вероятностей встречи различных символов в тексте и расчета энтропии. Проведем это с выбранным словарем. Результаты показаны на рисунках 1 и 2.
 

Рисунок 1. Результаты анализа толкового словаря
 

Рисунок 2. Результаты анализа толкового словаря (продолжение)
 
Как видно из результатов, наименьшая вероятность встретить знак "Ъ", наибольшая - буквы "А", "В", "Е", "Н" "О", "Р", "С", "Т". Интересное наблюдение: расположение букв на клавиатуре таково, что наиболее часто встречающиеся буквы находятся в центре (можно посмотреть на полученный ряд и центр клавиатуры), а самые популярные "А" и "О" отмечены точками для расположения указательных пальцев. Английская же раскладка организована по другому принципу - самые популярные буквы расположены на удалении друг от друга, что диктовалось технологией реализации первых клавиатур печатных машинок и со временем так укоренилось в обществе, что нынче проект перевода общества на более эргономичную клавиатуру сопряжен с невероятно большими издержками, что делает его невыполнимым (в литературе такая ситуация получила название "QWERTY"-эффект).
Для наглядности распределения вероятностей средствами утилиты можно построить диаграмму (см. рис. 3).
 

Рисунок 3. Диаграмма соотношения вероятностей появления различных символов
 
Наиболее крупные ячейки и есть самые часто встречаемые символы.
Однако, можно предположить, что в разных профессиональных средах это распределение нарушается и изменяется. Для сравнения возьмем два крупных текста: отрывок художественного произведения и отрывок деловой прозы (технического текста).
В качестве художественного произведения взят отрывок в первые 2700 слов "Анны Карениной". Для чистоты эксперимента из текста были удалены все знаки препинания.
 

Рисунок 4. Вероятности появления символов и энтропия для художественного текста.
В качестве примера технического текста взята инструкция по эксплуатация герметизированных свинцово-кислотных аккумуляторов с регулирующими клапанами (2700 слов). Для чистоты эксперимента из текста так же были удалены все знаки препинания.
 

Рисунок 5. Вероятности появления символов и энтропия для технического текста.
 
Как видно, распределение вероятностей в целом не изменилось, хотя конкретные значения несильно исказились. В целом мера неопределенности несильно выросла, что можно объяснить, например, большим использованием специфических терминов, в которых используются редкие для художественной речи сочетания букв.
Выше были подсчитаны вероятности встретить каждую букву при случайном выборе одной буквы из массива связного текста. Однако интересно, изменяются ли эти вероятности внутри одного слова? Если мы случайным образом выберем первую букву, то будет ли распределение вероятностей при выявлении следующей буквы такой же, как и при выборе первой буквы?
Можно провести мысленный эксперимент. Вероятность, что первой попавшейся буквой будет "О", достаточно велика, в то время, как вероятность выбрать "Ь" очень мала, но она есть. Пусть первой буквой в слове попалась "О". Поскольку в русском языке не встречаются буквосочетания "ОЬ", то вероятность встретить следующей буквой "Ь" станет не та, малая, что была раньше, а ноль. Поэтому можно сделать вывод, что вероятности при последующей встрече букв в рамках одного слова будут отличаться от вероятностей встретить эти буквы в качестве первых. Следовательно, неопределенность падает и каждая последующая буква несет меньшее количество информации, чем предыдущая.
 
К сожалению, доступных автору технических средств недостаточно для подсчета энтропии связного текста, имея слова как атомарные единицы. Это обуславливается в первую очередь сложностью обработки слов русского языка, связанной со сложноформализуемым алгоритмом образования разных форм одного и того же слова. Однако, можно предположить, что те же выкладки характерны и в этой ситуации:
Пусть каждое слово есть атомарный (в рамках текста) источник информации, тогда текст есть совокупность этих источников, несущая общий смысл (сообщение). Так, к связному тексту, состоящему из слов, применимы те же понятия, что и к любому коду, среди них и понятие энтропии. Точно так же вероятность встретить каждое новое слово в рамках одного связного предложения изменяется при наличии ранее выбранных слов, а степень неопределенности уменьшается при появлении каждого нового слова.
В ходе работы были получены следующие результаты:
было получено определение понятия энтропии - это мера хаотичности информации, или неопределённость появления какого-либо символа первичного алфавита.
было введено понятие информационной энтропии Шеннона.
были подсчитаны вероятности появления различных символов в текстах разного рода - словарь (список существительных), художественный текст, технический текст. Был подсчитан показатель энтропии и сделаны выводы по изменению вероятностей появления символов в зависимости от расположения буквы в слове.
была высказана идея о вероятной идентичности поведения слов внутри связных текстов поведению букв внутри слов языка.



Список использованных источников информации

1. Кирсанов А.П. Теория информационных технологий и систем. Курс лекций, ГУ-ВШЭ, 2007
2. http://ru.wikipedia.org/wiki/Шеннон,_Клод_Эдвуд , дата обращения 21.09.2010
3. Дульнев Г.Н., Ипатов А.П., Агеев И.Л. Электронный учебник по дисциплине: "Синергетика". http://de.ifmo.ru/bk_netra/page.php?tutindex=13 - дата обращения 21.09.2010
4. Толковый словарь русского языка: В 4 т. - М.: Сов. энцикл.: ОГИЗ - http://feb-web.ru/feb/ushakov/ush-abc/11/us1146515.htm - дата обращения 21.09.2010 


вторник, 2 ноября 2010 г.

Сборище нелепостей

Сегодня только ленивые не собирают смешные нелепости, которые они встречают на улицах, на работе, в интернете. Результаты общей работы оседают на страницах блогов и развлекательных сайтов, аккумулируются на ресурсах а-ля Идиотека Лебедева или на выступлениях Задорнова. Под катом внесу свои пять копеек

Самое первое, что следует за нами везде и всегда - опечатки. Они окружают нас повсюду: в рекламе, в объявлениях. Например, вот маршрутка номер 99м: "м. Сокол- м. Крылатское". Одна из остановок носит гордое название "М-Видио".
(названия остановок в маршрутке 99м)

Подобных примеров в жизни очень много, выложу несколько наиболее ярких. На следующей фотографии не очень видно, кто-то уже наверное пытался исправить все подручными средствами, но этой вот компании требуются "Распрастронители":

(рекламное объявление в автобусе)

А вот тут тоже зовут не куда-нибудь, а "собиседоваться". 
(ТЦ "Кочубей")

Дальше - самое любимое. Не знаю почему, но, увидев, очень долго смеялся:
(Белорусский вокзал, ларек с сувенирами)

Последним в данной линейке выступит один из флагманов тяжелого машиностроения ФРГ, минный заградитель "Скарпион":
(воинская часть 58142: 45 инженерно-маскировочный полк,
стенд в учебном корпусе)


К сожалению или к счастью, опечатками окружающая нас действительность не ограничивается. Очень многие люди проявляют свои смекалку и стремление к самореализации на улицах. Иногда получается забавно, иногда - меньше. Такой вот плакат встречал людей на выходе из метро Сокол пару месяцев назад:
(рядом с м. Сокол)

А вот такое объявление висело в подъезде некоего дома в Москве.
(подъезд жилого дома)

К той же серии - довольно часто встречаются на улице "капитанизмы". Очень яркий пример:
(СК "Олимпийский")

Вдвойне забавно, когда в изначально креативной сфере возникает переизбыток этого самого креатива, выливающийся в порой довольно забавные вещи. Я говорю о наружной рекламе. Если верить вот этому плакату, то все, что нужно женщине...
(ВДНХ)

... это мед и медовуха. Не поспоришь. Вот такое объявление в маршрутке меня тоже воодушевило до глубины души:
(одна из городских марштурок)

Вообще тема маршрутных такси практически неисчерпаема. Погуглив, можно найти миллионы забавных плакатов и объявлений в них. Поэтому забудем о них и пойдем дальше. Раньше я думал, что жизнь обидела людей с именами Параша, Даблин или Гигант. Но такое... :
(афиша в городе)

 А вот такой фитнес-зал находится в поселке Дубки, что в Подмосковье:
(пос. Дубки)

Отдельно забавно выглядят вещи, направленные на одну аудиторию и попавшие в другую. Примерами служат специальные профессиональные вывески и знаки:
(один из магазинов города)

объявления без контекста:
(городская поликлиника 199)

и абсолютно нормальные плакаты, обработанные сквозь призму испорченного интернетом мозга:
(боян всея Руси. афиша на стенде)


Отдельно мне в свое время очень понравилась такая вот новогодняя игрушка. Так и вижу: куча маленьких сатанистиков кричат "Купи! Купи!":
(Новогодняя игрушка. ТД "Детский мир")

Напоследок просто часы, которые показывают полдесятого. Ровно.
(часы на улице. Крылатское)