О представлениях групп и алгебр в пространствах с индефинитной метрикой

Аннотация

Работа содержит обзор имеющихся результатов о структуре J-симметричных алгебр операторов в пространствах Понтрягина и Крейна, а также о представлениях групп и *-алгебр в этих пространствах.

Полный текст

ОГЛАВЛЕНИЕ 1. Введение 295 2. Классификация J -симметричных алгебр 296 3. Представления *-алгебр 300 4. J -унитарные представления групп 304 Список литературы 307 Светлой памяти Николая Дмитриевича Копачевского, замечательного Математика и Человека. 1. ВВЕДЕНИЕ Теория пространств с индефинитной метрикой возникла в работах Понтрягина, Соболева, Филлипса в связи с потребностями теории уравнений в частных производных. С тех пор круг ее приложений в математической физике и общей теории операторов чрезвычайно расширился. О многих из них можно теперь узнать из прекрасных книг Т. Я. Азизова и Н. Д. Копачевского [1, 2] и, в особенности, [3]. Кроме того, теория алгебр, групп, алгебр Ли операторов в пространствах Крейна стала популярна у физиков-теоретиков в связи с индефинитными моделями полевых теорий - см. например работу [4] и цитируемую там литературу. В нашей работе говорится почти исключительно о результатах самой теории операторно-алгебраических систем в пространствах с индефинитной метрикой, а также о связи этих результатов с некоторыми другими задачами функционального анализа; приложения требуют отдельного обзора (или, скорее, обзоров). Полвека тому назад был опубликован обзор [34], написанный Р. С. Исмагиловым и М. А. Наймарком, математиками, стоявшими у истоков данной теории. Дав настоящей работе такое же название, мы хотели подчеркнуть, что она является продолжением этого обзора. Напомним основные определения. Пространство c индефинитной метрикой - это линейное пространство H, снабженное полуторалинейной формой x, y ×→ [x, y], которая не является знакоопределенной. Вектор x ∈ H называется положительным (отрицательным, неположительным, нейтральным), если [x, x] > 0 (соответственно, [x, x] < 0, [x, x] � 0, [x, x] = 0); подпространство L ⊂ H называется положительным (неположительным, отрицательным, нейтральным), если все его ненулевые элементы положительны (соответственно, неположительны, отрицательны, нейтральны). Далее, H называется пространством Крейна, если оно раскладывается в прямую сумму двух своих подпространств, H = H1 + H2, где H1 положительно, H2 отрицательно, причем H1 является гильбертовым пространством со скалярным произведением (x, y) = [x, x], а H2 © РОССИЙСКИЙ УНИВЕРСИТЕТ ДРУЖБЫ НАРОДОВ, 2021 Эта работа доступна по лицензии Creative Commons 4.0 International https://creativecommons.org/licenses/by-nc-nd/4.0/deed.ru 295 296 Э. В. КИССИН, В. С. ШУЛЬМАН является гильбертовым пространством со скалярным произведением (x, y) = -[x, x]. Продолжая скалярное произведение на все H по билинейности, мы превратим H в гильбертово пространство. Разложение H = H1 + H2 не единственно, поэтому и скалярное произведение вводится по разному, но топология от этого не зависит: все эти скалярные произведения эквивалентны. В частности, корректно говорить о непрерывности линейного оператора. В дальнейшем, все рассматриваемые линейные операторы предполагаются непрерывными; как обычно, алгебру всех таких операторов мы обозначаем B(H). Если одно из подпространств H1, H2 (обычно отрицательное) конечномерно, dim(H2)= k < ∞, то мы говорим, что H - пространство Понтрягина индекса индефинитности k, или, более коротко, пространство Πk. Не исключен и случай, когда обе компоненты конечномерны, тогда индекс индефинитности - это min{dim H1, dim H2}. В любом случае, индекс индефинитности совпадает с максимальной размерностью нейтрального подпространства. Исходная индефинитная форма выражается через скалярное произведение формулой [x, y] = (Jx, y), где J = 1 - 2P, P - проектор на H2 параллельно H1, поэтому символ J используется для подчеркивания индефинитности формы. Так, подпространство L⊥ = {x ∈ H : [x, y]=0 для всех y ∈ L} называется J-ортогональным дополнением подпространства L ⊂ H; оператор T �, определенный равенством [T �x, y] = [x, Ty], называется J-сопряженным к оператору T ; соответственно, T называется J-самосопряженным, если T � = T, и J-унитарным, если T � = T -1. Семейство операторов E называется J-симметричным, если с каждым своим элементом оно содержит его J -сопряженный. Первый глубокий результат этой теории, теорема Понтрягина-Соболева, полученный Понтрягиным [35] (а ранее Соболевым [36] для k = 1), гласит, что любой J -самосопряженный оператор в Πk имеет неположительное инвариантное подпространство размерности k. Затем М. Г. Крейн [16] доказал аналогичный результат для J -унитарных операторов, применив принцип неподвижной точки (в [34] подробнее говорится об истории этого замечательного доказательства, работающего и для операторов в пространстве Крейна при некоторых условиях компактности, и о связанных с ним работах И. С. Иохвидова). Уже сравнительно недавно В. И. Ломоносов [71] нашел удивительно короткое и элементарное доказательство максимально общего варианта теоремы Понтрягина-Соболева (см. также работу Э. В. Киссина, В. С. Шульмана и Ю. В. Туровского [70], где это доказательство приведено с подробностями, отсутствовавшими в оригинальном варианте). В ряде работ получены важные обобщения теоремы Понтрягина-Соболева на неограниченные операторы, о них можно узнать, например, из работы А. А. Шкаликова [39] и приведенных в ней ссылок. Теоремы об инвариантных подпространствах играют первостепенную роль при изучении структуры операторно-алгебраических систем - они обеспечивают возможностьтриангуляции (а иногда и диагонализации) системы, поэтому в дальнейшем тексте об теоремах этого рода - но не для одного оператора, а для всей алгебры, группы и т. д. - речь будет идти постоянно. Наше изложение разбито на три части - в первой рассматриваются алгебры операторов в пространствах с индефинитной метрикой, во второй - представления алгебр в этих пространствах, и в последней - представления групп. 2. КЛАССИФИКАЦИЯ J -СИММЕТРИЧНЫХ АЛГЕБР Первый результат о «коллективных» инвариантных подпространствах в пространствах с индефинитной метрикой был получен М. А. Наймарком [29], доказавшим, что любое коммутативное семейство J -унитарных операторов в Πk имеет неположительное инвариантное подпространство размерности k. Отсюда, как замечено в [29], следует аналогичный результат для семейств J -самосопряженных операторов и, более общим образом, для коммутативных J -симметричных семейств операторов в Πk. Далее, Р. С. Исмагилов [12] установил, что всякая неприводимая J -симметричная алгебра операторов в пространстве H типа Πk плотна в B(H) относительно слабой операторной топологии WOT (а также сильной, ультрасильной и ультраслабой топологий). Этот результат существенно усиливает теорему Наймарка, поскольку коммутативная алгебра не может быть плотной в B(H). Отметим, что доказательство в [12] не использует теорем Понтрягина-Соболева и Крейна: оно основано на сильном результате Шварца [85] о существовании инвариантного подпространства у любого возмущения эрмитова оператора оператором из класса Шэттена (в данном случае можно ограничиться возмущениями операторами конечного ранга). О ПРЕДСТАВЛЕНИЯХ ГРУПП И АЛГЕБР В ПРОСТРАНСТВАХ С ИНДЕФИНИТНОЙ МЕТРИКОЙ 297 Теорему Исмагилова можно переформулировать, сказав, что единственная неприводимая WOTзамкнутая J -симметричная алгебра в Πk - это алгебра B(H). Что можно сказатьо неприводимых J -симметричных алгебрах, замкнутых по норме? Этот вопрос рассматривался в работе А. И. Логинова и В. С. Шульмана [24], где показано, что любая такая алгебра A содержит алгебру K(H) всех компактных операторов в H и, как следствие, совпадает (как алгебра, но не как *-алгебра) с некоторой С*-алгеброй. Схема доказательства: 1. Если в A естьхоть один ненулевой компактный оператор, то утверждение следует из известной теоремы В. И. Ломоносова [26]. 2. Доказывается, что если замкнутая алгебра, порожденная J -самосопряженным оператором в Πk, не содержит ненулевых компактных операторов, то она имеет инвариантное k-мерное отрицательное подпространство, и потому топологически *-эквивалентна некоторой С*алгебре. 3. По (весьма тонкой) теореме И. Кунца [53], всякая банахова *-алгебра, у которой эрмитовы элементы порождают С*-эквивалентные алгебры, является С*-эквивалентной. 4. Из результата В. С. Шульмана [42] (см. следующий раздел) следует, что С*-эквивалентные J -симметричные алгебры в Πk не могут быть неприводимыми. J -симметричная алгебра операторов называется невырожденной, если она не имеет нейтральных инвариантных подпространств. В той же работе [12] Р. С. Исмагилов показал, что если A - невырожденная J -симметричная алгебра операторов в пространстве H типа Πk, то H раскладывается в прямую J -ортогональную сумму инвариантных подпространств H = H0 ⊕ H1 ⊕ ... ⊕ Hn таких, что H0 положительно, остальные Hi либо отрицательные, либо вида Πm, сужение алгебры A на H0 является ∗-алгеброй, а сужения на остальные слагаемые неприводимы. В работе В. И. Либерзона и В. С. Шульмана [19] классифицированы все WOT-замкнутые невырожденные алгебры в Πk. Описание невырожденных алгебр, замкнутых по норме, дано в книге Э. Киссина и В. С. Шульмана [67, теорема 13.7]; оно основано на результатах работы [24]. Вырожденные алгебры устроены значительно сложнее. Понятно, что если алгебра A ⊂ B(H) вырождена, то среди ее нейтральных инвариантных подпространств имеется подпространство L наибольшей размерности. Подпространство L⊥ ⊃ L также инвариантно, так что фактор-пространство L⊥/L получает естественную структуру пространства Πm, где m < k. В этом пространстве действует невырожденная операторная алгебра A�, индуцированная A. Поскольку, как мы видели, невырожденные алгебры мало отличаются от *-алгебр, во многих задачах можно, избегая не слишком существенных усложнений, считать, что скалярное произведение в L⊥/L неотрицательно, т. е. что dim L = k. Такие алгебры называются базовыми (ground). Однако в общем случае редукция к базовым алгебрам - непростая задача. Некоторые результаты этого рода будут отмечены ниже. Пусть A - базовая алгебра в H, L - инвариантное подпространство размерности k. Выберем кососвязное с L нейтральное подпространство M (это означает, что эрмитова форма [x, y] невырождена на L × M, или, что то же, естьбазисы e1,... , ek в L и e∗ ,... , e∗ в M такие, что [ei, e∗ ]= δi,j ). 1 k j Тогда подпространство H = L⊥ ∩ M ⊥ естественно изоморфно L⊥/L; оно положительно и H = L + H + M. (2.1) В соответствии с этим разложением, элементы алгебры A записываются верхнетреугольными блокi,j=1 матрицами T = (Tij )3 . Задача состоит в описании базовых алгебр в терминах более простых алгебраических объектов, связанных с компонентами треугольного разложения - это естественно, поскольку сами компоненты имеют более простую природу. Действительно, в «основной компоненте» A22 := {T22 : T ∈ A} мы имеем дело с симметричной алгеброй операторов в гильбертовом пространстве, компоненты A11, A13 и A33 действуют в k-мерных пространствах, компоненты A12 и A23 состоят из операторов ранга не выше k. Первые результаты на этом пути получил М. А. Наймарк [30], построивший модели различных классов коммутативных алгебр. Его модели были упрощены А. И. Логиновым [21], показавшим затем в работе [22], как можно удобно описывать равномерно замкнутые коммутативные алгебры в пространствах типа Π1. Для некоммутативных алгебр М. А. Наймарком [33] были предложены модели, основанные на использовании максимальных коммутативных подалгебр коммутанта A∗ алгебры A. Такой подход был весьма плодотворен в теории симметричных алгебр в 298 Э. В. КИССИН, В. С. ШУЛЬМАН гильбертовом пространстве, поскольку теорема фон Неймана о бикоммутанте давала необходимую информацию об A∗. В ситуации пространств Понтрягина такая информация отсутствовала и, в частности, не были исследованы алгебры с тривиальным коммутантом (такие алгебры называются операторно неприводимыми). Вопрос о строении операторно неприводимых JW ∗-алгебр в Πk был одним из нескольких, поставленных в конце обзора Р. С. Исмагилова и М. А. Наймарка [34]; его решение для случая k = 1 было дано в работе В. И. Либерзона и В. С. Шульмана [18]. Более подробные обсуждения вышеупомянутых работ М. А. Наймарка и А. И. Логинова, а также все необходимые ссылки имеются в [34]. В работе В. С. Шульмана [41] была получена классификация замкнутых по операторной норме J -симметричных алгебр в пространствах типа Π1, не являющихся невырожденными (а следовательно, базовых). В разложении (2.1) пространства L и M теперь одномерны: L = Cξ, M = Cη, [ξ, η] = 1. Произвольный оператор T ∈ A записывается верхнетреугольной операторной матрицей (Tij ), где T11 = λ(T )1L, T33 = μ(T )1M , T13 = γ(T )ξ ⊗ η, T12 = yT ⊗ ξ, yT ∈ H, T23 = η ⊗ xT , xT ∈ H, поэтому мы будем писать: ⎛λ(T ) yT γ(T )⎞ T = ⎝ 0 T22 xT ⎠ . (2.2) 0 0 μ(T ) Отображения λ : T ×→ λT и μ : T ×→ μT - линейные мультипликативные функционалы на A, а T ×→ T22 - *-представление алгебры A в гильбертовом пространстве H. Положим A0 = {T ∈ A : λ(T )= μ(T )= 0}, KA = {T ∈ A : TL[⊥] ⊂ L}, FA = {T ∈ A0 : T22 = 0}. Определение. Алгебра A относится к: § типу M 0, если KA = 0; § типу M 1, если 0 /= KA ⊂ A0; § типу M 2, если KA не содержится в A0 и μ = λ; если при этом FA = 0, то пишем A ∈ M 2a, в противном случае A ∈ M 2b; § типу M 3, если KA не содержится в A0 и μ /= λ; если при этом FA = 0, то пишем A ∈ M 3a; в противном случае A ∈ M 3b. Легко проверить, что каждая базовая алгебра попадает в один из этих классов. В [41] дается подробное описание замкнутых по операторной норме алгебр каждого класса. При этом алгебры всех классов, кроме M 1, описываются в привычных терминах (С*-алгебра, замкнутое подпространство гильбертова пространств, набор чисел). Мы не будем приводить эти описания; кроме [41], их можно найти, например, в книге [67]. Наибольший интерес представляет класс M 1; тут ключевым элементом описание является понятие *-замкнутого квазивектора операторной алгебры. Пусть Q - *-алгебра операторов в гильбертовом пространстве H. Ее квазивектором называется отображение p : Q → H, удовлетворяющее условию p(TS)= Tp(S) для всех T, S ∈ Q. Квазивектор называется *-замкнутым, если Q полна относительно нормы lT lp = lT l + lp(T )l + lp(T ∗)l; аналогично определяется WOT *-замкнутые квазивекторы. Непрерывные квазивекторы описываются просто: они задаются векторами x ∈ H по формуле p(T ) = Tx (такие квазивекторы будем называть простыми). Более тонкий пример: пусть R - положительный инъективный оператор из Q∗ такой, что для некоторого вектора x ∈ H выполнено условие Qx ⊂ RH, тогда отображение p : T ×→ R-1Tx является *-замыкаемым квазивектором (т. е. p *-замкнут на пополнении Q по норме l· lp). В [41] показано, что этот класс примеров универсален: любой *-замкнутый квазивектор задается таким способом. Квазивекторы можно задавать и в терминах прямых операторных интегралов простых квазивекторов, а также в терминах их бесконечных прямых сумм. Теперь мы можем описать, как устроены алгебры из класса M 1. Всякая такая алгебра A задается набором, состоящим из *-алгебры Q операторов в H, ее *-замкнутого квазивектора p, подпространства W, инвариантного для Q и ортогонального к p(Q), а также замкнутого инволютивного антилинейного оператора V с областью определения D⊥(p(Q)+ R). Алгебра A обозначается M 1(Q, p, W, D, V ). Произвольный оператор из A определяется выбором оператора T ∈ Q, векторов О ПРЕДСТАВЛЕНИЯХ ГРУПП И АЛГЕБР В ПРОСТРАНСТВАХ С ИНДЕФИНИТНОЙ МЕТРИКОЙ 299 x, y ∈ W, u ∈ D и чисел λ, γ ∈ C и записывается матрицей T = ⎝0 λ1H + B p(B)+ x + u⎠ . 0 0 λ ⎛λ p(B∗)+ y + Vu γ ⎞ С каждым *-замкнутым квазивектором p алгебры Q можно связатьдвойственный квазивектор p∗. p Он определен на подалгебре Q∗ коммутанта Q∗ алгебры Q, которая определена как множество тех p операторов R ∈ Q∗, для которых отображение T ×→ Rp(T ) непрерывно на A. Квазивектор p∗ задан условиями: Rp(T ) = Tp∗(R) и p∗(R) ∈ QH для всех T ∈ Q, R ∈ Q∗ . Нетрудно доказать, что (Q ) Q ∗ ∗ ⊂ p p× и p∗∗ продолжает p. На самом деле, справедлив следующий результат. Пусть p - WOT *-замкнутый квазивектор операторной алгебры Q, и пусть E - ортопроp ектор на ker Q. Тогда алгебра Q∗ p p× WOT-плотна в Q∗, (Q∗ )∗ = Q + CE и p∗∗ = p ⊕ 0EH. Как следствие, в [41] получена теорема о бикоммутанте для WOT *-замкнутых J -симметричных алгебр в Π1: для каждого из шести типов описаны те алгебры, для которых имеет место совпадение с бикоммутантом. Как заметил С. Н. Литвинов [20], из этого описания можно вывести, что всякая WOT-замкнутая унитальная базовая алгебра операторов в пространстве типа Π1, имеющая разделяющий вектор, совпадает со своим бикоммутантом. Основной целью работы С. Н. Литвинова [20] было построение Π1-аналога теории Томиты- Такесаки. Потребностьв индефинитном варианте этой теории в теории полевых алгебр Вайтмана- Вичмана и общей релятивистской квантовой теории поля подробно обосновывается в работах К. Ю. Дадашяна и С. С. Хоружего [4-7]. Как показано в [4-7], построение такого аналога наталкивается на препятствия спектрального характера для модулярного оператора. В частности, неизвестно, справедливо ли, что слабо замкнутая J -симметричная алгебра операторов в Πk, имеющая циклический и разделяющий вектор, антиизоморфна своему коммутанту. Однако С. Н. Литвинову удалось показать, что при k = 1 ответ на этот вопрос положителен. Фактически, в [20] аналог теории Томиты-Такесаки построен полностью - определена модулярная группа и доказано, что справедлив Π1-аналог фундаментальной теоремы Томиты: Теорема (см. [20]). Пусть A - слабо замкнутая J-симметричная алгебра операторов в пространстве H типа Π1, имеющая циклический и разделяющий вектор. Пусть A∗ - коммутант алгебры A. Тогда существует антилинейная инволюция j : H → H такая, что A∗ = jAj. В более поздней статье В. С. Шульмана [87] этот результат был получен как следствие аналогичного утверждения о квазивекторах: Теорема (см. [87]). Пусть квазивектор p *-алгебры Q ⊂ B(H) WOT *-слабо замкнут, инъективен и его образ плотен в H. Тогда существует антилинейная инволюция j на H такая, p что jQj = Q∗ и p∗(jT j)= jp(T ) для любого T ∈ Q. Теория двойственности квазивекторов получила дальнейшее развитие в работах В. С. Шульмана [45] и А. И. Логинова и В. С. Шульмана [25], посвященных векторнозначной двойственности для модулей над банаховыми алгебрами и ее приложениям - в частности, к теории замкнутых мультипликаторов W*-алгебр, теории разложения нормальных весов, теории левых гильбертовых алгебр и теории коммутационных систем А. Ван Дайла [95]. В работах С. Ш. Машариповой и В. И. Чилина [27, 51, 52] построенная в [41] классификация использовалась для изучения функционального исчисления от самосопряженных операторов в Π1; эта задача имеет глубокую связь со спектральной теорией J -самосопряженных операторов, построенной в работах М. Г. Крейна, его учеников и сотрудников. В работе тех же авторов [28] для J -симметричных алгебр операторов в Π1 был доказан аналог теоремы плотности Капланского. Для алгебр операторов в Πk теорема плотности Капланского и ее спектральный вариант1 доказаны в работах Тонга [92, 94]. Структура идеалов J -симметричных алгебр в Πk изучалась Янгом [96, 97]. В замечательной работе [15] Р. С. Исмагилов переформулировал одно из следствий теоремы о двойственности квазивекторов в терминах определенных им алгебр Наймарка. 1 Любой оператор T из слабого замыкания алгебры A аппроксимируется операторами из A, спектральные радиусы которых не превосходят r(T ). 300 Э. В. КИССИН, В. С. ШУЛЬМАН 2 Определение. Пусть H - гильбертово пространство, H� - его дуальное пространство. Прямую сумму N (H)= B(H)⊕H⊕H� можно рассмотретькак инволютивную банахову алгебру относительно произведения (T1, x1, y1)(T2, x2, y2)= (T1T2, T1x2,T ∗y1), инволюции (T, x, y)∗ = (T ∗, y, x) и нормы l(T, x, y)l = lT l + lxl + lyl. Любая замкнутая *-подалгебра алгебры N (H) называется алгеброй Наймарка. Следствие. Пусть L - алгебра Наймарка. Если для любого вектора h ∈ H подпространство {Th+x : (T, x, y) ∈ L} плотно в H, то L = L0 ⊕H⊕H�, где L0 - некоторая С*-алгебра операторов в H. Этот результат был использован в [15] для получения важного критерия неприводимости унитарных представлений групп токов. Вариант классификации коммутативных J -симметричных (не обязательно замкнутых) алгебр в Π1, удачно соединяющий и упрощающий модели М. А. Наймарка [30], А. И. Логинова [21] и В. С. Шульмана [41], был предложен О. Я. Бендерским, С. Н. Литвиновым и В. И. Чилиным [47]. Модели для коммутативных замкнутых по норме алгебр в Πk построены в работах Тонга [91, 93]. В работах И. Фанга, Х. Янга и С. Лю [100, 101] были построены аналоги рассмотренной выше классификации J -симметричных алгебр в Π1 для пространств Понтрягина с произвольным индексом индефинитности. Здесь, как и в [41], алгебры разбиваются на 6 классов и достаточно прозрачно и компактно параметризуются, однако при существенном ограничении: рассматриваются лишь алгебры, замкнутые относительно отображения угловой проекции T ×→ T13 («условие A(1, 3)»). Исследованию наиболее интересного класса I, соответствующего классу M 1 из [41], посвящена работа Янга [98]. Наиболее поздняя из этой серии работа Янга [99] не переведена с китайского, а ее абстракт не дает представления о результатах - в частности, неясно, удалось ли автору преодолеть ограничение A(1, 3). 3. ПРЕДСТАВЛЕНИЯ *-АЛГЕБР Под представлением топологической *-алгебры A в пространстве H типа Крейна или Понтрягина мы будем всегда подразумеватьее непрерывный инволютивный гомоморфизм в алгебру B(H) с инволюцией T ×→ T �. Если необходимо это подчеркнуть, мы говорим о J -симметричном представлении. Термин *-представление используется, когда речь идет об инволютивном гомоморфизме в алгебру операторов в гильбертовом пространстве со стандартной инволюцией T ×→ T ∗. На представления естественно переносятся определения, введенные выше для алгебр операторов - например, мы называем подпространства, инвариантные для образа представления, инвариантными для представления, и соответственно определяем невырожденные представления, базовые представления и т. д. Нетрудно показать, что для J -симметричного представления π : A → B(H) следующие условия эквивалентны: 0. π подобно *-представлению; 1. π(A) имеет инвариантные подпространства H1, H2 такие, что H1 положительно, H2 отрицательно и H1 + H2 = H. Если H - пространство типа Πk, то условие 2) можно записать в виде 2. π(A) имеет инвариантное отрицательное подпространство размерности k. Разумеется, информация о структуре J -симметричных алгебр во многих случаях позволяет делать заключения о свойствах представлений. Например, теорема Р. С. Исмагилова показывает, что любое неприводимое Πk -представление *-алгебры (или группы) вполне неприводимо, а теорема М. А. Наймарка [29] влечет утверждение о том, что любое J -симметричное представление коммутативной *-алгебры в пространстве Πk имеет k-мерное неположительное инвариантное подпространство. В работе Р. С. Исмагилова [12] этот результат получил следующее усиление: Теорема. Если *-алгебра A имеет полную (т. е. отделяющую) систему неприводимых *-представлений, размерности которых не превосходят числа d < ∞, то любое ее представление в пространстве Πk имеет инвариантное подпространство размерности � kd, J-ортогональное дополнение которого неотрицательно. О ПРЕДСТАВЛЕНИЯХ ГРУПП И АЛГЕБР В ПРОСТРАНСТВАХ С ИНДЕФИНИТНОЙ МЕТРИКОЙ 301 В работе В. С. Шульмана [42] было доказано, что всякое представление С*-алгебры в Πk подобно *-представлению. Заметим, что до сих пор неизвестно, любой ли гомоморфизм С*-алгебры в B(H) подобен *-представлению (проблема подобия); в [42] показано, что перенос результата с Πk представлений на представления в любых пространствах Крейна равносилен решению проблемы подобия. Напомним, что банахова *-алгебра называется эрмитовой, если все ее самосопряженные элементы имеют вещественные спектры. Это достаточно широкий класс алгебр, но за его рамками находятся, например, групповые алгебры локально компактных групп, не являющихся аменабельными (см. недавнюю работу Самеи и Виерсмы [83]). Несколько расширяя эти рамки, будем называть банахову *-алгебру A почти эрмитовой, если элементы с вещественным спектром плотны в (вещественном) пространстве всех ее самосопряженных элементов. Теорема (Э. В. Киссин, А. И. Логинов и В. С. Шульман, см. [65]). Любое Πk-представление почти эрмитовой алгебры A имеет k-мерное неположительное инвариантное подпространство. Если, к тому же, A не имеет нетривиальных конечномерных представлений и обладает ограниченной аппроксимативной единицей, то любое ее Πk-представление подобно *-представлению. В частности, почти эрмитовы алгебры не имеют неприводимых Πk -представлений. Для эрмитовых алгебр это следствие можно существенно усилить: они не имеют операторно неприводимых Πk -представлений (Э. В. Киссин и В. С. Шульман [67]). Класс эрмитовых *-алгебр включает дифференциальные алгебры Блакадара-Кунца [48] (см. также близкую конструкцию в работе Э. В. Киссина и В. С. Шульмана [66]); J -симметричные представления специального класса дифференциальных алгебр - областей определения замкнутых дифференцирований - рассматривались в работах Киссина [59-64] и Наказато [73] в связи с задачами расширения симметрических операторов, имплементирующих замкнутые *-дифференцирования С*-алгебр (т. е. в связи с некоммутативной динамикой). Дадим необходимые определения. Пусть A - банахова *-алгебра, π - ее *-представление в гильбертовом пространстве H. Линейное отображение δ плотной подалгебры D(δ) в пространство B(H) называется дифференцированием, согласованным с π, если δ(a∗) = δ(a)∗ и δ(ab) = π(a)δ(b)+ δ(a)π(b) для всех a, b ∈ D(δ). Вводя на D(δ) норму lalδ = lal+ lδ(a)l, мы превратим D(δ) в нормированную алгебру (банахову, если дифференцирование замкнуто). Симметрический оператор T в H с областью определения D(T ) имплементирует δ, если D(T ) инвариантно относительно π(A) и δ(a)x = i(Tπ(a)x - π(a)Tx) для всех a ∈ D(δ), x ∈ D(T ). Задача расширения симметрического оператора, имплементирующего δ, до максимального диссипативного оператора, также имплементирующего δ, естественно возникает в теории неограниченных дифференцирований С*-алгебр и обобщает задачу расширения оператора, коммутирующего с данной *-алгеброй операторов (случай δ = 0). С другой стороны, уже Филлипс [37, 38] показал, что эту задачу можно трактовать как задачу расширения A-инвариантного нейтрального подпространства в пространстве Крейна H = H ⊕ H с формой [x, y] = (x1, y2)+ (x2, y1) до Aинвариантного максимального неположительного подпространства. Рассматривая в том же ключе общий случай, определим, следуя Оте [76], представление πδ *-алгебры D(δ) в H, полагая πδ (a)(x ⊕ y)= (π(a)x + δ(a)y) ⊕ π(a)y. Легко проверить, что такое представление J -симметрично и его инвариантные нейтральные подпространства соответствуют графикам имплементирующих операторов. На этом пути Киссину [59] удалось усилить некоторые важные результаты Браттели и Робинсона [49, 50] о расширении имплементирующих операторов и упроститьих доказательства. Подробнее об этих и близких результатах см. главу 27 книги [67]. Задача расширения имплементирующего оператора допускает и другой вариант использования индефинитной метрики. Именно, если симметрический оператор S имплементирует δ, а S∗ - оператор, сопряженный к S, то на пространстве D(S∗) можно определить скалярное произведение (x, y)0 = (x, y)+ (S∗x, S∗y) и полуторалинейную форму {x, y} = Im((S∗x, y)+ (x, S∗y)), которая тривиальна на D(S) и потому определяет индефинитное скалярное произведение [x, y] на дефектном пространстве N (S), которое можно отождествить с ортогональным дополнением к D(S) в D(S∗). Как известно, N (S)= N+(S)+ N-(S), причем S∗ действует на N+(S) умножением на i, а 302 Э. В. КИССИН, В. С. ШУЛЬМАН на N-(S) умножением на -i, поэтому N (S) - пространство Крейна и N (S) = N+(S)+ N-(S) - стандартное разложение на положительную и отрицательную части. Пространства D(S∗) и D(S) инвариантны относительно исходного представления π алгебры D(δ), а потому в N (S) естественно индуцируется представление этой алгебры, которое мы обозначим πδ. В отличие от πδ, представление πδ во многих важных случаях (когда хотя бы один из индексов дефекта оператора конечен) действует в пространстве Понтрягина, что, разумеется, значительно облегчает его использование. В частности, Киссин, Логинов и Шульман [65] доказали, что в этом случае исходная С*-алгебра имеет конечномерные представления и имплементирующий оператор S продолжается до максимального диссипативного оператора, также имплементирущего δ; ранее Киссин [60] получил эти результаты в случае конечности обоих индексов. В коммутативном случае продолжимость до максимального диссипативного была установлена Филлипсом [38]. Возможность получения результата Филлипса с помощью представлений в дефектных подпространствах впервые была замечена в работе Мули и Йоргенсена [58] о коммутационных соотношениях Вейля. Дополнительные результаты и примеры можно найти в главах 28-29 книги [67]. Вернемся к общей ситуации. Поскольку вопрос о неприводимых Πk -представлениях допускает достаточно полный анализ для широкого класса алгебр, на первый план выходит задача о разложении произвольного представления на более простые части. Тут возможны различные постановки. Разумеется, идеальный вариант - разложение представления в прямую сумму, или интеграл неприводимых представлений, но его редко удается получить. Рассмотрим другие, более реалистичные подходы. Представление π называется Π-неразложимым, если его нельзя представить в виде прямой суммы двух Πk -представлений (с k /= 0). Ясно, что каждое Πk -представление раскладывается в конечную прямую сумму Π-неразложимых; основной интерес здесь представляют критерии Πнеразложимости. Далее, нейтральное подпространство L, инвариантное относительно представления π алгебры A, называется расщепляющим, если существует кососвязное с L подпространство M такое, что L + M инвариантно. Πk-представление называется расщепимым, если оно имеет расщепляющее подпространство L размерности k. Эквивалентное условие: L является инвариантно дополняемым в L⊥. Представление называется аппроксимативно расщепимым, если оно имеет максимальное неположительное инвариантное подпространство L такое, что L = ∩n(Hn ∩ L⊥), где Hn - убывающая последовательность невырожденных инвариантных подпространств. Наконец, важную роль играют разложения в полупрямые суммы, введенные в рассмотрение, по существу, уже в первых работах Наймарка; их определение удобно формулировать в терминах так называемых двойных расширений. Заметим, что если L - максимальное нейтральное подпространство, инвариантное для представления π в H, то L⊥ = L + H, где H - гильбертово пространство. Естественным образом, π индуцирует в L представление λ, ав H - *-представление τ, поэтому сужение π|L⊥ представления π на L⊥ является расширением λ с помощью τ. Точно так же π - это расширение представления π|L⊥ с помощью представления λ� алгебры A представления в M, которое можно считать сопряженным к λ, отождествляя M с L∗ с помощью формы [·, ·]: λ�(a)= λ�(a∗)∗. В матричной записи, соответствующей разложению H = L + H + M, это выглядит аналогично (2.2): ⎛λ(a) p(a) γ(a)⎞ p(a) . π(a)= ⎝ 0 τ (a) � ⎠ 0 0 λ�(a) p Здесь p : A → B(H, L) - 1-коцикл, определяющий первое расширение, � : A → B(M, H) - отобp( ражение, поточечно сопряженное к p (т. е. � a) = p(a∗)∗), γ : A → B(M, L) - отображение, p дополняющее � до 1-коцикла со значениями в B(M, L⊥) = B(M, H + L), который определяет второе расширение. Следующее обозначение подчеркивает природу π π = ee(λ, τ, p, γ). как двойного расширения: Термин «1-коцикл» связан с тем, что для любой пары представлений π1, π2 алгебры A в пространствах X1, X2 пространство B(X2, X1) получает естественную структуру A-бимодуля: aTb = π1(a)Tπ2(b). Теперь, как обычно, коцепи - это полилинейные отображения из An в О ПРЕДСТАВЛЕНИЯХ ГРУПП И АЛГЕБР В ПРОСТРАНСТВАХ С ИНДЕФИНИТНОЙ МЕТРИКОЙ 303 B(X2, X1), операторы кограницы dk задаются стандартной формулой, пространства k-коциклов Zk - это ядра операторов dk, а пространства кограниц Bk - образы dk-1. Наконец, когомологии - это фактор-пространства Hk = Zk/Bk. В частности, тот факт, что p - это 1-коцикл (точнее, (λ, τ ))-1-коцикл), означает просто равенство p(ab) = λ(a)p(b)+ aτ (b). Если p является кограниp( цей, то первое расширение тривиально (изоморфно прямой сумме представлений), и вообще, два расширения эквивалентны, если соответствующие коциклы когомологичны (т. е. их разность- кограница). Вопрос о том, продолжается ли первое расширение до двойного, был поставлен и решен, вместе с рядом других задач, Р. С. Исмагиловым [14] (в контексте представлений групп); для этого необходимо и достаточно, чтобы 2-коцепь (a, b) → p(a)� b) была кограницей относительно пары представлений нейтральными. λ, λ�. Коциклы, удовлетворяющие этому условию, мы будем называть Единственность продолжения равносильна тривиальности группы первых (λ, λ�)-когомологий. Следующий результат, опубликованный впервые в [67, лемма 19.30], основан на идеях работы Р. С. Исмагилова о представлениях группы Лоренца [13]: если алгебра редуктивна и ее первая группа когомологий H1(α, ρ) равна нулю для всех неприводимых конечномерных представлений α и неприводимых *-представлений ρ, то любое ее представление в пространстве Понтрягина является прямой суммой базового представления и конечного числа неприводимых представлений. Ответ на вопрос об аппроксимативной расщепляемости базового представления π может быть дан в терминах 1-коцикла p: для этого в коммутанте образа представления τ должна существовать возрастающая к единице последовательность проекторов Qn такая, что все коциклы a ×→ p(a)Qn являются кограницами. В [67, теоремы 20.26 и 20.27] показано, что при некоторых естественных ограничениях на A аппроксимативная расщепляемость эквивалентна замыкаемости коцикла p. Для двойных расширений разложимостьв полупрямую сумму влечет аппроксимативную разложимость; обратное верно, если A = A2 (см. [67, предложение 21.18 и его обсуждение]). В работе В. С. Шульмана [46] была предложена когомологически оснащенная версия теоремы Стайнспринга и основанная на ней ГНС-конструкции для представлений *-алгебр в пространствах с индефинитной метрикой. Чтобы сформулировать эти результаты, введем необходимые определения. Пусть λ - представление алгебры A в гильбертовом пространстве L. Линейное отображение γ : A → B(L) (т. е. 1-коцепь в (λ, λ�)-когомологии) называется λ-диссипацией, если его кограница dγ - вполне положительное отображение (напомним, что билинейное отображение Φ : A × A → i B(L) называется вполне положительным, если ),(Φ(a∗, aj )ξi, ξj ) ;; 0 для любых ai ∈ A, ξi ∈ L). i,j Теорема (о факторизации). Пусть Φ : A × A → L - вполне положительный 2-коцикл, тогда существуют и единственны гильбертово пространство HΦ, *-представление πΦ алгебры A в HΦ и 1-коцикл pΦ : A → B(L, HΦ) такие, что pΦ(A)L = HΦ и Φ(a, b) = pΦ(a∗)∗pΦ(b) для любых a, b ∈ A. Напомним, что классическая ГНС-конструкция состоит в построении *-представления алгебры по положительному функционалу; легко видеть, что положительные функционалы - это в точности λ-диссипации при λ =0 и одномерном K. В следующей теореме J -симметричное представление строится по произвольной λ-диссипации. Теорема. Пусть γ : A → B(L) - некоторая λ-диссипация, Φ = dγ, и пусть пространство H = HΦ, *-представление π = πΦ алгебры A в HΦ и 1-коцикл p = pΦ : A → B(L, HΦ) построены по Φ в соответствии с теоремой о факторизации. Тогда пространство H = L + H + L с индефинитным скалярным произведением [ξ1 +z1 +η1, ξ2 +z2 +η2]= (ξ1, η2)H +(z1, z2)H +(ξ2, η1)H является пространством Крейна (пространством Πk, если dim L = k < ∞) и представление nλ,γ алгебры A в H, заданное формулой nλ,γ (a)(ξ + z + η) = (λ�(a)ξ + p(a)z + γ(a)η)+ (π(a)z + p(a)η)+ λ(a)η, J-симметрично. Обратно, всякое базовое представление банаховой *-алгебры в Πk является J -унитарно эквивалентным прямой сумме некоторого «ГНС-представления» nλ,γ и *-представления. Многие следствия этой теоремы, а также другие результаты гомологического характера о представлениях в Πk можно найти в главах 19 и 21 книги Э. В. Киссина и В. С. Шульмана [67]. 304 Э. В. КИССИН, В. С. ШУЛЬМАН В частности, там доказано, что при некоторых дополнительных условиях неразложимые в полупрямую сумму ГНС-представления соответствуют крайним лучам в конусе λ-диссипаций. 4. J -УНИТАРНЫЕ ПРЕДСТАВЛЕНИЯ ГРУПП Из теоремы М. А. Наймарка [29] следует, что любое J -унитарное представление коммутативной группы в Πk имеет k-мерное инвариантное неположительное подпространство. В [31] М. А. Наймарк перенес этот результат на все связные разрешимые группы. В работе К. Сакаи [78] было доказано, что утверждение переносится на все связные аменабельные группы. Так как группа движений Mn пространства Rn аменабельна, то, разумеется, утверждение верно и для нее; К. Сакаи [81] показал, что если сужение J -унитарного представления π группы Mn в Π1 на подгруппу вращений SO(n) содержит каждое свое неприводимое подпредставление с конечной кратностью, то π разлагается в прямую сумму π1[+]π2, первое из которых действует в (n + 2)-мерном подпространстве типа Π1, а второе унитарно. При n = 2 аналогичный результат получен в той же работе для представлений в Πk. Аналогичные задачи для представлений коммутативных групп рассматривались в работе [79] того же автора. В этих работах существенно использовалась теория когомологий и, в частности, результаты А. Гишарде [55]. Важную роль в теории J -унитарных представлений сыграли работы Р. С. Исмагилова [11, 13] о представлениях группы Лоренца. C одной стороны, теория представлений группы Лоренца тесно связана с задачами релятивистской физики и изучение ее представлений в Πk вполне согласуется с общим интересом физиков-теоретиков к индефинитным моделям фазовых пространств физических систем. С другой стороны, полупростые группы Ли образуют класс, до некоторой степени противоположный классу аменабельных групп, что в индефинитном случае сказывается уже в том, что они имеют неприводимые представления в Πk. В [13] полностью описаны неприводимые J -унитарные представления группы Лоренца в пространствах Крейна; доказательства основывались на классических результатах И. М. Гельфанда и М. А. Наймарка [8], а также Д. П. Желобенко [9]. В частности, было установлено, что все они действуют в пространствах Понтрягина. Показано также, что любое J -унитарное представление в Πk раскладывается в прямую сумму базового представления и конечного числа неприводимых. Результаты работы [13] подробно изложены в главе 25 книги [67], где также получена некоторая дополнительная информация об аппроксимативном разложении базовых представлений. Именно с этих работ Р. С. Исмагилова в теории J -унитарных представлений начал применяться когомологический подход. Здесь, также как и в более поздних работах Сакаи, использовались классические определения когомологических понятий, когомологии представлений. В работах В. С. Киссина и В. С. Шульмана [68, 69] использовались когомологии пар представлений - аналогичные тем, что вводились выше для алгебр ((λ, ρ)-когомологии, (λ, λ�)-когомологии и т. д.). Эта модификация не принципиальна, но технически иногда удобна; кроме того, терминология не требует переделки при переходе от представлений групп к представлениям групповых алгебр. В [68, 69] изучались J -унитарные представления связных нильпотентных групп. Как следует из сказанного ранее, здесьможно ограничиться рассмотрением двойных расширений ee(λ, U, p, γ), где λ - представление в L, U - унитарное представление в гильбертовом пространстве H, p - нейтральный (λ, U )-коцикл, а γ - согласованная с p λ-диссипация. Важную роль в их исследовании играет следующий результат более общего характера, полученный в [68]. Теорема. Пусть λ и U - представления связной нильпотентной группы G. Если Sp(λ(h)) ∩ Sp(U (h)) = ∅ (4.1) для некоторого h ∈ G, то H1(λ, U )= 0. Пусть χ - характер связной нильпотентной (в дальнейшем эти условия подразумеваются) группы G, т. е. мультипликативный функционал на G. Будем говорить, что χ присоединен к представлению λ, если λ(g)x = χ(g)x для некоторого вектора x /= 0 и всех g ∈ G. Множество всех характеров, присоединенных к λ, обозначим sign(λ). Будем называть представление λ монотетическим, если sign(λ) одноточечное. ν Обозначим через Z1(λ, U ) множество всех нейтральных (λ, U )-коциклов. В [68] показано, что если λ ν монотетично и соответствующий характер слабо содержится в представлении U, то Z1(λ, U ) О ПРЕДСТАВЛЕНИЯХ ГРУПП И АЛГЕБР В ПРОСТРАНСТВАХ С ИНДЕФИНИТНОЙ МЕТРИКОЙ 305 плотно в пространстве Z1(λ, U ) всех (λ, U )-коциклов относительно топологии равномерной сходимости на компактах. ν (λ, U ) λ = ι, Нетрудно показать, что коцикл, когомологичный нейтральному, нейтрален, поэтому естественно определяется множество H1 (λ, U ) нейтральных 1-когомологий. Оно не всегда является подгруппой в H1 и может быть весьма сложно устроено даже в случае, когда тривиальное представление, а U = ιm, представление единичными операторами в Cm. В [69] дано полное описание нейтральных (ι, ιm)-коциклов произвольной связной нильпотентной группы. Для важного случая группы Гейзенберга Tn, т. е. группы верхнетреугольных n × n-матриц с единицами на диагонали, это описание выглядит следующим образом. Пусть A - такая m × (n - 1) матрица, что для матрицы B = A∗A = (bij ) выполнены условия: T Im bij = 0 при |i - j| > 1, тогда ξ(g) = A(g12,... , gn-1,n) нейтральные коциклы имеют такой вид. - нейтральный (ι, ιm)-коцикл, и все В [69] неразложимые Πk -представления связных нильпотентных групп разбиты на 4 класса, три из которых содержат только конечномерные представления (их исследование значительно облегчает упомянутая выше классификация нейтральных (ι, ιm)-коциклов), а четвертый состоит из двойных расширений ee(λ, U, ξ, γ) таких, что все характеры из sign(λ) унитарны и H = HΩ⊕H0, где: G а) HΩ, H0 - U -инвариантные подпространства, dim HΩ � n б) sign(U |HΩ ) ⊆ sign(λ); dim L и dim H0 = ∞; в) U |H0 не является спектрально дизъюнктным (в смысле (4.1)) с каждым характером χ из sign(λ). В заключение заметим, что пример, построенный в [69], обнаружил неожиданный эффект: неразложимое Πk -представление связной нильпотентной группы может не быть монотетичным (для коммутативных групп это не так). Перейдем теперь к изучению ограниченных Πk -представлений произвольных групп. Как уже говорилось, в работе М. Г. Крейна [16] существование максимального неположительного подпространства (сокращенно MNPS), инвариантного для J -унитарного оператора, было доказано с помощью применения теоремы Шаудера-Тихонова о неподвижной точке. Нас будет интересовать обобщение этого подхода на группы операторов, поэтому опишем конструкцию более подробно. Каждый J -унитарный оператор U естественно определяет (биективное) преобразование множества всех MNPS. С другой стороны, каждому MNPS L соответствует сжимающий оператор - 2 + U 21 22 11 12 W = WL : H- → H+ такой, что L является его графиком. Таким образом, U определяет отображение φU замкнутого единичного шара B1(H-, H+) в пространстве B(H-, H+) в себя. Это отображение непосредственно выписывается через элементы блок-матрицы оператора U, соответствующие разложению H = H1 ⊕ H2, где H1 = H , H = H : φ (W )= (U + U W )(U + U W )-1. В [16] было показано, что если «уголок» U12 оператора U компактен, то «дробно-линейное» отображение φU WOT-непрерывно; так как шар B1(H-, H+) WOT-компактен, то теорема о неподвижной точке обеспечивает существование оператора W такого, что φU (W ) = W. Это означает, что график этого оператора - MNPS, инвариантное для U. Заметим, что для операторов в Πk условие компактности уголка выполняется автоматически, так что теорема Крейна влечет существование инвариантного MNPS для любого J -унитарного оператора в Πk. Поскольку нас интересует наличие MNPS, инвариантного для всех элементов некоторой группы J -унитарных операторов, развитие этого подхода требует получения удобных результатов об общих неподвижных точках семейств отображений. Результаты такого рода хорошо известны для групп аффинных преобразований (теоремы Маркова, Какутани, Рыль-Нарджевского), однако дробно-линейные преобразования φU аффинными не являются. Вопрос о существовании общей неподвижной точки для коммутативной группы дробно-линейных преобразований был впервые поставлен и решен Дж. Хельтоном [57]: Теорема. Пусть H1 и H2 - гильбертовы пространства, причем dim H1 < ∞. Тогда любое коммутативное семейство дробно-линейных преобразований замкнутого единичного шара пространства B(H1, H2) имеет общую неподвижную точку. 306 Э. В. КИССИН, В. С. ШУЛЬМАН Доказательство в [57] использовало теорему М. А. Наймарка. В работе [56] Хельтон доказал (основываясь на рассмотрении дробно-линейных преобразований), что коммутативная группа J унитарных операторов на пространстве Крейна H1 ⊕ H2 имеет инвариантное MNPS, если она содержит компактное возмущение оператора вида A ⊕ B, где спектры слагаемых не пересекаются. Это существенно обобщает теорему Наймарка, поскольку в пространстве Πk единичный оператор является компактным возмущением оператора J = (-1) ⊕ 1. В работе В. С. Шульмана [43] было замечено, что для вещественных пространств Π1 все дробнолинейные отображения обладают свойством «квазиаффинности»: они переводят любой отрезок в отрезок. Там же было получено обобщение на квазиаффинные отображения теоремы Какутани о существовании неподвижной точки у любой равностепенно непрерывной группы аффинных отображений, и как следствие - доказательство существования инвариантного MNPS у ограниченной группы J -унитарных операторов в вещественном пространстве Π1. Далее, А. И. Логинов [23] получил важное обобщение теоремы Маркова: любое коммутативное семейство квазиаффинных отображений компактного выпуклого подмножества локально выпуклого пространства имеет неподвижную точку. Перенос основного результата работы [43] на комплексные Π1-пространства был осуществлен в работе В. С. Шульмана [44], где использовалось модифицированное понятие выпуклости для подмножеств единичного шара гильбертова пространства. Соответственно, было установлено, что ограниченная группа J -унитарных операторов в комплексном пространстве Π1 имеет инвариантное отрицательное подпространство. Общая (т. е. относящаяся к пространствам Понтрягина произвольного индекса индефинитности) теорема о неподвижных точках групп дробно-линейных отображений была получена в работах М. И. Островского, Л. Туровской и В. С. Шульмана [74, 75]. Теорема. Пусть dim H2 = k < ∞, и пусть группа G дробно-линейных преобразований открытого единичного шара B пространства B(H2, H1) имеет хотя бы одну орбиту, отделенную от границы шара (т. е. supφ∈G lφ(K)l < 1 для некоторого K ∈ B). Тогда найдется точка K0 ∈ B такая, что φ(K0)= K0 для всех φ ∈ G. Отсюда можно сделать вывод, что всякое ограниченное J -унитарное представление группы в Πk имеет k-мерное инвариантное отрицательное подпространство. Как следует из сказанного ранее, приведенный результат влечет подобие любого ограниченного J -унитарного Πk -представления π любой группы G унитарному представлению. В работе Э. Киссина, Ю. В. Туровского и В. С. Шульмана [70] замечено, что константа подобия (т. е. точная нижняя грань чисел lV llV -1l по всем операторам V, реализующим подобие) не превосходит 2C2 + 1, где C = supg∈G lπ(g)l. Тот факт, что полученная оценка не зависит от числа отрицательных квадратов, делает естественным предположение, что результат справедлив и для случая k = ∞ (т. е. для представлений в пространствах Крейна). Однако в [70] показано, что это неверно. Доказательство теоремы о неподвижных точках в [74] существенно использовало глубокий результат Шафрира [86] о гиперболичности метрики Каратеодори в B (эта работа переведена с иврита на английский и помещена в [74] как приложение). Напротив, подход в [75] основан на весьма общих фактах о неподвижных точках групп изометрий в метрических пространствах. Чтобы их сформулировать, напомним, что метрическое пространство (X , d) называется b-компактным (см. [90]), если любое центрированное семейство шаров Ea,r = {x ∈ X : d(a, x) � r} имеет непустое пересечение. Подмножество M ⊂ X называется b-выпуклым, если оно является пересечением некоторого семейства шаров. Точка a ∈ M называется диаметральной, если sup{d(a, x): x ∈ M } = diam(M ). Если любое неодноточечное b-выпуклое подмножество пространства X имеет недиаметральную точку, то говорят, что X имеет нормальную структуру. Теорема (см. [75]). Пусть метрическое пространство (X , d) b-выпукло и имеет нормальную структуру. Если некоторая группа изометрий пространства (X , d) имеет ограниченную орбиту, то она имеет и неподвижную точку x0, которая принадлежит пересечению всех b-выпуклых множеств, содержащих O. В нашем случае эта теорема применяется к пространству (B, ρ), где ρ - метрика Каратеодори в B; так как дробно-линейные преобразования биголоморфны, то они сохраняют ρ. Разумеется, для О ПРЕДСТАВЛЕНИЯХ ГРУПП И АЛГЕБР В ПРОСТРАНСТВАХ С ИНДЕФИНИТНОЙ МЕТРИКОЙ 307 такого применения потребовалось сначала доказать, что пространство (B, ρ) b-выпукло и имеет нормальную структуру, однако это существенно проще гиперболичности. Одно из приложений этого результата относится к теории квази-положительно определенных функций на группе. Следуя М. Г. Крейну [17], скажем, что функция φ на группе G является квази-положительно определенной индекса k, если φ(g-1)= φ(g) при g ∈ G, и для любого набора n элементов g1,... , gn ∈ G квадратичная форма квадратов. ), i,j=1 i φ(g-1gj )zizj имеет не более k отрицательных Теорема (Е. В. Киссин, Ю. В. Туровский, В. С. Шульман, см. [70]). Любая ограниченная квази-положительно определенная функция индекса k на группе представима в виде разности φ1 - φ2, где функции φi положительно определенные, причем ϕ2 имеет ранг k (т. е. ранги всех матриц (φ2(g-1gj ))n ) не превосходят k). i i,j=1 Ранее Сакаи [80], доказал этот результат для аменабельных групп. Ограниченные квазиположительно определенные функции на коммутативных группах подробно изучались в связи с задачами теории вероятностей (см. статью Сасвари [84] и цитируемые там источники). Авторы выражают искреннюю благодарность В. И. Чилину за внимательное чтение рукописи и полезные замечания.