- Регистрация
- 23 Август 2023
- Сообщения
- 3 600
- Лучшие ответы
- 0
- Реакции
- 0
- Баллы
- 243
Offline
Работая в Bell Labs, Джеймс Д. Джонстон 26 лет посвятил созданию технологии, которую мы сегодня знаем как MP3. Затем его имя растворилось в истории...
Вступление от «Rogues’ Gallery»
Всякий раз, когда вы прослушиваете чей-нибудь альбом, подкаст или скачиваете трек, то используете технологию, которой не существовало бы без метода перцептуального кодирования аудиосигнала. В основе этого метода лежит научное понимание диапазона воспринимаемы�� человеческим ухом частот и на основе этого сжатие аудио таким образом, чтобы оставить в нём только самое важное.
И наше шоу (имеется в виду подкаст «The Rogues’ Gallery», — прим. пер.), как и многие другие, существует, благодаря той самой технологии. Ничто из этого не оказалось бы возможным, если бы не инженеры, которые научились втискивать час музыки в файл, достаточно небольшой для скачивания через коммутируемое соединение.
В прогрессив-роке мы чествуем виртуозов, музыкантов, которые раздвигают известные границы и создают что-то новое. Но в сфере технологий тоже есть виртуозы. Люди, которые десятилетиями оттачивают своё мастерство, чья работа изменила мир, и кто так и не получил заслуженного признания.
Одним из таких людей является Джеймс Д. Джонстон. В IEEE его зовут «отцом перцептуального аудиокодирования». Этот человек зарегистрировал более, чем 100 патентов. Кен Томпсон, который разработал Unix, лично переписывал код для созданного им кодека, сказав, что тот значительно превосходит MP3. Федеральный апелляционный суд США подтвердил, что он изобрёл формат MP3 параллельно с Карлхайнцем Бранденбургом. Но всё же в рассказах об истории развития цифрового аудио его имя всплывает крайне редко.
Джеймс является такой же рок-звездой, каких мы приглашаем на наше шоу. Просто он играет на другом инструменте.
И эта история о нём.
В 1988 году на проходившей в Нью-Йорке конференции IEEE два исследователя поняли, что изобрели одну и ту же технологию.
Джеймс Д. Джонстон, инженер из Bell Labs, среди коллег известный как «JJ», стоял возле своего стенда и объяснял, как можно математически смоделировать особенности человеческого слуха для эффективного сжатия аудио. Рядом с ним, у аналогичного стенда, Хайнц Герхаузер презентовал аналогичное исследование, проведённое немецким докторантом Карлхайнцем Бранденбургом.
«Мы согласились, что даже можем поменяться стендами, и никто не заметит. Так я познакомился с Карлхайнцем». — вспоминает Джонстон.
Так что истинным зерном зарождения MP3 стал момент, когда два ума пришли к одному открытию, находясь на противоположных сторонах Атлантического океана. Но в течение трёх последующих десятилетий известность обрёл только один из этих людей. Изобретателем MP3 и лицом цифровой аудиореволюции считается Бранденбург, которого внесли в Зал славы Интернета. Джонстон же, которому сейчас 72 года, и который давно отошёл от дел, всё это время со стороны наблюдал, как его коллеги по исследованию стираются из истории.
«Злит ли меня эта утрата признания? Да. Имеет ли это значение? Нет. Я уже на пенсии, и мне плевать». — говорит он.
Но очевидные свидетельства говорят о том, что у него есть веские причины для более негативного настроя.
Кодек, который не спешили публиковать
Джонстон начал работать над сжатием аудио в 1984 году, за годы до того, как Бранденбург приступил к своим научным исследованиям. Работая в Bell Labs над новыми компьютерами Alliant, он написал тестовую программу для ответа на обманчиво простой вопрос: сколько битов реально нужно для передачи музыки?
«Целью было выяснить, сколько битов фактически необходимо для отправки музыки по каналу 20 кГц». — Объясняет он. — «И я получил интересные результаты. В итоге я закодировал материал с помощью крайне примитивного кодека PXFM, который прекрасно работал при скорости 4 бита на сэмпл».
Его открытием стало перцептуальное кодирование. То есть он смог на основе особенностей человеческого слуха отбросить из аудиопотока данные, которые ухо всё равно не воспринимает. Джонстон решил фундаментальную проблему, открыв возможности для развития цифровой музыки.
Но в AT&T затянули резину.
«AT&T отказывалась патентовать или выпускать эту технологию. Всё их внутренние бизнес-игры. Работа была написана, и я был готов опубликовать её в 1986 году, чёрт побери».
И задержка стала критической. К 1988 году, когда в AT&T, наконец, одобрили публикацию, Бранденбург уже заканчивал свою диссертацию по той же теме в Университете Эрлангена-Нюремберга. Действуй руководство Bell Labs решительней, Джонстон бы определённо оказался впереди.
В конечном итоге два исследователя на одной и той же конференции представили практически идентичные работы, но признание получил лишь один.
Коллаборация, которую все забыли
Дальнейшее развитие событий редко где-либо освещается. После того судьбоносного эпизода с конференцией Бранденбург пришёл в Bell Labs.
«Вскоре после этого Карлхайнц пришёл в Bell Labs для прохождения пред-докторской стажировки, и мы с ним работали над так называемым "гибридным кодеком"». — говорит Джеймс.
С апреля 1989 по 1990 год Бранденбург работал непосредственно с Джонстоном в Нью-Джерси, где они разрабатывали то, что впоследствии стало MP3. И это не какие-то домыслы. Всё это зафиксировано в патентах, протоколах суда и собственных публичных заявлениях Бранденбурга. В деле Multimedia Patent Trust против Microsoft прямым текстом сказано: «учёный из института Фраунгофера, Карлхайнц Бранденбург, в апреле 1989 года приступил к работе с Джонстоном в AT&T».
И Бранденбург сам лично признавал это сотрудничество. В своём интервью LiveVideoStack он говорил так: «На той встрече в Ганновере я впервые установил связь с AT&T Bell Laboratories, где Джеймс Д. Джонстон проделал практически ту же работу, что и я. Позднее мы объединили свои усилия и работали вместе…мы, вместе с AT&T и другими, подписали предложение по внедрению ASPEC. Позднее этот алгоритм лёг в основу так называемого MPEG Audio Layer III».
Layer III. Это и есть MP3.
В документе из Библиотеки Конгресса США, написанном на основе информации, предоставленной самим Бранденбургом, это выражено ещё более явно: «Работа Джонстона оправдалась. Он в сотрудничестве с Бранденбургом разработал алгоритм ASPEC, ставший предшественником MP3. Тогда Бранденбург, как позднее и Херре, прилетел в США, где работал вместе с Джонстоном в лаборатории Bell Labs».
Но их коллаборация на этом не закончилась. В 1995 году Юрген Херре, сегодня один из самых уважаемых людей в сфере аудиокодирования, пришёл в Bell Labs, чтобы работать с Джонстоном над AAC, форматом, который в конечном итоге лёг в основу iTunes и стал ведущим аудиокодеком.
«В тот период Юрген работал со мной в Bell Labs». — подчёркивает Джонстон. — «Не в институте Фраунгофера. Нет. Точно так же, как со мной работал Карлхайнц, когда мы стандартизировали MP3. Да, об этом никогда ни черта не упоминают».
Один из самых странных следов в истории кодирования аудио был связан с Кеном Томпсоном. Да, тем самым Кеном Томпсоном, который являлся соавтором Unix и языка C.
Джонстон разработал кодек PAC (Perceptual Audio Coder), отличный от MP3 формат, который обходил все остальные в слепых тестах. PAC так и не стал стандартом, но этот кодек компания AT&T использовала внутренне, и команда Джонстона никак не могла реализовать его эффективно.
«Наши ребята пытались разбить PAC на секции в DSP, что оказалось ужасной идеей. Они преобразовали векторный Fortran в стандартный, а затем через F2C перевели его в C. Четыре тысячи строк превратились в 25 000 нечитаемых строк сгенерированного кода, которые даже не компилировались». — вспоминает Джонстон.
Сэнди Фразер, легендарный менеджер Bell Labs, который курировал группу Unix, сообщил об этой проблеме Томпсону, и тот позднее позвонил Джонстону.
«Кен позвонил мне где-то в полдень и сказал: "пришли мне этот чёртов код Fortran". Так я и сделал. Через двадцать минут он зашёл ко мне в офис, который был в другом конце того же коридора, и сказал: "Я не могу прочесть этот трэш. Спустись в отдел Unix и поясни мне, что он делает"».
За этим последовал эпичный сеанс лайв-кодинга.
«Он переписывал всё на ходу, пока я объяснял различные функции. Через неделю код заработал на C и был бит-в-бит идентичен оригиналу. Затем мы исправили ещё несколько обнаруженных походу дела багов — и вуаля! Энкодер реального времени PAC готов».
При��ём Томпсон не просто помогал как коллега. Он стал евангелистом PAC. В 1999 году он в своём интервью журналу Computer заявил, что PAC «намного превосходит MP3» и признался, что использовал этот кодек для сжатия собственной коллекции музыки. Уточнив, что этот проект он начал «задолго до того, как интернет услышал об MP3».
И след в истории оставило не участие Томпсона, а то, что легендарный сотрудник Bell Labs признал разработанный Джонстоном кодек PAC (альтернативный формат, так и не получивший коммерческого успеха) как превосходящий MP3 и способный завоевать мировой рынок. История Томпсона была не об изобретении MP3, а о том, чего в Bell Labs так и не добились.
«iPod», который не состоялся
В 1998 году, за три года до того, как Стив Джобс объявил о выпуске iPod, у AT&T уже было всё, что позднее разработали в Apple — портативный музыкальный плеер, сервис для скачивания музыки и соответствующий кодек.
Их плеер назывался FlashPAC. Это было устройство размером с карточную колоду, где сжатое аудио хранилось во флэш-памяти. «Оно существовало. Я держал его в руках — в 1998». — говорит Джонстон. — «И работало оно прекрасно».
FlashPac Player
Сервис для загрузки музыки был запущен в сотрудничестве с BMG и назывался a2b. Он позволял пользователям скачивать треки из интернета и воспроизводить их на своих компьютерах или заливать на FlashPAC. В своём отчёте AT&T по итогам 1997 года компания гордо назвала Джонстона и его коллегу Джэка Лэйси создателями этой технологии.
Фрагмент отчёта AT&T за 1997 год
Сегодня же прототип FlashPAC хранится в Музее компьютерной истории, которому его вручил Сэнди Фразер, менеджер Bell Labs, руководивший проектом. На странице Wikipedia, посвящённой портативным медиаплеерам, отмечается, что «AAC и прочие подобные сервисы для скачивания музыки позднее сформировали основу для появления Apple iPod и iTunes».
Руководство AT&T облажалось
«AT&T уничтожила этот проект, так как "никто никогда не будет продавать музыку через интернет. Он нужен только для кражи треков". — в словах Джонстона, даже спустя двадцать лет, всё ещё звучит досада. — «iPod. 1998 год. Продукт готов, серверы настроены — можно сказать, дело в шляпе. Но внутреннее маркетинговое давление в итоге всё угробило».
Роковой удар случился в мае 1999 года, когда Ларри Миллер, Хоуи Сингер и 12 других старших менеджеров и технологов — составлявшие больше половины команды a2b — ушли к конкуренту под названием Reciprocal. Этот яркий исход был освещён в The New York Times. Какое-то время сервис ещё волочил ноги, пока AT&T молча не закрыла его в 2002 году.
К тому времени Apple уже готовила миру технологический рывок на основе технологии, которую в Bell Labs создали и забросили.
Признание, которое так и не случилось
Список заслуг Джонстона поистине велик. Он является почётным сотрудником IEEE и Audio Engineering Society, получил звание «New Jersey Inventor of the Year», а также награды «AT&T Technical Medalist Award», «IEEE James L. Flanagan Signal Processing Award» и «IEEE Industrial Innovation Award». При всём при этом, он ещё и является обладателем более 100 патентов.
Фото с церемонии «AT&T Technical Medalist Award»
В IEEE его назвали «отцом перцептуального аудиокодирования», теоретического каркаса, лежащего в основе всех современных аудиокодеков.
В сфере кодирования аудио — в рабочих группах IEEE, на конференциях AES или встречах по стандартизации MPEG — Джонстона хорошо знают и уважают. Но в популярных источниках, освещающих историю изобретения MP3, упоминают его редко. Маркетинговая политика института Фраунгофера оказалась упорной и эффективной, развернув всё так, будто Бранденбург является единственным гением, стоящим за разработкой цифрового аудио. Когда история MP3 излагается на страницах Wikipedia, в технических статьях или популярных медиа, то это немецкая история, а не рассказ о трансатлантической коллаборации.
В 2002 году, когда AT&T распустила Shannon Labs, институт Фраунгофера предложил Джонстону пятилетний контракт. Он от него отказался. Предложение не включало медицинскую страховку, а поскольку в тот момент как раз уволили и его жену, этот вопрос стоял особенно остро.
«Бернхард Грилль побагровел». — вспоминает Джонстон. — «Прямо орал на меня в ярости, когда я отказался к ним присоединиться. И с тех пор это стало "расплатой"».
В конечном итоге вопрос, кто же реально изобрёл MP3, встал на юридическом уровне.
В 2003 году компания Lucent Technologies подала иск на производителей компьютеров Dell и Gateway касательно патентов на технологию MP3, разработанную в Bell Labs. Решив не оставаться в стороне, к процессу в добровольном порядке присоединилась и компания Microsoft. Всё это вылилось в одно из крупнейших судебных разбирательств вокруг патентов за всю историю мира технологий. И центром этих разборок стал Джонстон.
Претензии касались двух патентов Джонстона: U.S. Patent 5,341,457 («Perceptual Coding of Audio Signals», совместная разработка с Джозефом Холлом) и U.S. Patent RE39,080 («Rate loop processor for perceptual encoder/decoder»). Alcatel-Lucent заявляла, что программа Microsoft Windows Media Player нарушала патент, так как имела поддержку MP3.
Джонстона вызвали на дачу показаний в суде. Он под присягой заявил, что у него был рабочий код за несколько лет до начала сотрудничества с Бранденбургом.
В протоколе суда указано: «Джонстон заявил, что закончил разработку своего декодера перцептуального преобразования (PXFM) 2 апреля 1987 года». В другой подшивке документов говорится, что «Джонстон документально зафиксировал описание самого "Perceptual Transform Coder" и процесса его тестирования, которое он провёл 2 апреля 1987 года».
Показания, данные под судебной присягой, стали законным подтверждением того, что у Джонстона имелось рабочее ПО для кодирования аудио ещё за год до того, как Бранденбург закончил свою докторскую диссертацию.
Также под присягой Джонстон говорил о самом процессе сотрудничества:
«Я не знал об этом исследовании, пока не увидел работу Карлхайнца, после чего лишь немного ознакомился с ним перед тем, как к нам приехал сам Карлхайнц. По-настоящему же я в этой теме разобрался, только когда он пришёл, сел рядом и всё объяснил. Только тогда я впервые приложил к этому исследованию свои руки».
Разъяснения, данные под присягой, подтвердили всё то же, что оба этих человека говорили всегда: они дополнили знания друг друга. Бранденбург привнёс в технологию MDCT (modified discrete cosine transform), а Джонстон — перцептуальное моделирование. Ни у кого из них по отдельности не было полной картины.
В феврале 2007 года присяжные вынесли решение, обязав ответчика выплатить Alcatel-Lucent $1.52 миллиарда ущерба — по $769 миллионов за каждый из двух патентов Джонстона. Это стал один из самых «дорогих» вердиктов в истории разбирательств с патентами.
Защита Microsoft была показательной. Их заместитель генерального юридического советника утверждал: «Мы не считаем, что эти два патента как-то связаны с MP3. MP3 разработали сотрудники института Фраунгофера, а команда Lucent/Bell работала над чем-то другим».
Ровно такое же утверждение и стёрло имя Джонстона из общей истории — MP3 изобрели в институте Фраунгофера, а в Bell Labs разработали что-то другое. Но присяжные на это не купились.
Позднее вердикт был отменён судьёй Руди Брюстером, который решил, что для призвания Microsoft к ответственности недостаточно улик. Апелляционный суд по федеральному округу поддержал судью, решив, что институт Фраунгофера выступал «совместным разработчиком», а значит, имевшаяся у Microsoft лицензия от этого института также покрывала и патенты Bell Labs.
Но в длинной формулировке решения апелляционного суда присутствовало одно важное предложение: «Работая совместно в 1989 году, Джонстон и Бранденбург реализовали и помогли утвердить промышленный стандарт ISO 11172-3 Audio Layer 3».
Audio Layer 3. Это MP3. Федеральный апелляционный суд в официально опубликованном заявлении утвердил, что Джонстон и Бранденбург создали стандарт MP3 вместе.
Судебное разбирательство завершилось в ноябре 2008 года. Но протоколы суда сохранились — это тысячи страниц, описывающих роль Bell Labs в разработке MP3. Там же находится данное под присягой заявление Джонстона, что у него был рабочий код ещё в 1987 году.
«Я оказался втянут в эту историю, благодаря Lucent». — отзывается о деле сам Джонстон.
Здесь не обошлось без иронии, ведь компания, которая унаследовала его патенты, теперь использовала их для доказательства того, что он утверждал всё это время.
Что говорят сохранившиеся записи
Исторические записи вполне доступны для всех, кому не лень искать.
Оригинальная работа Джонстона по перцептуальному кодированию аудио была опубликована в 1988 году. В тот же год Бранденбург закончил свою диссертацию. Они пришли к одному решению независимо, и никто из них не может заявлять о том, что является единоличным изобретателем. Они оба опирались на более раннюю разработку, включая исследовательскую программу фонда Мусманна в институте Эрлангена-Нюремберга, где выпускники и исследователи занимались психоакустическим анализом ещё с начала 1980-х.
Бранденбург работал в Bell Labs с 1989 по 1990 год, сотрудничая с Джонстоном над созданием технологии, которая в итоге стала MP3. Всё это задокументировано в патентах, протоколах суда и собственных интервью Бранденбурга.
Херре работал в Bell Labs с 1995 по 1996 год, сотрудничая с Джонстном над созданием AAC. Это задокументировано в записях AES, его собственном резюме и патентах.
Аудиостандарт MPEG-1 содержит разработанную Джонстоном «Psychoacoustic Model 2», созданную конкретно для Layer III (MP3). AAC, если верить Wikipedia, «во многом похожа на алгоритм AT&T PAC, написанный Джонстоном».
Кен Томпсон, один из величайших людей в сфере вычислений, лично переписывал кодек Джонстона и публично признавал его превосходство над MP3.
У AT&T был рабочий портативный музыкальный плеер и сервис для скачивания музыки за три года до появления iPod.
Ничто из этого не является секретом. Все эти данные задокументированы в патентах, академических работах, протоколах суда и новостных публикациях соответствующих лет. Свидетельства десятилетиями скрывались у всех на виду.
История, достойная огласки
Сегодня Джонстону уже за 70. Он живёт на полуострове Олимпик в штате Вашингтон после недавнего переезда из своего старого дома, расположенного в 90 милях от текущего места. Он оставил индустрию, которая во многом развилась на основе его работы, и философски относится к тому, что так и не получил должного признания.
«Всё это находится в открытом доступе. Вы можете найти работы в IEEE и AES. Можете найти какие-то свидетельства работы над a2b. О том, где в процессе участвовали Бранденбург и Херре, сказано в публичных документах. Взгляните на адреса в заявках на патенты!» — говорит Джонстон.
Он прав. Все свидетельства доступны. Вопрос лишь в том, почему они не отражаются должным образом в публикациях.
Возможно, дело в том, что институт Фраунгофера оказался агрессивнее в маркетинге и PR. Возможно, американские корпорации не так озадачены выражением признания своим специалистам, как немецкие исследовательские институты. А может, история в духе «одинокий гений изобретает революционную технологию» звучит интереснее, чем «международная коллаборация, включающая несколько институтов и десяток лет работы». И реальная история включает имена не только Джонстона и Бранденбурга. В ней также фигурирует исследовательская программа Мусманна, несколько поколений выпускников института Эрлангена, рабочие группы MPEG и сотни инженеров, чьи имена никогда не всплывают в заголовках.
Но более эффектная история не всегда истинная. И порой истинная всё же лучше — два исследователя, разделённые Атлантикой, независимо решают одну и ту же проблему, после чего объединяют усилия для создания того, что ни один из них не смог бы создать сам. Легендарный пионер Unix переписывает код на ходу. Портативный музыкальный плеер был готов ещё в 1998 году, но оказался загублен корпоративной недальновидностью. Технология, которая изменила мир, но все лавры достаются только одной из сторон.
Джеймс Д. Джонстон заслуживает, чтобы его запомнили как второго отца MP3, не меньше. Исторические записи это подтверждают.
