Откуда взялись архивные обсуждения в группах Google?

Я просматривал старые сообщения в Google Groups rec.games.chess , когда у меня возникла мысль: откуда взялись все эти сообщения из 80-х и 90-х? Если быть точным, то вопрос в том, где были/находятся их физические проявления.

Согласно Википедии : «Группы Google начали работать в феврале 2001 года, после того как Google приобрела архив Usenet Дежи. Deja News работает с марта 1995 года».

Есть также такой лакомый кусочек: «Архив групп новостей Usenet в Google Groups восходит к 1981 году. [3] Через пользовательский интерфейс Google Groups пользователи могут читать и публиковать сообщения в группах Usenet».

Но откуда на самом деле взялись все эти древние сообщения (электронные письма?)? Из каких физических местоположений компьютерной сети они были получены? Где хранились все эти сообщения до появления Всемирной паутины?

Честно говоря, я нахожу Википедию чертовски расплывчатой. Нигде не могу найти подробностей. Источники и пояснения были бы особенно полезны. Я очень плохо понимаю ранний Интернет, потому что родился в современную эпоху мобильных телефонов и ПК.

Я подозреваю, что ответ Usenet . У нас был активный Интернет до того, как были основаны большие сервисы. Многие из нас когда-то были активны в Usenet.
Да, все они пришли из Usenet. К сожалению, они, похоже, нарушили все функции расширенного поиска с момента его первого переноса на группы, поэтому найти что-либо нетривиально.
«Всемирная паутина» — это всего лишь один тип приложений, работающих поверх Интернета. Интернет сам по себе намного старше Всемирной паутины. Многие из старых систем, работающих в Интернете (gopher, usenet и т. д.), сейчас мертвы, их функциональность включена в единый протокол http(s).
@GorttheRobot Я бы не сказал «мертвый», поскольку оба приведенных вами примера все еще используются сегодня, хотя и гораздо реже, чем в прошлом.
@JBentley На самом деле, сеть настолько деградировала, что суслик начинает возрождаться.
Группы Google сломали для меня Usenet: они поощряли создание групп, не относящихся к Usenet, которые объединяли участников в стиле, не соответствующем разумным соглашениям Usenet, и эти люди затем приходили в группы Usenet, не осознавая, что находятся в другой среде.
@Henry Еще хуже, что группы Google балканизируют Usenet. Многие постеры использовали GG - хорошо, но тогда спамеры и тролли, похоже, используют GG гораздо больше (в некоторых группах убийство всех пользователей из GG значительно улучшает опыт и теряет очень мало стоящих постеров). Затем из-за спама, исходящего от GG, Google затем говорит, что группа это просто спам и группа удаляется.
Usenet появился задолго до Deja News, я публиковал там сообщения в середине 80-х.
В дикой природе все еще существует достаточное количество серверов nntp, но многие из них управляются отдельными лицами для группы людей или коммерческими организациями, которые продают доступ своим клиентам.
@MarkC.Wallace Черт, у нас был активный Интернет задолго до того, как появились HTML или HTTP. Я на самом деле думаю, что гиперссылки — это круто (я имею в виду, посмотрите на наш мозг), но и сценарии, и мультимедиа — это, к сожалению, неверный путь ;-).
Думаю, сейчас я действительно чувствую себя старым, поскольку в какой-то момент моей жизни Usenet был общеизвестен...

Ответы (3)

Старые обсуждения были сообщениями в USENET , который существует до сих пор. rec.games.chess — это группа новостей в USENET, она изначально не является частью групп Google. Сообщения можно отправлять и читать в группе новостей, не приближаясь к Google.

Данные телеконференций хранятся на серверах USENET, которых очень много. USENET распространяется. Сообщения копируются на каждый сервер с использованием NNTP.

Каждый сервер выбирает, какие группы загружать с других серверов, с которых он настроен на чтение.

Чтобы читать сообщения, пользователь должен иметь клиент NNTP или программу чтения Usenet , которых существует несколько, веб-интерфейс Google Groups является одним из них. Вы также можете запустить свой собственный сервер, что я и сделал, поскольку мне нужны сообщения из более чем одного места, а также нужна быстрая загрузка по телефонной линии вместо того, чтобы читать сообщения и загружать каждое из них для чтения.

Google запускает некоторые из этих серверов и предоставляет внешний клиент для чтения сообщений. Серверы получили историю от Deja News, которая просматривала и получала сообщения от тех серверов, у которых была более длинная история. Обычно у сервера запрашиваются только те сообщения, которые поступили с момента последнего запроса. Из Википедии видно

Веб-архивирование сообщений Usenet началось в 1995 году в Deja News с очень большой базы данных с возможностью поиска. В 2001 году эта база данных была приобретена Google.[90]

В группах Google хранится архив сообщений Usenet, начиная с мая 1981 года. Самые ранние сообщения, датированные периодом с мая 1981 года по июнь 1991 года, были переданы в дар Google Университетом Западного Онтарио с помощью Дэвида Уайзмана и других[91] и первоначально были заархивированы Генри Спенсером на факультете зоологии Университета Торонто. Архивы за период с конца 1991 по начало 1995 года были предоставлены Кентом Лэндфилдом из серии компакт-дисков NetNews[93] и Юргеном Кристоффелем из GMD[94]. Архив сообщений с марта 1995 года был начат компанией DejaNews (позже Deja), которая была куплена Google в феврале 2001 года. Google начал архивировать сообщения Usenet для себя, начиная со второй недели августа 2000 года.

Серверы Usenet, как правило, были в каждом университете и во многих компаниях, и когда начинались коммутируемые интернет-провайдеры, у каждого из них часто был сервер, одним из примеров была AOL. По мере того, как сеть захватила власть, многие из них были закрыты, а серверы переданы на аутсорсинг различным компаниям. Другая причина этого заключается в том, что именно здесь спам впервые был назван историей спама Википедии , и в конечном итоге, я думаю, он произвел большую часть сообщений, а также двоичные файлы, например порно, копии музыки, фильмов и т. д., которые были загружены, что сделало объем полезной юридической информации слишком низким. для большинства владельцев серверов. чтобы оплатить расходы, связанные с Usenet.

В настоящее время существует несколько хостинговых компаний Usenet, которые, по-моему, в основном обслуживают двоичные файлы. Есть также несколько серверов, которые обеспечивают поток только текстовых групп.

Преимущество клиентов USENET заключается в том, что они предоставляют полнопоточный интерфейс, а не ограничения веб-форумов, а также вам нужно подключаться только к одному месту, а не к каждому веб-сайту.

Спасибо за ответ. Мне кажется, что законная публикация прекратилась примерно в 2004-2005 годах, какая причина для этого? Кроме того, те университеты, где хранились эти архивы, как они вообще были составлены?
Это зависит от группы, некоторые все еще идут, хотя и в гораздо меньшем объеме. Я думаю, что причиной был спам, и все крутые люди хотели быть на веб-форумах. Также количество троллей, которым требуется хорошо поддерживаемый файл уничтожения, чтобы избавиться от сообщений.
Примерно в 2004/5 г. USENET превратилась в криптографически защищенную систему распространения двоичных файлов из-за ее использования нарушителями авторских прав и сексуальными преступниками. Примерно в то же время USENET стал радикально уязвим для спам-атак со стороны ботов. Кураторский вопрос о характере открытых дискуссий интеллектуальных сообществ меньшинств был передан организованному форуму.
Это ответ. Если вы заглянете в нужные группы новостей, то сможете найти довольно много постов от молодого (в то время) TED. Именно там я оттачивал все свои безумные бессмысленные навыки написания эссе в Интернете.
@RewanDemontay - большая часть упадка Usenet была связана с «Сентябрем, который никогда не заканчивался», когда AOL начала предлагать доступ своим пользователям. Это было в 1993 году.
@LaconicDroid не особо юзнет вырос еще на 10 лет. Вечный сентябрь мог снизить качество, но не использование.
@mmmmmm - я говорил о снижении качества контента, поскольку качественный контент был единственной причиной, по которой я использовал его в середине 80-х.
Сервер списков в Брауне также перенес некоторые из них в списки рассылки. Насколько я помню, на одном этапе была проблема с отказом.
Также следует отметить, что большая часть интернет-этикета и жаргона (например, «лол») возникла в Usenet. Он был принят основным персоналом в приложениях для обмена сообщениями, а затем в социальных сетях. Текстовые группы Usenet — огромная часть истории Интернета.

Момент, который другие ответы до сих пор , возможно, не проясняют достаточно, — это децентрализованный характер Интернета в то время .

Мы привыкли к мысли, что каждый тип контента доступен в каком-то центральном месте (будь то отдельный сервер, целый центр обработки данных или даже группа центров обработки данных, доступных по одному адресу или веб-странице). Но не так зародился Интернет, и даже не так было в 90-х, когда Usenet все еще был чрезвычайно популярен.

На самом деле Интернет развился из военных систем, которые были специально разработаны, чтобы не полагаться на большие центральные серверы с едиными точками отказа. И часть этого мировоззрения сохранилась.

Сообщения Usenet нигде не хранились на отдельном сервере, потому что не было организаций, которым можно было бы доверить надежную работу такого сервера в течение длительного времени — уж точно не без взимания платы с пользователей за эту привилегию. И даже если бы они были, вы не могли бы рассчитывать на надежный доступ к ним в любое время. И даже если бы вы могли, этот доступ может быть медленным и / или дорогостоящим.

Таким образом, Usenet развивался как децентрализованный: сообщения отправлялись от машины к машине, пакетами, и заканчивались на вашем ближайшем сервере, с которого вы могли собирать их за один раз, а затем читать их в автономном режиме на досуге.

Это очень эффективный подход: переводы осуществляются по прямым ссылкам, возможно, когда они менее загружены (или дешевле); сообщения нужно передать только один раз, независимо от того, сколько пользователей в конечном итоге их прочитает; и чтение может быть сделано в автономном режиме без каких-либо дополнительных затрат. (Да, в то время доступ в Интернет мог быть дорогим. Я помню, как использовал коммутируемый доступ, который требовал поминутной оплаты, несмотря на то, что это был местный номер в Великобритании, и мне приходилось внимательно следить за временем и переводить как можно больше в один раз, чтобы я мог использовать его после отключения.)

С появлением неограниченных, постоянно активных подключений к Интернету (которые не ограничивают вашу единственную телефонную линию!), быстрых переводов, высоконадежных центров обработки данных и бизнес-моделей, предоставляющих все виды услуг без какой-либо прямой оплаты (за вычетом косвенные расходы, связанные с рекламой, использованием ваших данных, вредоносным ПО, цензурой…), все претерпело огромный сдвиг в сторону централизованных сервисов. И в этом, конечно, есть плюсы (как и некоторые минусы).

Вы можете увидеть аналогичный сдвиг с другим не-веб-приложением в Интернете: электронной почтой. Раньше электронная почта отправлялась через ряд почтовых серверов (некоторые из них принадлежали крупным организациям, другие менее), но в конечном итоге она попадала на ваш компьютер, будь то учетная запись в системе, принадлежащая вашему работодателю или университету. или ваш собственный микрокомпьютер/ПК. Вот где будет жить почта; единственное место, где это было бы доступно. Некоторые люди до сих пор используют почтовые клиенты, которые работают таким же образом, но большинство теперь используют вместо этого веб-почту, при этом почта хранится на больших серверах, принадлежащих вашему интернет-провайдеру, работодателю, образовательному учреждению или какой-либо несвязанной организации, доступной из любого места с подключенным к сети Интернетом. браузер, но больше не под вашим контролем.

Даже ранняя сеть была гораздо менее централизованной; большинство веб-сайтов были небольшими, и найти их было достаточно сложно, поскольку они организовывались в веб-кольца и страницы ссылок.

Итак, чтобы ответить на вопрос: сообщения Usenet физически жили на всех серверах новостей, несущих соответствующую группу новостей, вместе со всеми клиентами, на которые люди их загружали. Эти серверы в основном находились в университетах, на сайтах Bell Labs, в компаниях, связанных с Unix, и у интернет-провайдеров.

Обычно я не использую центральный сервер http/imap (например, gmail) для чтения электронной почты, хотя я загружаю свою электронную почту с сервера pop/imap интернет-провайдера. Хотя я мог бы взять на себя и это! Включая создание собственного nttp-сервера с спулом и получение откуда-то фида.
Это немного ОТ, но самым большим изменением в «Интернете» стал размер контента , как электронной почты, так и Интернета. У меня нет подробностей, но я предполагаю, что большинство текстовых сообщений Usenet были в диапазоне 1-5 Кбайт. В настоящее время нередко можно увидеть содержимое электронной почты (спасибо HTML и Java) размером в мегабайт. Дублировать эти большие сообщения на всех серверах NNTP просто невозможно.
@ dave58 Действительно. На самом деле, если мне не изменяет память, большинство ранних веб-страниц были примерно такого же размера! С небольшим количеством встроенного Javascript или без него, не говоря уже о CSS или встраиваниях, даже изображение размером 20 КБ затмит сам HTML. Браузеры часто имели возможность не загружать изображения, если на них не нажимали, для скорости. Как меняются времена — в наши дни вы даже не можете остановить загрузку и воспроизведение многомегабайтных видео …
FWIW, большие платформы по-прежнему не зависят от отдельных серверов; разница в том, что они принадлежат и управляются отдельными организациями (корпусами).
@AsteroidsWithWings Согласен. (И я немного подправил формулировку, чтобы она соответствовала.) Суть в том, что есть одна точка доступа (имя хоста и порт), поэтому он выглядит как один сервер, даже если он может быть просто фронтом для нескольких серверов, или даже несколько центров обработки данных.
Usenet также выглядит как единый сервер для основных групп, вы получаете одни и те же сообщения, независимо от того, на какой сервер вы входите (ну, некоторые удаляют спам в разной степени)
Дело в том, что даже ваш ответ не затрагивает (пока!) то, что на большинстве серверов Usenet также были локальные и региональные группы новостей — обсуждения, связанные с университетом, городом, в котором располагался университет, и т. д. Публикация в глобальные группы новостей была (относительно) редкие в этой культуре, а иногда и не одобряемые - предупреждающие сообщения от раннего программного обеспечения об огромных распределенных расходах, связанных с отправкой сообщений в глобальную группу новостей и т. д. Многие локальные сообщения/группы никогда не были видны службам, которые позже архивировали новости для будущие поколения - они были столь же эфемерны, как и задумывалось изначально.

В дополнение к относительно небольшому размеру новостей и относительно (по сравнению с сегодняшним днем) высокому качеству сообщений (которое серьезно ухудшилось с появлением Вечного сентября), мне больше всего не хватает в группах новостей Usenet простоты и удобства. при их чтении.

С одним текстовым файлом конфигурации, перечисляющим группы в моем порядке предпочтений, одна команда «trn» будет:

  • Показать список лучших групп и количество элементов, которые я еще не видел.
  • Нажатие пробела отобразит список первых непрочитанных элементов в первой группе.
  • Нажатие пробела отобразит первый элемент.
  • И так до тех пор, пока список не иссякнет (т.е. не попадет в более забавные или глупые группы) или пока не наберется "q".

И мало того, что я увидел только те предметы, которые раньше не видел, все было представлено в хронологическом порядке, от самого старого к самому новому (какая концепция!).

И не только это, элементы, которые цитировали предыдущие сообщения, делали это с использованием верхнего цитирования, которое не только позволяло читать все в том порядке, в котором оно было написано, но и заставляло автора удалять все нерелевантные части элемента, который они цитировали.

Если кто-то не хотел отвечать, все можно было увидеть по порядку, ничего не делая, кроме нажатия пробела. И под «всем» я подразумеваю все; не нужно было прыгать между FaceBook, Instagram, Twitter и… . И никакой рекламы .

И это включает в себя очень местные группы новостей, например, для курса CS123 каждого университета или отдельных отделов каждой компании. Предприятия могли бы проводить то, что сейчас считалось бы групповыми собраниями, асинхронно, каждый за своим столом, отвечая, когда это необходимо , и читая все это, возможно, через несколько часов, когда это не мешало бы их реальной работе .

Вздох!

Дорогая Эмили Постньюс содержит очень ироничный набор правил публикации новостей, и его стоит прочитать.

Откуда взялись архивные обсуждения в группах Google?
СпросиСетьПолитика конфиденциальности1y, 0v