Доступны ли исторические временные ряды глубины рынка и транзакций?

Кто-нибудь сохранил исторические данные о глубине рынка и тиках от MtGox? Доступен ли он публично? Было бы полезно, если бы вы делали бота.

В связи с этим существует API-интерфейс BitcoinCharts, который предоставляет некоторую информацию о временных рядах bitcoincharts.com/about/markets-api.
Я отправил электронное письмо MtGox и TradeHill по этому поводу, но не получил ответа. Clark Moody не хранит историческую информацию о глубине рынка, так как данных слишком много.
Я думаю, это главная проблема. Это действительно слишком много данных.
Я взял простой скрипт, который у меня был, и получил его каждые 5 секунд извлекающий глубину рынка и сохраняющий различия (мне нужно было использовать веб-сокеты, но у меня не было готового скрипта). Через 2 дня у меня ~ 5 МБ данных, так что, возможно, это не так сложно сделать. Данные можно было бы даже сохранить в более сжатом формате (я просто сбрасываю то, что мне дает MtGox). Это просто вопрос настройки сервера, работающего 24/7, с таким скриптом.

Ответы (4)

Текущая глубина рынка доступна на

Все сделки, совершенные за последние 24 часа, доступны на

Извлекает 100 сделок, которые произошли после указанной транзакции

Для извлечения всех исторических данных требуется скрипт, например тот, что опубликован mizerydearia . Идея состоит в том, чтобы зацикливать запрос на загрузку, увеличивая «транзакционный tid», также известный как «lasttrade», чтобы загружать все данные поэтапно.

#!/bin/bash
outputfile=data
lasttrade=0
while test -n "$lasttrade";do
    wget --quiet https://mtgox.com/code/data/getTrades.php?since=$lasttrade
    if test "`cat getTrades.php\?since\=$lasttrade`" != "[]";then
        cat getTrades.php\?since\=* >> $outputfile;
        echo >> $outputfile;
        lasttrade=`cat getTrades.php\?since\=$lasttrade|sed "s/,/\n/g"|grep tid|tail -n 1|cut -d ":" -f 2|cut -d "\"" -f 2`;
        lasttradets=`cat getTrades.php\?since\=*|sed "s/,/\n/g"|grep date|tail -n 1|cut -d ":" -f 2`;
        echo "$(date -d @$lasttradets)  tid $lasttrade"
    else
        echo Finished
    fi
    rm getTrades.php\?since\=*;
done

См. MtGox — API для получения дополнительной информации о вызовах http API.

Есть идеи, насколько велик этот файл сегодня? У меня сейчас около 3,5 ГБ , и я все еще продолжаю.
@jordan.baucke какой у тебя размер?
Я запускаю аналогичный скрипт — в настоящее время он до 20.10.2011 @ ~ 155 МБ без сжатия — я дам вам знать, когда он завершится, и посмотрю, смогу ли я выложить его где-нибудь в Интернете.
Ну, я добрался до 11 марта 2013 г., и пока это всего около ~ 670 МБ. Значит, в приведенном выше скрипте должна быть ошибка. Вероятно, это связано с тем, что он анализирует JSON с помощью Regex. Может быть, время от времени возникает ошибка, и она начинается с кода ошибки (используя его как TID) или что-то в этом роде?
Я получил последнюю версию (14.01.2014) сегодня утром - полностью несжатый, JSON составляет около 1,33 ГБ - сжатый в обычный файл .zip, это около 160 МБ. Я использовал URL-адрес и подход, описанный выше (немного другая реализация), и, хотя в URL-адресе не упоминается доллар США, результаты отображаются только в долларах США (может быть, это произошло, когда они изменили API? Это также может быть причиной для гораздо меньшего размера файла). Во всяком случае, я разместил свой дамп здесь: bit.ly/1dMzqhJ

Чтобы получить ВСЕ сделки mtgoxUSD с самого начала, вы можете использовать следующий URL-адрес:

www.bitcoincharts.com/t/trades.csv?symbol=mtgoxUSD&start=0

ПРЕДУПРЕЖДЕНИЕ. На данный момент создается CSV-файл размером 49 МБ, что может занять некоторое время, поэтому, пожалуйста, переходите по ссылке только в том случае, если вам действительно нужны данные.

Посетите http://bitcoincharts.com/about/markets-api/ для получения дополнительной информации.

я думаю, что это ежедневные данные, а не тиковые данные

Просто отметим здесь, что tid MtGox не включены в данные, которые вы получаете из биткойн-чартов в этом API вызова csv, и некоторое время назад они переключились с числовой индексации на микросекундную отметку времени. Чтобы поддерживать целостность базы данных, вам нужны уникальные данные tid... Файл истории теперь также превышает 100 МБ.

Оригинальный общий набор данных MtGox

Когда-то был набор данных Google BigQuery, который часто обновлялся официальной торговой записью MtGox. Это больше не публикуется, потому что... спросите кого-нибудь, кто должен это объяснить .

Данные Google BigQuery

Общий набор данных BigQuery MtGox Trades (@2014-04-20) доступен по адресу https://bigquery.cloud.google.com/dataset/931531665892:mtgox .

BitTorrent-версия

Если вы предпочитаете не использовать BigQuery , но вам все же нужны эти данные , вот торрент, вот цельнометаллический магнит.

magnet:?xt=urn:btih:c87cd62f9484993f0153a47fc51f06fb43ed71ee&dn=931531665892-mtgox-trades.csv&tr=udp%3A%2F%2Ftracker.publicbt.com%3A80&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A80&tr=udp%3A%2F%2Ftracker.ccc.de%3A80&tr=udp%3A%2F%2Ftracker.istole.it%3A80

База данных утечек MtGox

В 2014 году сервер Magic The Gathering Online eXchange (MtGox) был скомпрометирован. Исходный код, данные учетной записи пользователя и торговые данные были обнародованы.

Для академических исследований полезны торговые данные, вот магнит к исходному файлу «выпуска государственной службы», MtGox2014Leak.zip. ВНИМАНИЕ : TibanneBackOffice.zipфайл содержит троян

magnet:?xt=urn:btih:b6545ecc7db8d44c8cbc4e93989edf8221af75f5&dn=2014+Mt.+Gox+Leak&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A80&tr=udp%3A%2F%2Ftracker.publicbt.com%3A80&tr=udp%3A%2F%2Ftracker.istole.it%3A6969&tr=udp%3A%2F%2Ftracker.ccc.de%3A80&tr=udp%3A%2F%2Fopen.demonii.com%3A1337

В качестве альтернативы, cryptoanarchic.me любезно предоставил зеркальную HTTP-версию MtGox2014Leak.zip .

Это два источника данных, которые я использую в своем исследовании.

Доступны ли исторические временные ряды глубины рынка и транзакций?
СпросиСетьПолитика конфиденциальности1y, 1v