[Closed|Закрыто] DarkSteam Project - Игровой кэш от Simbiat

Файлы игрового кэша (контента) для Cracked Steam (ACF/GCF/NCF).
Сообщение
Автор
Аватара пользователя
Simbiat
Steam Content Support
Steam Content Support
Сообщения: 629
Зарегистрирован: 18.08.2008
Поблагодарили: 29 раз
Контактная информация:

#991 Сообщение 09.12.2014, 21:47

а смысл? список ссылок можно же и здесь хранить...
DarkSteam R.I.P.
SilverSteam is less so

Аватара пользователя
Psycho-A
Эксперты no-Steam
Эксперты no-Steam
Сообщения: 424
Зарегистрирован: 28.09.2009
Благодарил (а): 15 раз
Поблагодарили: 82 раза

#992 Сообщение 10.12.2014, 10:50

Simbiat
Я как-то предлагал хранить ACF и manifest-файлы - с ними, например, можно было бы делать верификацию собственного контента, докачивать апдейты, делать но-стим рипы и т.п.
Ну и сами страницы со сводкой по каждой игре, чтобы были доступны оффлайн.

Аватара пользователя
Simbiat
Steam Content Support
Steam Content Support
Сообщения: 629
Зарегистрирован: 18.08.2008
Поблагодарили: 29 раз
Контактная информация:

#993 Сообщение 10.12.2014, 20:51

страницы со сводкой есть и нам том же стиме (= ACF и манифесты хранить отдельно без файлов, так чтобы при этом всё апдейтилось автоматом, как я понимаю, нельзя. разве что есть какой-то API для этого
DarkSteam R.I.P.
SilverSteam is less so

meegdie
Нович0к
Нович0к
Сообщения: 13
Зарегистрирован: 17.01.2014

#994 Сообщение 31.12.2014, 21:06

А что если юзать облака для хранения файлов? Но манифесты на сайте

Аватара пользователя
Simbiat
Steam Content Support
Steam Content Support
Сообщения: 629
Зарегистрирован: 18.08.2008
Поблагодарили: 29 раз
Контактная информация:

#995 Сообщение 31.12.2014, 22:31

meegdie » Ср дек 31, 2014 10:06 pm писал(а):А что если юзать облака для хранения файлов? Но манифесты на сайте
кто обновлять их будет? кто будет контроллироват целостность? кто будет их манагерить? фишка моего решения была как раз практически в полной автоматизации выкладки файлов. Всё, что требовалось - запустить Стим и скачать игру\обновления.
Вы пытаетесь придумать велосипед, так как облака уже используются здесь на рине и хз где ещё. И вы хотите придумать велосипед, к которому нужна целая команда пит-стопа для его отлаженной и стабильной работы с большими объёмами. Да ещё и без руля и сидёлки (=
Дешёвого, удобного и автоматизированого за просто так никто делать не будет. Если есть желание вложить пару лямов - сделаю вам решение, а так покупайте лицензии (=
DarkSteam R.I.P.
SilverSteam is less so

meegdie
Нович0к
Нович0к
Сообщения: 13
Зарегистрирован: 17.01.2014

#996 Сообщение 01.01.2015, 13:59

Программа которая каждый день будет сверять md5 скаченного файла из стима и того что на сайте. А далее если не равен обновить, иначе пусть дальше сидит.

Добавлено спустя 1 минуту 41 секунду:
Re: [Closed|Закрыто] DarkSteam Project - Игровой кэш от Simbiat
С новым годом :)

Аватара пользователя
Simbiat
Steam Content Support
Steam Content Support
Сообщения: 629
Зарегистрирован: 18.08.2008
Поблагодарили: 29 раз
Контактная информация:

#997 Сообщение 01.01.2015, 15:07

meegdie » Чт янв 01, 2015 2:59 pm писал(а):Программа которая каждый день будет сверять md5 скаченного файла из стима и того что на сайте. А далее если не равен обновить, иначе пусть дальше сидит.

Добавлено спустя 1 минуту 41 секунду:
Re: [Closed|Закрыто] DarkSteam Project - Игровой кэш от Simbiat
С новым годом :)
Ога. конечно. скачать сос тима, зазиповать, залить, потом при обновлении ещё рас зазиповать и сверить с предыдущим... 100500 террабайт чистого места на такое. На Даркстиме было 8+ терров и то еле хватало, а вы предлагаете как минимум в два раза больше места использовать для этого. Говорю же - дайте мне пару лямов рублей, я намучу такой массив и вам его за доплнительные два ляма рублей продам уже готовый сервис. По рукам?

ИМХО разговор из серии "пацаны, а намутите мне так, чтобы я за бесплатно всё качал", а следовталеьно пустой и не о чём...
DarkSteam R.I.P.
SilverSteam is less so

Аватара пользователя
NiGHt-LEshiY
Полковник
Полковник
Сообщения: 10258
Зарегистрирован: 13.06.2008
Откуда: Россия
Благодарил (а): 752 раза
Поблагодарили: 2667 раз
Контактная информация:

#998 Сообщение 01.01.2015, 15:18

Simbiat
Зачем такая фиксация на деньги? В последних постах почти всегда упоминаются миллионы.
Кодекс поведения участников сообщества — обязательно к прочтению.
Просьба присылать сообщения об ошибках в ЛС.

meegdie
Нович0к
Нович0к
Сообщения: 13
Зарегистрирован: 17.01.2014

#999 Сообщение 01.01.2015, 16:57

Мда... мне бы доступ к многим файлам стима и я бы без денег сделал бы. Интернет позволяет это сделать

Аватара пользователя
Simbiat
Steam Content Support
Steam Content Support
Сообщения: 629
Зарегистрирован: 18.08.2008
Поблагодарили: 29 раз
Контактная информация:

#1000 Сообщение 01.01.2015, 17:32

NiGHt-LEshiY » Чт янв 01, 2015 4:18 pm писал(а):Simbiat
Зачем такая фиксация на деньги? В последних постах почти всегда упоминаются миллионы.
meegdie » Чт янв 01, 2015 5:57 pm писал(а):Мда... мне бы доступ к многим файлам стима и я бы без денег сделал бы. Интернет позволяет это сделать
meegdie ответил на вопрос NiGHt-LEshiY :D

Оригинальные файлы стоят денег (так как надо покупать игры в официальных источниках).
Их хранение тоже стоит денег, так как надо покупать оборудование (жётские диски) для хранения, а если вспомнить о необходимости хотя бы базовой надёжности хранения, то объём возрастает в два-бесконечность раза в зависимости от выбранной схемы хранения. А если нужно хранить несколько версий файлов (например распакованные (для обновление), зип (для выгрузки) и старый зип (для возможности отката)) ещё раз умножаем это на два или даже 3.
Предоставление доступа к ним (даже через сторонние ресурсы) тоже требует ресурсов: как минимум сеть, которая даже при своей дешевизне тоже стоит денег. А если нет некоей автоматизированой среды - банально времени некоего администратора, а может даже нескольких. А если есть некая автоматизированная среда - время людей её разрабатывавших\разрабатывающих и людей её поддерживающих.

В DarkSteam была платная подписка не потому, что я барыга. Она была для того, чтобы хоть как-то окупить всё вышеперечисленное. И то ей это, естественно, не удавалось и не удалось бы никогда. Ребята на этом форуме, рине и им подобных, которые пишут всякие-разные тулзы, пишут кряки и прочее - молодцы, да. Они прокачивают свои знания, помогают некоторому набору людей. Но, я пока не видел, чтобы кто-то попытался сделать что-то масштабов DarkSteam, который в определённой и ограниченной степени постепенно превращался в аналог Steam. Есть переодически всплывающие ФТП сервера, лончеры по-типу грнилумы, но системы наподобии того DarkSTeam, что хостился на a12.net.ru - нет. А если где-то есть - дайте ссылку, может им пригодится мой код.
Поймите, я это говорю не из нарцисцизма вызванного количеством времени и сил, что я вбухал в проект и не из завышенного чувства своего достоинства. Нет. Поработав над чем-то столько крупным и разноплановым в одиночку, столкнувшись по основной работе с невозможностью реализации некоторых крупных проектов (по разным причинам, в том числе денежным) и пообщавшись с компаниями, которые продают софт и его поддержку (может кто слышал, например, о EPAM и RekSoft), увидев часть их кухни и даже получив реальные оценки стоиомсти решений подобных DarkSteam (от 2 лямов за базовый функционал [практически, авторизация и кнопка download, но чтобы максимально всё секурно] только на уровне веба)... Начинаешь понимать, насколько это сложная весчь Steam, и почему ои иногда даже мелкие проблемы могут решать месяцами. Да, у них кастомер саппорт дерьмо, но то что у них есть комплексная автоматизированная система, в которую они влезают в основном для фикса мелких, в основе ГУЙовых, багов и для добавление новых фич... Это реально большая и трудоёмкая работа, особенно учитывая большой кастомер импакт в случае косяков.

Желание meegdie мне понятно. Оно свойственно всем. Но реализация такого желания без затрат со стороны кого-либо просто невозможна. Если кто-то хочет возрадить концепцию DarkSteam, я всегда готов поделиться кодом. МОжете попробовать. Может быть тогда поймёте почему я говорю о деньгах и не хочу писать какие-то недопродукты (при том, что DarkSteam тоже в моём понимании недопродукт).

З.Ы.: Похоже это 1000ое сообщение в этой теме (=
DarkSteam R.I.P.
SilverSteam is less so

meegdie
Нович0к
Нович0к
Сообщения: 13
Зарегистрирован: 17.01.2014

#1001 Сообщение 01.01.2015, 20:48

Я как бы хочу стать капитаном пиратов и мне понравилась идея DarkSteam'a, но я понимаю что это все затратно и пользы от сюда получить сложно. Но я хочу это реализовать не ради денег, но ради комьюнити которым нужны файлы желательно оригинальные ведь в тех же самых торрентах они давно устарели. Но я хочу все упростить на столько сколько это возможно. Запустить свой старенький комп и пусть работает с системой которую я хочу создать, а вижу я ее так. Компьютер скачивает игры/обновления и посылает их данные на сайт (ибо мой комп не справиться с посетителями, в этом я уверен) и отправляет файлы игр/обновлений на облака (которые предоставляют хранения бесплатно). Далее десктоп приложение смотрит инфу по игре и авторизовывается в облаке и качает инфу которая ему нужна оттуда.

Добавлено спустя 55 секунд:
Re: [Closed|Закрыто] DarkSteam Project - Игровой кэш от Simbiat
Если идея с облаками вам покажется абсурдом прошу объяснить почему :)

Аватара пользователя
Simbiat
Steam Content Support
Steam Content Support
Сообщения: 629
Зарегистрирован: 18.08.2008
Поблагодарили: 29 раз
Контактная информация:

#1002 Сообщение 01.01.2015, 21:46

1. "старому компу" надо иметь большой массив, как я писал выше - Даркстиму было тесно даже с 8 террабайтами. Если смотреть мою текущую библиотеку то понадобится террабайт 12, наверное, чтобы хоть с каким-то запасом, а лучше 16, чтобы на вырост. Это если держать файлы в распакованном виде и только распакованном, как было у Даркстима. Не держать их распакованными невозможно , так как иначе нельзя будет их обновлять через Стим. Жёсткие на 4 Тб сейчас от 8 тысяч и выше, нужно минимум 4 (если без рэйдов) = 32000. Плюс хороший БП, мать и проц с оперой, пусть каждый айтем по 6 штук = 24000. Итого 56000 за базовую комплектацию. Можно и дешевле, но надёжность будет резко падать и скорость работы с жётскими. Потенциально, конечно, но для круглосуточной работы даже "потенциально" важно.
2. На какой сайт посылать? Это то есть ещё какой-то комп (отдеьный хостинг\ВПС?), на котором нужно создать такой же массив + место под зиповки (как минимум временной) для загрузки в облока (я ведь понимаю подразумеваются не мифические облака, а шаринги типа депозита, медиафаера и прочего?). Место на хостинге с такими объёмами может выйти в разы дороже, поэтому предположим, что это ещё отдельный комп (в котором нет смысла с технической точки зрения), а значит ещё 56000 + пусть ещё 2 диска по 4 Тб, то есть 56000 + 16000 = 72000. С первым пунктом получается 128000
3. Даже если под облаком не файлхостеры подразумеваются а что-нить из серии ASUS WebStorage или подобное - сколько будет стоить хранилище на 16 Тб? Ну, ок, будем зиповать, пусть будет не 16, а, скажем, 12, ну или совсем оптимистично - 10 Тб. И путсь даже дешёвое место найдём. Тут встанут следующие вопросы:
4. Скорость. Коментарии излишни, думаю.
5. Безопасность. Как и кто\что будет контролировать доступ пользователей к этому самому облаку? Или вы предлагаете шаринг пароля (один логин\пароль на всех)? Такой шаринг сразу всю безопасность рубит на корню. А значит потенциально быстрая смерть проекта. В ручную раздавать пароли заколебётесь
6. Какой десктоп и какую инфу смотрит на облаке? О_о

В сухом остатке: 128000 только на базовое железо. На сами данные в разы больше. На оригинальный версии стима уйдёт в разы больше: калькуляторы говорят, ччто моя библиотека из 2448 игр (не учитывая DLC) со скидками стоит 193373 рублей, а без - 576488 рублей. Истина где-то по середине - 384930 рублей. Итого - 512930. Дорого. Но даже если у нас много денег в схеме присутсвуют звенья сомнительной пользы, отсутсвует реальный менеджмент доступа, следовательно безопасность на нуле, сомнительное удобство для пользователей (а практика показывает, что пользователи всегда будут недовольны). ИМХО - не рентабельно. И это я не атрагивал тему программирования некоего продукта, который это как-то бы связывал. Но, думаю, теперь понятно откуда берутся миллионы (= А программирование, кстати тоже стоит немалых денег.

Даркстим умудрялся работать более-менее стабильно (если я его лишний раз не трогал ^_^) потому что он был просто в своей стуктуре:
1. Один комп. Один и только один. На нём и массив и сайт и "АСУ"
2. Стим запускался с некоей переодичностью и через ~полчасика тупки (точнее запуска) начинал качать обновления, если они были. Все игры были разложены на несколько дисков, "зареганных" в Стим-клиенте. Как только файл обновился - он становился доступен пользователям.
3. В фоне гнался скрипт, который парсил все acf файлы, брал данные из них и из Стима и обновлял базу, если было необходимо (основываясь только на acf файлах). В разное время он гнался раз в 24, в 12, в 8, 1 час и раз в 30 минут
4. Для юзеров всё было прозрачно - они качали клиент, который изначально коннектился напрямую в базу, а потом использовал специальные странички на сайте. Этот клиент выводил необходимую инфу, часть из которой дополнительно обрабатывалась\перехватывалась клиентом. Клиент был, по сути, веб-браузером и sftp-клиентом с некоторым дополнительным функционалом. Позже теже веб-странички стали доступны пользователям через сайт для скачивания файлов по одному. И всё это - на одном сервере. На котором при большом потоке по sftp (300+ активных сессий) начинала тупить сеть. А я на нём ещё работал и в игры играл (потому что он стоил не 56000)
И я молчу про то, сколько времени уходило на поиски мест для оптимизации и улучшения безопасности. Особенно при том, что до этого я и не кодил ничего толком. Я сейчас в ретроспективе вижу огромное количество мест, где можно было бы сделать лучше. А ведь надо было ещё с пользователями общаться, многие из которых были довольно нервными. И, когда случались косяки, которые выскальзывали вовремя тестирования нового билда клиента, надо было засиживаться, чтобы как можно быстрее всё исправить, при этом держа народ в курсе.

Вообщем, мнение человека успевшего повариться во всём этом - не надо. Если есть лишнее время\деньги лучше потратьте на что-то более полезное. Например на детские дома.
DarkSteam R.I.P.
SilverSteam is less so

MOZGIII
Разработчик
Разработчик
Сообщения: 910
Зарегистрирован: 09.01.2009
Откуда: Переезжаю в /dev/null
Благодарил (а): 7 раз
Поблагодарили: 65 раз
Контактная информация:

#1003 Сообщение 05.01.2015, 09:27

Simbiat
Скрытый текст
Очень много геморроя, по-моему. Используй ты тот-же Amazon, и проблем с поддержкой было бы меньше, и дешевле бы вышло. Да и архитектура проекта выбрана неправильно: sftp ну совсем не для массовой раздачи контента придумывали. Раз уж контент можно логически разделить на релизы, куда лучше было-бы настроить автоматическую генерацию тех-же torrent-файлов, а в клиенте реализовать протокол bittorrent с автоматическим подцепленным этих файлов по релизам. Но какая разница...
Пиратство не окупается, как это ни печально. Это весело, но не прибыльно. Сейчас, по крайней мере.

meegdie
Бесплатные облака - то есть всякие облака типа дропбокса, гугл драйва, яндекс диска итп - все умеют не предназначены для массовых раздач (это прописано в их лицензиях, у всех, насколько я знаю). Но это с формальной точки зрения. Технически же, они все умеют детектировать такой юзкейс, и блокировать его. Ну, и вообще, очень неудобно ворочить данными в таких облаках, особенно, если данных много (16 тб например).

PS: прежде, чем изобретать велосипеды, ознакомьтесь с существующими технологиями, и алгоритмами. rsync, bittorrent, DC, KAD, и всё такое.

Добавлено спустя 19 минут 51 секунду:
Re: [Closed|Закрыто] DarkSteam Project - Игровой кэш от Simbiat
Да, и самое главное - непонятно, зачем сейчас кому-то контент игр? В большинстве современных игр есть очень важная компонента геймификации, а именно, отслеживание всевозможного прогресса - которое целиком выполняется на сервере игры (который пиратов, обычно, не пускает). С другой стороны, даже если игра играбельна сама по себе на пиратке, чтобы запустить её всё равно нужен кряк или сломанный стим. Вот тут и "буксует" автоматизация, потому что каждая игра требует внимания на ручные операции. Что-бы такой проект выстрелил, нужны как минимум релиз-команды, которые будут делать из просто файлов пиратки. Если на это забить, то целевая аудитория уменьшается в >9000 раз - разница между количеством людей, которые могут только нажал на кнопку "играть" и ждать пока всё сделается само, и людей, которые могут отдельно скачать контент для игр, и потом найти и поставить на него кряк по-моему действительно больше чем три порядка.
К тому-же, ещё раз, это абсолютно не окупается. Люди не готовы платить кому-бы то ни было, как только начинается пиратство. Есть, кончено, и другие способы заработать, суть которых в общем сводится к тому, что вам оплачивается внимании масс. Но это пробовать с пиратством бесполезно - вы в любом случае будете слишком маленьким игроком на этом рынке, что-бы получать хоть что-то.

Аватара пользователя
bear!
Полковник
Полковник
Сообщения: 1495
Зарегистрирован: 12.02.2011
Благодарил (а): 29 раз
Поблагодарили: 872 раза
Контактная информация:

#1004 Сообщение 05.01.2015, 09:31

MOZGIII » 05 янв 2015, 10:07 писал(а):bittorrent
А чем, кстати, плоха такая реализация? Исключительно из интереса спрашиваю.

Аватара пользователя
Simbiat
Steam Content Support
Steam Content Support
Сообщения: 629
Зарегистрирован: 18.08.2008
Поблагодарили: 29 раз
Контактная информация:

#1005 Сообщение 05.01.2015, 09:51

Кстати говоря, временное, а потом и полное закрытие DarkSteam произошло после... Перехода на торренты. То есть реализовать сид-бокс легко. Реализовать авто-генерацию торрентов - посложнее, но тоже реально. Реализация на стороне клиента в разы сложнее, потому план был вначале открытые .torrent файлы давать. Но вот, где проект загнулся, так это... Скорость. И на попытках объяснить людям, как торренты работают.
Там ведь фишка была в чём - у меня сидбокс с парой тысяч торрентов.То есть скорость на каждый уже уменьшается из-за необходимости общения с трекером для каждого. Но это не беда: малеьнкая скрость при initial seed - это нормально. Потом народ скачает, будет сидировать и всё будет круто. И вот тут-то схема и даёт сбой: народ не сидирует. То есть, были люди, которые оставались на раздаче. Человек 5, может быть. А если нет сидов - маленькая скорость. Маленькая скорость - хомячки беснуются, как же так у меня за бесплатно ничего не качается и, следовательно, они даже не пытаются качать и посылают кучу негатива. Попытки объяснить, что это всё вытекает из специфики торрентов втречаются только ещё большим негативом.
То есть набольшая проблема в населении получается. Большая часть людей тупо ищат халявы и хотят чтобы эта халява была лучше всех платных решений. Желание хорошее, но несовместимое с реальностью. Лишь маленький процент людей понимают, что ограничений не избежать, читают F.A.Q. и мануалы и не вопят при малейшей проблеме или неудобстве. Но вот остальное превращается в ужасный белый (и именно белый) шум, что только мешает комфортно работать сервису. В сухом остатке: слишком нишевая ниша, требующая больших вложений, а имеющая крайне маленький аутпут.

З.Ы.: SFTP был промежуточным вариантом, по сути. a12.net.ru, изначально имел FTP, FTPS, SFTP, HTTP и HTTPS протоколы для раздачи. При объеденении было решено оставить SFTP, а потом рассматривать возможность децентрализации, которая в итоге провалилась.
DarkSteam R.I.P.
SilverSteam is less so

Ответить Вложения 12