Previous Entry Share Next Entry
2016-01

cryptobox news

хохо, good news for CryptoBox (с точки зрения применения для видеомонтажа)

при сжатии видео (в формате Apple ProRes) мы, внезапно, обгоняем winrar по степени сжатия (в Normal Solid режиме)

при этом, в отличие от винрара, у нас сохраняется рандомный доступ к упакованным данным и возможность добросить туда без напряга еще ;)

This entry was originally posted at http://wizzard.dreamwidth.org/238523.html. It has comment count unavailable comments. Please comment there using OpenID.

  • 1
_winnie August 16th, 2012
А что можешь посоветовать для шифрованных бэкапов, с винды, из сотни тысяч мелких файлов?
1) на внешний жесткий диск
2) по ssh на внешние linux/freebsd хосты, без root

Что бы работало быстро как rsync, но что бы хранилище было зашифрованным

wizzard0 August 16th, 2012
> Что бы работало быстро как rsync, но что бы хранилище было зашифрованным

Ровно эти задачи эта штука и решает ;)

Оно жрет практически что угодно - много мелких файлов, мало крупных, архивы, исошки, фильмы, etc

UPD: но надо учитывать, что оно начинает давать какой-то реальный профит, когда данных *много*.

Т.е. гигабайты, десятки гигабайт, теоретически кластер должен масштабироваться до сотен петабайт.

UPD2: ну и потом можно выдернуть любой файл любой версии за log256 N время (то есть, считай, константное)

upd3: так что записывайся в секту, да ;) http://cryptobox.tvori.info - тут подписка на апдейты, но в почту я буду спамить только по особенным случаям, а так есть твиттер cryptobox и фейсбук-страница одноименная

Edited at 2012-08-16 10:51 pm (UTC)

_winnie August 16th, 2012
Эм, кажется для бэкапа оно сейчас плохо приспособленно.

У меня же сто папок с исключениями из исключений, а оно даёт один файлик залить. И пугает неоткрытость формата, что нет большого количества программ которые прочитают архив. Вот в rar не страшно, для него много разархиваторов, в тч. с исходниками.

wizzard0 August 16th, 2012
> оно даёт один файлик залить

веб-прототип надо выбросить и переписать заново, это да. мне просто было концептуально интересно, получится ли реализовать все ключевые алгоритмы на JS. плюс, там нет прогрессбара, и прямо сейчас у сервера протокол поменялся, поэтому он вообще не работает ;)

десктоп-клиент честно позволяет выбрать сколько надо папок, и сложить куда надо.

> пугает неоткрытость формата

я пока не знаю, в каком виде это будет продаваться - но скорее всего, для домашних юзеров будет что-то аля Backblaze ( http://backblaze.com )

Вариант "бэкап на свои сервера" я рассматриваю, но я совершенно не представляю, как конкурировать с Crashplan/Dropbox/Backblaze, поэтому пока ориентируюсь на корпоративный рынок, т.е. для свободного скачивания его не будет.

С другой стороны, клиент будет скорее всего opensource (дабы не возникало претензий к шифрованию), а формат очень простой - два файла, в одном шифрованные блобы данных, в другом хэши шифрованных данных и размеры блобов. И таких пар файликов N штук, по числу нод кластера. Там даже и документировать-то нечего.

_winnie August 16th, 2012
> десктоп-клиент честно позволяет выбрать сколько надо папок, и сложить куда надо.

У меня вот такая ошибка выскакивает:

---------------------------
System.UnauthorizedAccessException: Access to the path 'C:\Documents and Settings\Admin\Мои документы\geom' is denied.

at System.IO.__Error.WinIOError(Int32 errorCode, String maybeFullPath)

at System.IO.FileStream.Init(String path, FileMode mode, FileAccess access, Int32 rights, Boolean useRights, FileShare share, Int32 bufferSize, FileOptions options, SECURITY_ATTRIBUTES secAttrs, String msgPath, Boolean bFromProxy, Boolean useLongPath)

at System.IO.FileStream..ctor(String path, FileMode mode, FileAccess access, FileShare share)

at System.IO.File.ReadAllBytes(String path)

at CryptoBox.ChunkedFile.DetectChunks(Engine engine)

at CryptoBox.Engine.DoUpload(UploadTask task)
---------------------------
ОК
---------------------------

wizzard0 August 16th, 2012
Хм. Кажется, я забыл обновить ссылки на бинарникик. Судя по ошибке, версия десктоп-клиента тоже достаточно древняя.

Блин, полтретьего ночи, завтра на работу. Ладно, на выходных займусь.

UPD: Да, точно, забыл обновить. Пардон. Когда обновлю - отпишусь, ок?

Edited at 2012-08-16 11:34 pm (UTC)

wizzard0 August 16th, 2012
Короче, вот -
http://dl.dropbox.com/u/2641019/cryptobox-WindowsPrototype-120817-0242-winnie.zip
Подписывать бинарники сейчас лень.

local:///c:/tmp/fakeserver - это бекапить в папочку
http://unci.tvori.info/cryptobox/ и http://tvori.info/cryptobox/ - это, собственно, "в тучку".
http://localhost работать не будет ;)

Тут есть известный баг с тем, что файл целиком вычитывается в память, поэтому размер каждого отдельного файла ограничен. Размер одного захода по архивации - где-то до 20 гб.

А, да. Прямо сейчас трафик оно не экономит (хотя может), только место на destination ;)

Edited at 2012-08-16 11:48 pm (UTC)

_winnie August 16th, 2012
Спасибо большое :) Так торопится не надо, мне тоже на работу скоро :)

Я думаю о варианте rsync в локальную папку, а затем эту папку разложить по разным корзинам - на внешний жесткий диск этой тулзой, в backblaze или тп - их клиентом. Твоя же тулза сможет синхронизировать через какой-нибудь ssh-fs, я надеюсь.

Тулзы для бэкапа на жд можно продавать как шароварки :)

wizzard0 August 17th, 2012
> Тулзы для бэкапа на жд можно продавать как шароварки :)

Shareware-модель сейчас живет достаточно плохо. Может быть, это будет бесплатным довеском к подписке на сервис. Насчет тарифов - я раздумываю насчет "2 тб с бесконечной историей за $5, или бесконечное место за $25 в месяц", что-то в таком духе.

wizzard0 August 16th, 2012
> с исключениями из исключений

кстати, всегда удивляло, зачем это

вот backblaze простой и понятный, его поставил на машину и он ее бэкапит. всю. зачем о чем-то еще думать?

windows backup, впрочем, еще лучше - он бэкапит машину так, что ее можно восстановить на голый винт. тоже рекомендую использовать, благо бесплатен. также годен просто для миграции с железа на железо ;)

UPD: вспомнил про требование шифрование. нуу, ээ, windows backup позволяет бекапить на EFS :)
вопрос доверия к шифрованию бекблейза остается открытым, конечно

Edited at 2012-08-16 11:21 pm (UTC)

_winnie August 16th, 2012
> кстати, всегда удивляло, зачем это
> вот backblaze простой и понятный, его поставил на машину и он ее бэкапит. всю. зачем о чем-то еще думать?

Есть подозрение, что если я бэкаплю фотошоп или гугл-earth-кэш или коллекцию видеофильмов, или временные *.obj файлы комплятора C++, то что-то теряется во времени/трафике/деньгах :)

Вообще надо и то и другое. Моя мама не сможет выбрать что ей сохранять, она не знает где находится папка "рабочий стол", а я таки могу выбрать подмножество личных данных меньше десяти гигабайт, которые действительно жалко

wizzard0 August 16th, 2012
> или коллекцию видеофильмов, или временные *.obj файлы комплятора C++
Это звучит безумно, но пока что юзкейс, под который я буду оптимизировать, формулируется как "бэкапить временные файлы, образующиеся в процессе movie production". Комбинирует худшее из этих вариантов ;)

> Вообще надо и то и другое
Это да. В принципе, было бы забавно написать сервис, и отдать клиент сервиса на откуп комьюнити.

А изначальная задумка была что-то аля рапидшары, кстати.

  • 1
?

Log in

No account? Create an account