[NetRocks] Implement server-side copy in FISH/SHELL protocol + PowerShell support

[unxed]

Just as #3163:

For example, it will allow you to work from WSL with the host system's FS at native speed.

, but less complicated implementation possible and SSH server can be installed on recent Windows quite easily.

Will require reimplementing remote.sh in PowerShell.

Advantages comparing to other protocols supporting server side copy:

Over NFS:

• available only in server Windows editions

Over SMB:

• you do not need to setup shares

[unxed]

Server side copy is also proposed for sftp, but I do not know if any implementations exist

[unxed]

@elfmz только вообразите мощь этой штуки: файловые операции с нативной скоростью на всём, на чем в состоянии запуститься ssh сервер. Космос же! Для штук типа поиска файлов тоже кстати такой оффлоад на сервер можно сделать. А ещё пользователи WSL смогут работать с ФС Винды с нативной скоростью, чего из файловых менеджеров не предлагает по-моему вообще никто. И для совсем слабеньких роутеров хорошо будет.

Такой WinFISH. FISH 2.0 :)

[unxed]

PoC:

$buf=New-Object byte[] 256;$f=[IO.File]::OpenRead("A.bin");$f.Seek(1024,0)|Out-Null;$r=$f.Read($buf,0,256);$f.Close();$g=[IO.File]::Open("B.bin",'Append');$g.Write($buf,0,$r);$g.Close()

Этот однострочник на PowerShell читает N байт по смещению M из файла A и дописывает в файл B.

Его есть куда дорабатывать и оптимизировать, но даже в простейшем виде это гораздо, гораздо эффективнее гоняния туда-сюда данных по сети.

А учитывая, что у нас прогресс бар в процентах, размер чанка можно делать в 1/100 всего файла, тогда UX по сравнению с обычным копированием почти не пострадает, а число операций открыть-закрыть файл так в теории можно снизить, это дополнительно ускорит. И чтоб можно было задавать в настройках верхний и нижний пределы размера чанка (и галку "нижний равен верхнему"). И обработку ошибок надо добавить, конечно

[unxed]

Можно ещё кстати ускорить: вместо того чтобы клиент запрашивал каждый чанк (что может заметно снизить скорость из-за Ping/RTT, особенно, на мелких чанках), мы отправляем на сервер скрипт, который делает всё копирование локально, но после каждого записанного блока выводит в консоль текущую позицию.

[unxed]

Тут дошло, что можно даже с сервера на сервер сделать без загрузки себе: идём по ssh на любой из серверов (мы же знаем credentials их обоих в этот момент), оттуда цепляется ко второму по ssh, заливаем туда наш fish скрипт, и вуаля, можно напрямую заливать на второй сервер с первого.

Идеально вписывается в философию проекта «любим неразрешимые задачи, готовы к неожиданным решениям»!