надо, что-то типа бэкграунд Thread, но на корутина...
# russiana
Alexjok
11/26/2018, 1:01 PMнадо, что-то типа бэкграунд Thread, но на корутинах
g
gildor
11/26/2018, 1:33 PMКорутины уже могут работать как бэкграунд тред
gildor
11/26/2018, 1:34 PMНепонятна суть проблему, почему при загрузке нескольких файлов у вас появляются битые файлы
a
Alexjok
11/26/2018, 1:56 PMПриложение на spring и я погуглил, вроде как высвобождаются ресурсы после ответа от контроллера, поэтому файлы могу не дозаписываться. Но мне кажется в другом проблема все таки. Если загружать один файл размером 300mb, то все ок он запишется спустя какое-то время, а если за ним сразу загрузить второй, то не запишутся оба... Для загрузки файла использую, что-то типа launch { Files().write(path, bytes) }.start
g
gildor
11/26/2018, 2:15 PMЗачем нужен start? Launch и так по умолчанию стартует и этот код выполнится в бэкграунде
a
Alexjok
11/26/2018, 2:24 PMможно и убрать, но проблемы это не решит)
Alexjok
11/26/2018, 2:27 PMЯ думаю, что происходит примерно следующее: файл передается в launch и не успевает записаться т.к это всего лишь ссылка на MultipartFile, пока считывается ByteArray туда прилетает уже следующий запрос с другим файлом и перезаписывает предыдущий, ресурсы высвобождаются и короче трындец наступает.
Alexjok
11/26/2018, 2:27 PMпросто как версия
g
gildor
11/26/2018, 2:53 PMЯ не знаю как спринг менеджерит такие ресурсы, т.е. вы записываете файл от юзера полученный в реквесте? Если так, то конечно возвращать результат нельзя, пока файл не скачан и не закеширован на диск, иначе просто запрос прервется
a
Alexjok
11/26/2018, 3:13 PMАндрей, все верно)
g
gildor
11/27/2018, 1:56 AMну тогда нужно для начала дождаться получение всего запроса, закешировать файл, и только после этого отвечать то что вы хотите, т.е. можно сэкономить только на времени процессинга данных юзера, но нельзя ответить пок все данные не получены.
Если есть какой то процессинг, то launch вполне подойдет как просто замена бэкграунд треду, можно конечно сделать более продакшн реди решение, и слать закешированые файлы в канал, а из него будут воркеры брать данные и процесить, это что бы решить проблема слишком большого числа процессоров
a
Alexjok
11/27/2018, 7:18 AMЯ вчера начал в эту же сторону копать, но все равно не до конца понимаю. Если нам от юзера прилетает файл и дальше мы его закинем в channel, то все равно, если сразу после этого прилетит второй файл от того же юзера у нас ссылка переопределиться и мы будем в другое место памяти смотреть. Поправьте если неправ
g
gildor
11/27/2018, 7:20 AMДля начала нужно понять что такое “от юзера прилетает файл”
gildor
11/27/2018, 7:21 AMэто файл уже записаный на диск из юзерского запроса?
gildor
11/27/2018, 7:32 AMесли сразу после этого прилетит второй файл от того же юзера у нас ссылка переопределиться и мы будем в другое место памяти смотретьтут в любом случае каждый файл нужно пписать с уникальным именем, тут корутины и каналы не причем
gildor
11/27/2018, 7:33 AMну т.е. или каждый файл по своему пути, или просто не обрабатывать новые запросы, ппока предыдущие не обработаны, но наврядли такой вариант имеет смысл, так как будет пользовательские запросы задерживать
Поэтому просто все полученые файлы ппо уникальному имени, потом передаете в канал, из которого воркеры их берут, процесят и удаляют к примеру времененные файлы
a
Alexjok
11/27/2018, 8:28 AMСмотрите, пользователь делает upload со своей локальной машины, далее файл из контроллера я передаю в процессинговую часть, там очень быстро разбирается мета инфа файла и ему присваивается уникальное имя, запись мета информации в БД происходит до записи файла на диск, то есть в принципе ничего не мешает вернуть ответ юзеру с сылкой на загруженный файл, а файл потихоньку загрузить в фоне. Но, если этот же самый юзер в рамках своей сессии, сразу закинет еще один файл, то я не очень понимаю как дописать предыдущий файл т.к новый файл переопределит ссылку записываемого файла в heap jvm... Если только каждый раз делать копию объекта и пихать его в worker.
g
gildor
11/27/2018, 8:29 AMничего не мешает вернуть ответ юзеру с сылкой на загруженный файл, а файл потихоньку загрузить в фонеНе представляю как это может работать в рамках HTTP запросов. В HTTP ответ всегда следует за запросом, не возможно прочитав часть запроса, сделать ответ и потом вернуться к получению запроса
gildor
11/27/2018, 8:30 AMи тут дело не во множественных запросах, а просто в том как http работает
a
Alexjok
11/27/2018, 8:31 AMну скажем, если сразу второй файл не отправлять, то все работает нормально. Я генерирую мета инфу и отдаю ее, а файл становится доступен только после загрузки
Alexjok
11/27/2018, 8:31 AMв любом случае это неправильно, тут Вы правы
g
gildor
11/27/2018, 8:32 AMчто-то я очень в этом сомневаюсь, видимо просто ответ не уходит пока вы его читаете или еще нечто подобное
gildor
11/27/2018, 8:33 AMнужно сперва полностью получить файл, паралельно, даже не дожидаясь записи всего файла на диск/память можно сгенерить мета данне, записать их в базу, как только мета данные будут готовы и сам файл будут кеширован, вы можете вернуть юзеру ответ и отправить данные в процессор, тоже паралельно
gildor
11/27/2018, 8:34 AMно возвращать ответ, не дождавшись загрузки запроса точно не правильно
gildor
11/27/2018, 8:37 AMМожет быть какие то более хитрые вещи, вроде мультиплексирования через HTTP/2 позволят такое сделать (вернуть ответ, паралельно читая запрос), но мне кажется клиент тоже должен такое поддерживать и все равно не уверен что это татк просто, а главное зачем клиенту знать эту самую мету, пока файл еще даже не загружен, потому что если загрузка оборвется, то файл надо будет загружать повторно, или даже с поддержкой докачки и не понятно что там будет с этой метаинформацией, которую вы уже венули
l
lex
12/04/2018, 3:48 AMможно вернуть из контроллера Mono/CompletableFeature и разрешить их по факту завершения launch{} таска
4 Views