Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Check the contents of notebooks for LLM tuning #84

Closed
Vl-Tershch opened this issue Dec 19, 2024 · 3 comments · Fixed by #86
Closed

Check the contents of notebooks for LLM tuning #84

Vl-Tershch opened this issue Dec 19, 2024 · 3 comments · Fixed by #86
Assignees
@MrMegnis
Labels
fix fix a bug in the codebase LLM Working with LLM
Milestone
Edulytica_2024_2025

Comments

@Vl-Tershch
Copy link
Collaborator

Vl-Tershch commented Dec 19, 2024 •
edited
Loading

Задача: Проверить содержимое ноутбуков для дообучения больших языковых моделей.
Необходимо еще раз проверить их на наличие персонализированных данных и почистить в случае необходимости. Эти ноутбуки должны запускаться с нуля у любых пользователей без ошибок.
Ноутбуки в директории /tuning.

It is necessary to check them again for the presence of personalized data and clean them if necessary. These notebooks should be started from scratch by any users without errors.
Notebooks in the /tuning directory.
@Vl-Tershch Vl-Tershch added fix fix a bug in the codebase LLM Working with LLM labels Dec 19, 2024
@Vl-Tershch Vl-Tershch added this to the Edulytica_2024_2025 milestone Dec 19, 2024
@MrMegnis
Copy link
Contributor

Запустил нуотбуки на своей машине, выяснил, что очень много зависит именно от системы (как минимум cuda, а также transformers отказывается работать с путями на кириллице).

Есть несколько предложений:

  1. Прописать текущие версии в requirements, но в .md написать, что может потребоваться обновить версии библиотек
  2. Сделать загрузку в ноутбуках только последних версий библиотек. Но в таком случае в будущем ноутбуки могут сломаться

@MrMegnis
Copy link
Contributor

Сейчас ещё попробую установить все зависимости, которые есть на kaggle, посмотрю запустится ли

@Vl-Tershch
Copy link
Collaborator Author

Выяснили, что ноутбуки зависят от версии cuda. Решили, что в ноутбуках/requirements проставим базовую версию, и добавим .md файл с описанием возможных решений проблемы для пользователей.

@MrMegnis MrMegnis linked a pull request Dec 30, 2024 that will close this issue
Tuning notebooks fix #86
Merged
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@MrMegnis MrMegnis

Labels
fix fix a bug in the codebase LLM Working with LLM
Projects
None yet
Milestone
Edulytica_2024_2025
Development

Successfully merging a pull request may close this issue.

Tuning notebooks fix aimclub/Edulytica
2 participants
@Vl-Tershch @MrMegnis