64 lines
2.4 KiB
Markdown
64 lines
2.4 KiB
Markdown
# hse-python-assistant
|
|
|
|
## Ссылки
|
|
|
|
Тестирующая система: https://dsworks.ru/champ/hse-2024-october \
|
|
Лендинг: https://www.hse.ru/ai-assistant-hack-python/
|
|
|
|
## Запуск
|
|
### Клонирование репозитория
|
|
```
|
|
git clone https://git.xolostxutor.msk.ru/os.zakharov/hse-python-assistant
|
|
cd hse-python-assistant
|
|
```
|
|
|
|
### Загрузка модели
|
|
Замените `<your_path>` на путь, куда хотите сохранить модель. После скачивания поменяйте `model_path` в `main.py` на путь, где сохранена скачанная модель.
|
|
```
|
|
app/utils/download_model.sh <your_path>
|
|
cd <your_path>
|
|
tar -xzf qwen2.5-7b-instruct-hse-fine-tuned.tar.gz
|
|
```
|
|
|
|
### Docker
|
|
```
|
|
docker compose up
|
|
```
|
|
|
|
### Poetry
|
|
```
|
|
poetry install
|
|
poetry run python main.py
|
|
```
|
|
|
|
## Структура проекта
|
|
|
|
```
|
|
.
|
|
├── app
|
|
│ ├── __init__.py
|
|
│ ├── models <------------------------ Подключаемые модели
|
|
│ └── utils <------------------------ Утилиты
|
|
├── data
|
|
│ ├── processed <----------------------- Промежуточный этап подготовки данных
|
|
│ └── raw <----------------------------- Исходные данные
|
|
│ ├── submit_example.csv
|
|
│ ├── test
|
|
│ │ ├── solutions.xlsx
|
|
│ │ ├── tasks.xlsx
|
|
│ │ └── tests.xlsx
|
|
│ └── train
|
|
│ ├── solutions.xlsx
|
|
│ ├── tasks.xlsx
|
|
│ └── tests.xlsx
|
|
├── main.py <---------------------------- [ВАЖНО] Именно этот скрипт мы будем запускать при проверке ваших решений. Он должен генерировать финальный сабмит.
|
|
├── notebooks
|
|
│ └── finetuning.ipynb <---------------------------- Процесс файнтюнинга модели
|
|
├── poetry.lock
|
|
├── pyproject.toml
|
|
├── README.md
|
|
└── tests
|
|
├── test_correctness.py <------------------------ Проверить на корректность сабмит
|
|
└── test_embedding_generation.py <--------------- Попробовать генерацию эмбеддингов и подсчёт метрики
|
|
```
|