hse-python-assistant

Ссылки

Тестирующая система: https://dsworks.ru/champ/hse-2024-october
Лендинг: https://www.hse.ru/ai-assistant-hack-python/

Запуск

Клонирование репозитория

git clone https://git.xolostxutor.msk.ru/os.zakharov/hse-python-assistant
cd hse-python-assistant

Загрузка модели

Замените <your_path> на путь, куда хотите сохранить модель.

app/utils/download_model.sh <your_path>
cd <your_path>
tar -xzf qwen2.5-7b-instruct-hse-fine-tuned.tar.gz

Docker

Поменяйте путь в docker-compose.yaml на путь, где сохранена скачанная модель.

docker compose run app

Poetry

Поменяйте model_path в main.py на путь, где сохранена скачанная модель.

poetry install
poetry run python main.py

Структура проекта

.
├── app
│   ├── __init__.py
│   ├── models   <------------------------ Подключаемые модели
│   └── utils    <------------------------ Утилиты
├── data
│   ├── processed <----------------------- Промежуточный этап подготовки данных
│   └── raw <----------------------------- Исходные данные
│       ├── submit_example.csv
│       ├── test
│       │   ├── solutions.xlsx
│       │   ├── tasks.xlsx
│       │   └── tests.xlsx
│       └── train
│           ├── solutions.xlsx
│           ├── tasks.xlsx
│           └── tests.xlsx
├── main.py <---------------------------- [ВАЖНО] Именно этот скрипт мы будем запускать при проверке ваших решений. Он должен генерировать финальный сабмит.
├── notebooks
│   └── finetuning.ipynb <---------------------------- Процесс файнтюнинга модели
├── poetry.lock
├── pyproject.toml
├── README.md
└── tests
    ├── test_correctness.py <------------------------ Проверить на корректность сабмит
    └── test_embedding_generation.py <--------------- Попробовать генерацию эмбеддингов и подсчёт метрики