Setup uv TD info - Historique des versions

Jean-nicolas.strauss : tanche -> thon

2025-02-21T16:05:49Z

tanche -> thon

← Version précédente		Version du 21 février 2025 à 18:05
Ligne 84 :		Ligne 84 :
	disown %1		disown %1
	<ref>une variante est de rajouter -fN à la fin de la commande ssh pour avoir le tunnel ssh en arrière plan et se connecter en ssh simplement après, mais si ce commentaire vous semble du charabia oubliez le</ref>		<ref>une variante est de rajouter -fN à la fin de la commande ssh pour avoir le tunnel ssh en arrière plan et se connecter en ssh simplement après, mais si ce commentaire vous semble du charabia oubliez le</ref>
	Copier la ligne du genre http://localhost:8888/tree?token=36b32207109218c28fec0772a8471b320ec2177a27443e2f qui vient d'apparaître et dans vscode cliquer sur {{c\|Select kernel -> Existing jupyter server}} coller ce que vous venez de copier, dans la prochaine case nommez votre serveur (par exemple "thon v1"), et sélectionner kernel python. Le tour est joué, votre code est sauvé sur votre machine mais exécuté à distance sur ~~tanche~~. Si la dsi éteint l'ordi pendant les vacances alors vous aurez encore tout votre code.		Copier la ligne du genre http://localhost:8888/tree?token=36b32207109218c28fec0772a8471b320ec2177a27443e2f qui vient d'apparaître et dans vscode cliquer sur {{c\|Select kernel -> Existing jupyter server}} coller ce que vous venez de copier, dans la prochaine case nommez votre serveur (par exemple "thon v1"), et sélectionner kernel python. Le tour est joué, votre code est sauvé sur votre machine mais exécuté à distance sur thon. Si la dsi éteint l'ordi pendant les vacances alors vous aurez encore tout votre code.

	Pour tuer le serveur vous pouvez récupérer le PID de votre processus et le tuer avec		Pour tuer le serveur vous pouvez récupérer le PID de votre processus et le tuer avec

Jean-nicolas.strauss : ssh commet

2025-02-21T16:02:15Z

ssh commet

← Version précédente		Version du 21 février 2025 à 18:02
Ligne 83 :		Ligne 83 :
	uv run jupyter notebook --no-browser --port=8888 &		uv run jupyter notebook --no-browser --port=8888 &
	disown %1		disown %1
			<ref>une variante est de rajouter -fN à la fin de la commande ssh pour avoir le tunnel ssh en arrière plan et se connecter en ssh simplement après, mais si ce commentaire vous semble du charabia oubliez le</ref>
	Copier la ligne du genre http://localhost:8888/tree?token=36b32207109218c28fec0772a8471b320ec2177a27443e2f qui vient d'apparaître et dans vscode cliquer sur {{c\|Select kernel -> Existing jupyter server}} coller ce que vous venez de copier, dans la prochaine case nommez votre serveur (par exemple "thon v1"), et sélectionner kernel python. Le tour est joué, votre code est sauvé sur votre machine mais exécuté à distance sur tanche. Si la dsi éteint l'ordi pendant les vacances alors vous aurez encore tout votre code.		Copier la ligne du genre http://localhost:8888/tree?token=36b32207109218c28fec0772a8471b320ec2177a27443e2f qui vient d'apparaître et dans vscode cliquer sur {{c\|Select kernel -> Existing jupyter server}} coller ce que vous venez de copier, dans la prochaine case nommez votre serveur (par exemple "thon v1"), et sélectionner kernel python. Le tour est joué, votre code est sauvé sur votre machine mais exécuté à distance sur tanche. Si la dsi éteint l'ordi pendant les vacances alors vous aurez encore tout votre code.

Jean-nicolas.strauss : relecture

2025-02-21T15:59:03Z

relecture

← Version précédente		Version du 21 février 2025 à 17:59
Ligne 8 :		Ligne 8 :
	== Identifier ce qui prend de la place ==		== Identifier ce qui prend de la place ==

	du -hc ~/ 2>/dev/null \| grep -E '^([0-9]\|,\|\.)+G'		du -hc ~/ 2>/dev/null \| grep -E 'f^([0-9]\|,\|\.)+G'

	Cette commande permet de savoir ce qui fait au moins un giga dans ses dossiers.		Cette commande permet de savoir ce qui fait au moins un giga dans ses dossiers.
Ligne 20 :		Ligne 20 :
	== Introduction ==		== Introduction ==

	[https://docs.astral.sh/uv/ uv] est un "An extremely fast Python package and project manager, written in Rust."		[https://docs.astral.sh/uv/ uv] est un "extremely fast Python package and project manager, written in Rust." (source leur doc)
	Il permet de gérer plusieurs versions de python, plusieurs versions des paquets, des environnements de dev, de prod, le tout en étant incomparablement plus rapide que vanilla pip ou que poetry... Bref je [l'auteur de ce tuto, ndlr] suis fan.		Il permet de gérer plusieurs versions de python, plusieurs versions des paquets, des environnements de dev, de prod, le tout en étant incomparablement plus rapide que vanilla pip ou que poetry... Bref je [l'auteur de ce tuto, ndlr] suis fan.

Ligne 41 :		Ligne 41 :
	=== Ajout d'un paquet au venv ===		=== Ajout d'un paquet au venv ===

	Oubliez pip install faites place à {{c\|uv add}}, par ~~expemple~~ pour ajouter ~~pytorch~~		Oubliez pip install faites place à {{c\|uv add}}, par exemple pour ajouter PyTorch
	uv add torch		uv add torch
	Pour vérifier qu'il a bien été ajouté au projet vous pouvez consulter le {{c\|pyproject.toml}} et voir que le paquet à bien été ajouté avec la bonne version.		Pour vérifier qu'il a bien été ajouté au projet vous pouvez consulter le {{c\|pyproject.toml}} et voir que le paquet à bien été ajouté avec la bonne version.
Ligne 73 :		Ligne 73 :
	== uv et git ==		== uv et git ==

	~~quand~~ on exécute la commande {{c\|uv init}} il crée aussi un repo git. Profitez-en !! Apprenez à utiliser [[git]] pour ne pas perdre votre travail, à chaque itération et comparer ce que vous avez fait à chaque modification.		Quand on exécute la commande {{c\|uv init}} il crée aussi un repo git. Profitez-en !! Apprenez à utiliser [[git]] pour ne pas perdre votre travail, à chaque itération et comparer ce que vous avez fait à chaque modification.

	== Lancement de jupyter avec uv - execution de code à distance ==		== Lancement de jupyter avec uv - execution de code à distance ==

Jean-nicolas.strauss le 21 février 2025 à 15:46

2025-02-21T15:46:27Z

← Version précédente		Version du 21 février 2025 à 17:46
Ligne 29 :		Ligne 29 :
	C'est tout		C'est tout

	== Initialisation d'un ~~Projet~~ avec uv ==		== Initialisation d'un projet avec uv ==

	Pour initialiser un nouveau projet avec uv, suivez ces étapes :		Pour initialiser un nouveau projet avec uv, suivez ces étapes :

Jean-nicolas.strauss le 21 février 2025 à 15:44

2025-02-21T15:44:59Z

← Version précédente		Version du 21 février 2025 à 17:44
Ligne 17 :		Ligne 17 :

	Mais plus puissant que pip est {{c\|uv}}.		Mais plus puissant que pip est {{c\|uv}}.
			= uv =
	= Introduction =		== Introduction ==

	[https://docs.astral.sh/uv/ uv] est un "An extremely fast Python package and project manager, written in Rust."		[https://docs.astral.sh/uv/ uv] est un "An extremely fast Python package and project manager, written in Rust."

Jean-nicolas.strauss : changement de l'arborescence

2025-02-21T15:44:38Z

changement de l'arborescence

← Version précédente		Version du 21 février 2025 à 17:44
Ligne 18 :		Ligne 18 :
	Mais plus puissant que pip est {{c\|uv}}.		Mais plus puissant que pip est {{c\|uv}}.

	== Introduction ==		= Introduction =

	[https://docs.astral.sh/uv/ uv] est un "An extremely fast Python package and project manager, written in Rust."		[https://docs.astral.sh/uv/ uv] est un "An extremely fast Python package and project manager, written in Rust."

Jean-nicolas.strauss : tanche -> thon

2025-02-21T15:43:24Z

tanche -> thon

← Version précédente		Version du 21 février 2025 à 17:43
Ligne 77 :		Ligne 77 :
	== Lancement de jupyter avec uv - execution de code à distance ==		== Lancement de jupyter avec uv - execution de code à distance ==
	Pour les personnes qui ont tellement streamliné leur processus de développement avec un environement de dev sur leur machine mais un serveur jupyter distant pour exécuter le code.		Pour les personnes qui ont tellement streamliné leur processus de développement avec un environement de dev sur leur machine mais un serveur jupyter distant pour exécuter le code.
	ssh -L localhost:8888:localhost:8888 prenom.nom@~~tanche~~.polytechnique.fr		ssh -L localhost:8888:localhost:8888 prenom.nom@thon.polytechnique.fr
	cd foo/bar		cd foo/bar
	uv init		uv init
Ligne 83 :		Ligne 83 :
	uv run jupyter notebook --no-browser --port=8888 &		uv run jupyter notebook --no-browser --port=8888 &
	disown %1		disown %1
	Copier la ligne du genre http://localhost:8888/tree?token=36b32207109218c28fec0772a8471b320ec2177a27443e2f qui vient d'apparaître et dans vscode cliquer sur {{c\|Select kernel -> Existing jupyter server}} coller ce que vous venez de copier, dans la prochaine case nommez votre serveur (par exemple "~~tanche~~ v1"), et sélectionner kernel python. Le tour est joué, votre code est sauvé sur votre machine mais exécuté à distance sur tanche. Si la dsi éteint l'ordi pendant les vacances alors vous aurez encore tout votre code.		Copier la ligne du genre http://localhost:8888/tree?token=36b32207109218c28fec0772a8471b320ec2177a27443e2f qui vient d'apparaître et dans vscode cliquer sur {{c\|Select kernel -> Existing jupyter server}} coller ce que vous venez de copier, dans la prochaine case nommez votre serveur (par exemple "thon v1"), et sélectionner kernel python. Le tour est joué, votre code est sauvé sur votre machine mais exécuté à distance sur tanche. Si la dsi éteint l'ordi pendant les vacances alors vous aurez encore tout votre code.

	Pour tuer le serveur vous pouvez récupérer le PID de votre processus et le tuer avec		Pour tuer le serveur vous pouvez récupérer le PID de votre processus et le tuer avec

Jean-nicolas.strauss : /* Lancement de jupyter avec uv - execution de code à distance */

2025-02-21T15:42:10Z

Lancement de jupyter avec uv - execution de code à distance

← Version précédente		Version du 21 février 2025 à 17:42
Ligne 84 :		Ligne 84 :
	disown %1		disown %1
	Copier la ligne du genre http://localhost:8888/tree?token=36b32207109218c28fec0772a8471b320ec2177a27443e2f qui vient d'apparaître et dans vscode cliquer sur {{c\|Select kernel -> Existing jupyter server}} coller ce que vous venez de copier, dans la prochaine case nommez votre serveur (par exemple "tanche v1"), et sélectionner kernel python. Le tour est joué, votre code est sauvé sur votre machine mais exécuté à distance sur tanche. Si la dsi éteint l'ordi pendant les vacances alors vous aurez encore tout votre code.		Copier la ligne du genre http://localhost:8888/tree?token=36b32207109218c28fec0772a8471b320ec2177a27443e2f qui vient d'apparaître et dans vscode cliquer sur {{c\|Select kernel -> Existing jupyter server}} coller ce que vous venez de copier, dans la prochaine case nommez votre serveur (par exemple "tanche v1"), et sélectionner kernel python. Le tour est joué, votre code est sauvé sur votre machine mais exécuté à distance sur tanche. Si la dsi éteint l'ordi pendant les vacances alors vous aurez encore tout votre code.

			Pour tuer le serveur vous pouvez récupérer le PID de votre processus et le tuer avec
			kill $(jobs -l \| cut -d ' ' -f 2)
			ou alors le tuer avec {{c\|pkill uv}} mais vous allez aussi tuer les processus des autres ce qui est pas cool, donc évitez svp

	Attention : pensez à régulièrement synchroniser votre pyproject.toml (avec git par exemple) pour que les versions que vous ajoutez sur votre dossier local (sur votre ordinateur) soit les mêmes que celles que fait tourner uv sur l'ordi du labo.		Attention : pensez à régulièrement synchroniser votre pyproject.toml (avec git par exemple) pour que les versions que vous ajoutez sur votre dossier local (sur votre ordinateur) soit les mêmes que celles que fait tourner uv sur l'ordi du labo.

Jean-nicolas.strauss : Ajout du dev à distance

2025-02-21T15:35:58Z

Ajout du dev à distance

← Version précédente		Version du 21 février 2025 à 17:35
Ligne 67 :		Ligne 67 :
	uv add torch --no-cache		uv add torch --no-cache
	Voire même en lui spécifiant le dossier de cache que vous voulez utiliser (cf la doc de uv)		Voire même en lui spécifiant le dossier de cache que vous voulez utiliser (cf la doc de uv)

			== Utilisation du venv dans vscode ==
			Une fois que uv a créé le venv vous pouvez l'utiliser comme un venv normal avec vscode en précisant le chemin de votre venv s'il n'est pas dans votre dossier de travail.

			== uv et git ==

			quand on exécute la commande {{c\|uv init}} il crée aussi un repo git. Profitez-en !! Apprenez à utiliser [[git]] pour ne pas perdre votre travail, à chaque itération et comparer ce que vous avez fait à chaque modification.

			== Lancement de jupyter avec uv - execution de code à distance ==
			Pour les personnes qui ont tellement streamliné leur processus de développement avec un environement de dev sur leur machine mais un serveur jupyter distant pour exécuter le code.
			ssh -L localhost:8888:localhost:8888 prenom.nom@tanche.polytechnique.fr
			cd foo/bar
			uv init
			uv add jupyter
			uv run jupyter notebook --no-browser --port=8888 &
			disown %1
			Copier la ligne du genre http://localhost:8888/tree?token=36b32207109218c28fec0772a8471b320ec2177a27443e2f qui vient d'apparaître et dans vscode cliquer sur {{c\|Select kernel -> Existing jupyter server}} coller ce que vous venez de copier, dans la prochaine case nommez votre serveur (par exemple "tanche v1"), et sélectionner kernel python. Le tour est joué, votre code est sauvé sur votre machine mais exécuté à distance sur tanche. Si la dsi éteint l'ordi pendant les vacances alors vous aurez encore tout votre code.

			Attention : pensez à régulièrement synchroniser votre pyproject.toml (avec git par exemple) pour que les versions que vous ajoutez sur votre dossier local (sur votre ordinateur) soit les mêmes que celles que fait tourner uv sur l'ordi du labo.

Jean-nicolas.strauss : Création page stockage salles de TP et installation uv

2025-02-21T15:23:47Z

Création page stockage salles de TP et installation uv

Nouvelle page

= Gérer son stockage sur les ordis des labos =

C'est un des problèmes les plus communs de l'X que de se retrouver avec une erreur du genre {{c|Disk quota exceeded (os error 122)}}.
Ce qu'il se passe c'est qu'il y a 30Go partagés par tous les ordis des salles de TP, donc si vous mettez un fichier dans {{c|~/foo/bar}} vous allez le retrouver dans tous les autres ordis, c'est notamment le cas du dossier {{c|.ssh}} et le dossier {{c|.config}}. Cependant sur chaque ordi est présent un {{c|/Data}} de très grande taille ou tout le monde peut travailler.

Pour résoudre le problème de manque de place plusieurs étapes

== Identifier ce qui prend de la place ==

du -hc ~/ 2>/dev/null | grep -E '^([0-9]|,|\.)+G'

Cette commande permet de savoir ce qui fait au moins un giga dans ses dossiers.

Si c'est pip qui prend trop de place on peut exécuter
pip cache purge
pour nettoyer un peu tout ces vieux paquets dont on ne se sert plus.

Mais plus puissant que pip est {{c|uv}}.

== Introduction ==

[https://docs.astral.sh/uv/ uv] est un "An extremely fast Python package and project manager, written in Rust."
Il permet de gérer plusieurs versions de python, plusieurs versions des paquets, des environnements de dev, de prod, le tout en étant incomparablement plus rapide que vanilla pip ou que poetry... Bref je [l'auteur de ce tuto, ndlr] suis fan.

== Installation de uv ==

Pour installer UV :
curl -LsSf https://astral.sh/uv/install.sh | sh
C'est tout

== Initialisation d'un Projet avec uv ==

Pour initialiser un nouveau projet avec uv, suivez ces étapes :

mkdir projet-de-ouf
cd projet-de-ouf
uv init

uv s'occupe des conflits de dépendances, de l'installation des paquets, de la gestion du venv, le tout avec le {{c|pyproject.toml}} qui est son fichier de configuration, qu'il gère automatiquement.

=== Ajout d'un paquet au venv ===

Oubliez pip install faites place à {{c|uv add}}, par expemple pour ajouter pytorch
uv add torch
Pour vérifier qu'il a bien été ajouté au projet vous pouvez consulter le {{c|pyproject.toml}} et voir que le paquet à bien été ajouté avec la bonne version.
Attention : le venv n'est pas créé jusqu'à ce que vous demandiez à uv d'exécuter quelque chose comme le hello.py qu'il crée automatiquement ou juste python
uv run python
uv run python hello.py
Mais pas besoin de créer le venv pour configurer tous les paquets

=== Changement de la version de python ===
uv créé automatiquement un {{c|.python-version}} dans lequel il suppose la version de python qui vous intéresse, si vous voulez la changer, vous pouvez le faire dans ce fichier. Attention cependant à modifier conjointement le {{c|pyproject.toml}} pour les dépendances et bien préciser que les versions des paquets doivent être compatibles avec toutes les versions de python à partir de 3.8 si vous voulez, même si la version de python est 3.12.

=== Execution d'un programme ===
Pour exécuter un programme qui s'appelle {{c|hello.py}} par exemple
uv run python hello.py

Si le venv n'a pas été créé avant c'est maintenant que uv va le créer et installer les paquets avec les versions spécifiées dans le {{c|pyproject.toml}}

=== Attention ===
La commande {{c|uv pip install}} existe encore mais ne rajoute pas le paquet au venv elle va l'installer, mais vous ne saurez pas quelle version, cette commande est donc à remplacer par {{c|uv add}}

== Gestion du cache ==

Un des atouts de uv est qu'il a une très bonne gestion du cache, pour que l'installation de paquets donc vous avez souvent besoin soit plus rapide. Seul bémol cela peut remplir votre {{c|~/.cache}}. Si vous voulez nettoyer le cache vous pouvez exécuter {{c|uv cache purge}} ce qui est un peu agressif, ou lire [https://docs.astral.sh/uv/concepts/cache/ la documentation de uv sur le cache].
Vous pouvez aussi installer un paquet sans le 'cacher' avec
uv add torch --no-cache
Voire même en lui spécifiant le dossier de cache que vous voulez utiliser (cf la doc de uv)

Setup uv TD info - Historique des versions

Jean-nicolas.strauss : tanche -> thon

Jean-nicolas.strauss : ssh commet

Jean-nicolas.strauss : relecture

Jean-nicolas.strauss le 21 février 2025 à 15:46

Jean-nicolas.strauss le 21 février 2025 à 15:44

Jean-nicolas.strauss : changement de l'arborescence

Jean-nicolas.strauss : tanche -> thon

Jean-nicolas.strauss : /* Lancement de jupyter avec uv - execution de code à distance */

Jean-nicolas.strauss : Ajout du dev à distance

Jean-nicolas.strauss : Création page stockage salles de TP et installation uv

Jean-nicolas.strauss : tanche -> thon

Jean-nicolas.strauss : ssh commet

Jean-nicolas.strauss : relecture

Jean-nicolas.strauss : changement de l'arborescence

Jean-nicolas.strauss : tanche -> thon

Jean-nicolas.strauss : /* Lancement de jupyter avec uv - execution de code à distance */

Jean-nicolas.strauss : Ajout du dev à distance

Jean-nicolas.strauss : Création page stockage salles de TP et installation uv