dockerコンテナにホストマシンのGPUを認識させたい時は--gpusオプションで対象のGPUを指定する。利用可能な全てのGPUを使わせたい場合はall
docker run -it --rm --gpus all ubuntu nvidia-smi
デバイスを指定する場合
docker run -it --rm --gpus device=GPU-3a23c669-1f69-c64e-cf85-44e9b07e7a2a ubuntu nvidia-smi
docker run -it --rm --gpus '"device=0,2"' ubuntu nvidia-smi
これに気付かなくて何時間もハマってしまった....