Sorunu çözdüm.
https://www.pisilinux.org/wiki/cont/81-pisi-linux-2-1-1-nvidia-surucuyu-nasil-kurdum-anlatisi.html
Linkindeki adımlardan 11. adımda -uninstall komutunu sona yazarak nvidia'yı kaldırdım. Kurulum sırasında /etc/modprobe.d/blacklist.conf dosyasında blacklist nouveau ibaresini eklemiştim. Başka bir linux distrodan dosyaya erişip bu ibareyi silerek nouveau driverın yüklenmesini sağladım. Pisim beni karşıladı :)