Das Problem ist wohl Windows selber.
In diesem Falle ausgerechnet mal nicht.
Das Problem ist eher die Kamera. Wenn ich Bilder jenseits von Porträt oder Landschaft mache, könne die auch irgendwie schräg sein (z.B. Detailfotos vom Fahrrad). Dann zeigt der Lagesensor irgendeine undefinierte Lage, die in das Bild geschrieben wird.
Ich habe noch mal recherchiert: Ausschalten lässt sich der Lagesensor wohl nicht. Man kann nur in der Kamera einstellen, wie das Bild angezeigt wird, aber die EXIF-Daten werden in jedem Falle geschrieben.

Wobei ich mich frage, wer auf die selten bescheuerte Idee kommt, sich ein Hochformatbild auf dem kleinen Querformat-Display der Kamera auch im Hochformat anzeigen zu lassen...

Dass man die EXIF-Daten in PS nicht ignoieren kann, ist zusätzlich eine äußerst schwache Leistung.
Gruß
Thoralf