was ich bisher übersehen hatte

Du drehst offensichtlich mit einer HM-Platte und das funktioniert. Dagegen sieht man beim Bild des HSS-Bohrers doch deutlich, dass das Werkstück den Bohrer bearbeitet hat -und nicht umgekehrt.
Daraus lässt sich ja nur schließen, dass das Material des Werkstücks zu hart für HSS ist aber nicht zu hart für HM. Und es erklärt zugleich warum Du drehen, aber nicht bohren konntest.
Was für eine Sorte Stahl das ist lässt sich aber schwer bestimmen. Gehärtet ist es aber wohl nicht, wie Deine Feilprobe gezeigt hat.
Zum bohren solltest Du daher ganz einfach VHM Bohrer verwenden.
Gruß Peter