人によって態度を変える人について、相談させてください。

職場の50代男Nなのですが、最初に違和感を感じたのは何年か前に飲み会で、Nと、きれいで人格者な女性の間に、私が座っていた時です。
明らかにその女性と話したくて私にどいてほしそうな空気を全身から発していて、私はそのことに傷ついて飲み会を一人途中で抜けて一晩泣き続けました。

つまづいて周りのものを派手に倒してこけてしまい、足首を痛めてしばらく立ち上がれなかったとき。
一番近くにいたNはただ倒れて痛みに耐えている私をぼーーーっと見てるだけ。
遠くにいた店長が「大丈夫？！」と走ってきてくれただけでした。

Nは自分と気の合う人、か弱そうな女性などにはとても気さくで親切です。
意図的にやってるんじゃなく、素でそういう態度を取っているのが、はっきり伝わります。
Nと長い付き合いで気の合う店長は「Nさんはいい意味で子供なんだよねー」と微笑ましい感じで話してましたが、悪い意味でも本当にお子ちゃまです。

職種上、わーすごい、へえーそれでそれで？と男性を持ち上げ上手く立ち回る女性が多い環境にいます。
そういう女性たちに囲まれてチヤホヤされてきたんだろうなあという感じです。

私も昔は、女性はそういう風に男性を立てつつ手のひらの上で転がすような女性にならなければいけないんだな、と信じていた時代がありました。
でも自分の性別違和にはっきりと気づき、そういう間違った「女性像」なんかくそくらえと思っている今、いくらNに傷つけられても昔の無理していた自分に戻るつもりはありません。

でも態度を変えてくる人なんか気にする必要ない！っていくら気張っても一緒に仕事していると逆に気になってしまうし、休みの日も頭がいっぱいで悩んでしまいます。
目の前のやるべきことに集中しても、好きなことを思い切りやってみても、頭にこびりついて離れないのです。

たぶん子供時代の環境の影響が濃くて、気にしないようにするのが他の人よりかなり難しいんじゃないかと勝手に思ってます。

自分だけに態度を変えてくる人に対して、一切気にしないようにするには、割り切るには、これ以上どうすればいいでしょうか？
難しいかもしれませんがお知恵を貸してください。