已婚同事,三不五時的碰我手或肩膀一下

在公司上班
我的直屬上司是一位年輕男主管
他算是個好先生好爸爸型的
已婚有兩個小孩 老婆正懷孕中
他老婆在同一企業的分公司上班中
這個男主管的個性EQ很讚
明明忙到爆 但都不會亂發脾氣
頂多會到幾個同事身邊說自己今天好忙 忙了哪些事
正是因為這樣個性很討喜 所以對他沒有戒心
不過卻三不五時在跟我談公事時 會碰我一下
目前他對我已有小小的碰我肩膀或碰一下手軸
有一次他走路跟我相撞 撞到我手臂
他竟然反應是直接雙手拉著我的手臂說呼呼
我看他跟其他女同事說話都不會這樣
所以其實一些女同事看在眼裡也覺得奇怪
有在背後偷偷議論
也曾經聽到同事說他們那些男主管在背後討論我皮膚很白 看起來很像大學生
但我平時在公司很低調
都只穿牛仔褲與棉T與布鞋 不化粧 只上唇蜜
但今天比較誇張
他是直接無預警摸我臉一把
然後說真的都沒擦粉耶皮膚好好喔
旁邊還有女同事在 這樣又會被亂傳一堆吧
雖然我是可以有些感覺到他對我有好感
但這樣算不算性騷擾?
要直接跟他說請他下次不要這樣嗎?
不過他是我直屬男主管
說了會不會影響以後工作氣氛?