keep to oneself

to keep (oneself) to oneself — сторониться людей, избегать общества, держаться особняком; быть замкнутым, необщительным, предпочитать одиночество; ~ уйти в себя; ~ жить отшельником

Example 1: They say that Samurai's sword is his soul. I've tried to write about them, but they keep to themselves. — Говорят, душа самурая в его мече. Я пытался написать о них книгу, но они сторонятся чужих | живут сами по себе.The Last Samurai, 2002
Example 2: ...

See also
[оторваться от коллектива]
[оставаться в стороне]