Для винды то понятно, а линукс как файлы распознаёт?

анализом содержимого;) есть даже специальная утилита file, являющаяся стандартной утилитой оболочки в любом linuxe, она определяет типы файлов.

Допустим обычный текстовый файл открывается редактором(не знаю какой там) а я хочу поставить другой редактор. И как заставить систему определять что определённые текстовые файлы надо открывать нужной мне программой, а не по умолчанию?

тут ты очевидно имеешь в виду как это сделать в gui, ибо в консоли нет никаких "по умолчанию" - там чтобы открыть/запустить файл надо "сказать" системе как и чем это сделать. а вот в графической оболочке - это надо смотреть в настройках и задавать, но графических оболочек много и везде по разному. чаще всего, надо обратиться к документации, если методом тыка не получается найти эти самые настройки.

А разве нет эмулятора виндоусовских программ? ехе-файлы по моему можно запускать в линуксе...

есть эмуляторы, но зачем изобретать "лисапед", если большинство прикладных программ есть под линукс, а эмуляторы и виртуальные машины нужны пожалуй только для игр, написанных под винду. exe файл - это исполняемый файл, в линукс такие файлы и понимаются как исполняемые файлы, которые обрабатываются ядром. но в прикладных программах помимо самих исполняемых файлов есть еще куча других файлов необходимых для работы программ. проблема в том,что написаное для винды использует системные библиотеки и функции винды и поэтому не работает под линухом.