たとえるなら
大きなビルの管理人のような存在です。テナント（アプリ）が「電気を使いたい」「荷物を届けたい」と言うたびに、管理人（OS）が設備への取り次ぎを一手に引き受けます。テナントはビルの配線や配管の仕組みを知らなくても営業できるのです。
もう少しくわしく
OS（オーエス）はオペレーティングシステムの略で、コンピューター全体を管理する基本ソフトです。画面の表示、キーボードやマウスの入力、ファイルの保存、メモリの割り当てといった土台の仕事をすべて引き受け、アプリはOSにお願いするだけでこれらの機能を使えます。
身近なOSには、パソコン向けのWindowsやmacOS、スマホ向けのiOSやAndroidがあります。同じアプリでも「iPhone版とAndroid版」が別々に作られるのは、OSが違うとお願いの仕方（作法）が違うためです。
そしてサーバーの世界では、Linux（リナックス）というOSが広く使われています。無料で使えて安定性が高く、世界中のWebサービスの裏側で動いています。エンジニアが黒い画面に文字を打ち込んで操作しているのは、多くの場合このLinuxのサーバーです。インフラエンジニアを目指すなら、最初に学ぶ定番の分野と言えます。
現場での使われ方
「このソフト、OSは何に対応してますか？」
Windows用かMac用か、どの基本ソフトの上で動くのかを確認する質問です。OSが違うと動かないソフトは珍しくありません。
「サーバーのOSはLinuxです」
このサーバーはWindowsではなくLinuxという基本ソフトで動いています、という構成の説明です。
よくある質問
OSとアプリの違いは何ですか？
OSはコンピューター全体を管理する土台のソフトで、アプリはその上で動く目的別のソフトです。家にたとえると、OSが土台と柱、アプリがその中に置く家具にあたります。
Linuxはなぜサーバーでよく使われるのですか？
無料で利用でき、長時間動かし続けても安定していて、細かい設定の自由度が高いためです。世界中の技術者が改良を重ねてきた歴史があり、サーバー用途の定番になっています。