UbuntuではVPN設定に初期状態でL2TPのオプションがないので、L2TPのマネージャをインストール必要があります。

$ sudo apt install network-manager-l2tp

上記のコマンドを実行すると、VPNの設定画面にL2TPの設定が追加されます。
さあこれで設定できる！と開いたら、L2TPの設定画面でこんなエラーが。

エラー:VPN接続エディターを読み込めません

うおお、これではVPNの設定ができないではないか…

解決策

上記示したnetwork-manager-l2tpの他にもう一つ、network-manager-l2tp-gnomeをインストールする必要があったようです。

sudo apt install network-manager-l2tp-gnome

これで解決。