市販品ではないので、一般的なプロテクトではないのは分かったのですが、一応DVD Shrinkで覗いてみることにしました。
エラーが出たのはプロテクトの対処が出来ない(一般人の作ったディスクなので)というよりも、ディスクのUDF情報が不正のためだと予想が付きます。
DVD-Videoとしての再生は問題なくできますが、エクスプローラーで開くと「あれっ?」と思うことがあります。1トラック2チャプターのディスクなのに…。

696ファイル、0フォルダー。そして総量419GBというのは、通常のDVDの容量の100倍近くです。あり得ません。これでは、Shrinkが「おかしい」と言うはずです。
4GBのファイル群が99もあります。99倍ディスクということになります。(笑)
当初の推測通り、UDFファイルシステムを書き換えていると思われます。
さて、どうするか…ですが、2つの方法を試しました。
1 VOBファイルからMPEGの要素をリッピングして、オーサリングです。ただ、メニューもオリジナルのメニュー部分の動画もリッピングをして、(完全ではありませんが)オリジナルのモーションメニューを再現しようとしたので苦労をしました。
でも、完成。安定性はいいはずです。
2 オリジナルディスクからISOファイルを作ってみました。419GBのIOSファイルだと困るのですが、そんな大きなファイルにはなりませんでした。
実サイズのようです。ISOといっても、偽装までは「そのまま」にならないのでしょうか。
内容を見てみると、幸いなことに大きなファイルがみな14kバイトの小さなファイルとして認識をされていました。
仮想DVDドライブ(F:)で、DVD-Videoとしての再生動作を確認後、DVDディスクにコピーをしました。
実体のあるファイル群は24番目でした。
面白いのは、この24番目のファイル群が最後で、25〜99はないことです。
とにかくこれで再生ができました。