sed の正規表現は java などの正規表現とは振る舞いが違う部分があるので注意が必要です。
詳しくは Overview of Regular Expression Syntax を読みましょう。
Mac OS X のターミナルで sed を使う場合、GNU の sed は標準ではインストールされていない、と思われる。 http://ftp.gnu.org/gnu/sed/ 等からダウンロードしてソースからインストールしておくと何かと重宝します。