音は出たものの、再生するたびにL/Rがランダムに入れ替わるという現象が出て、解決に4日もかかりました(^-^;
FIFOへの送り出しをタイマー割り込みでやっていたのですが、曲の先送りとのタイミングが悪いとLRのデータがLRCKに対して逆になることがあるみたいです。そこで曲のあたまの最初のデータをFIFOしてる間は割り込み禁止にしてみたところ解決したようです。