Java環境でH.264ビデオフレームをデコードする方法
Java環境でH.264ビデオフレームをデコードする方法を知っている人はいますか？
私のネットワークカメラ製品は、RTP/RTSPストリーミングをサポートしています。
ネットワークカメラからのサービス標準RTP/RTSPが提供され、「RTP/RTSP over HTTP」もサポートされます。
RTSP：TCP 554 RTP開始ポート：UDP 5000
または Xuggler を使用します。 RTP、RTMP、HTTPまたはその他のプロトコルで動作し、H264およびその他のほとんどのコーデックをデコードおよびエンコードできます。また、積極的に維持され、無料でオープンソース（LGPL）です。
最善の解決策は「JNI + ffmpeg」を使用することだと思います。私の現在のプロジェクトでは、Java libgdxに基づくopenGLゲームで複数のフルスクリーンビデオを同時に再生する必要があります。ほとんどすべての無料のライブラリを試しましたが、どれも許容できるパフォーマンスはありません。 。そこで、最終的に私はffmpegで動作するように独自のjni Cコードを書くことにしました。これが私のラップトップでの最終的なパフォーマンスです。
- 環境：CPU：Core i7 Q740 @ 1.73G、ビデオ：nVidia GeForce GT 435M、OS：Windows 7 64ビット、Java：Java7u60 64ビット
- ビデオ：h264rgb/h264エンコード、音声なし、解像度：1366 * 768
- 解決策：デコード：JNI + ffmpeg v2.2.2、GPUへのアップロード：lwjglを使用してopenGLテクスチャを更新
- パフォーマンス：デコード速度：700-800FPS、テクスチャアップロード：約フレームあたり1ミリ秒。
最初のバージョンを完成させるのに数日しかかかりませんでした。しかし、最初のバージョンのデコード速度は約120FPSで、アップロード時間はフレームあたり約5msでした。数か月の最適化の後、私はこの最終的なパフォーマンスといくつかの追加機能を得ました。これで、速度を落とすことなく、複数のHDビデオを同時に再生できます。
ゲーム内のほとんどのビデオの背景は透明です。この種類の透明ビデオは、2つのビデオストリームを含むmp4ファイルです。1つのストリームはh264rgbエンコードされたrgbデータを格納し、もう1つのストリームはh264エンコードされたアルファデータを格納します。したがって、アルファビデオを再生するには、2つのビデオストリームをデコードしてマージし、GPUにアップロードする必要があります。その結果、ゲーム内で不透明HDビデオの上にある複数の透明HDビデオを同時に再生できます。
JavaCVのFFmpegFrameGrabberクラス に基づいた、非常にシンプルでわかりやすいソリューションを見つけました。このライブラリを使用すると、ffmpegをJavaでラップすることにより、ストリーミングメディアを再生できます。
どうやって使うのですか？
まず、MavenまたはGradleを使用して、ライブラリをダウンロードしてインストールします。
ここに、ビデオを再生するスレッドを持つStreamingClientクラスを呼び出すSimplePlayerクラスがあります。
public class StreamingClient extends Application implements GrabberListener
{
public static void main(String[] args)
{
launch(args);
}
private Stage primaryStage;
private ImageView imageView;
private SimplePlayer simplePlayer;
@Override
public void start(Stage stage) throws Exception
{
String source = "rtsp://184.72.239.149/vod/mp4:BigBuckBunny_115k.mov"; // the video is weird for 1 minute then becomes stable
primaryStage = stage;
imageView = new ImageView();
StackPane root = new StackPane();
root.getChildren().add(imageView);
imageView.fitWidthProperty().bind(primaryStage.widthProperty());
imageView.fitHeightProperty().bind(primaryStage.heightProperty());
Scene scene = new Scene(root, 640, 480);
primaryStage.setTitle("Streaming Player");
primaryStage.setScene(scene);
primaryStage.show();
simplePlayer = new SimplePlayer(source, this);
}
@Override
public void onMediaGrabbed(int width, int height)
{
primaryStage.setWidth(width);
primaryStage.setHeight(height);
}
@Override
public void onImageProcessed(Image image)
{
LogHelper.e(TAG, "image: " + image);
Platform.runLater(() -> {
imageView.setImage(image);
});
}
@Override
public void onPlaying() {}
@Override
public void onGainControl(FloatControl gainControl) {}
@Override
public void stop() throws Exception
{
simplePlayer.stop();
}
}
SimplePlayerクラスはFFmpegFrameGrabberを使用して、画像に変換されてステージに表示されるframeをデコードします
public class SimplePlayer
{
private static volatile Thread playThread;
private AnimationTimer timer;
private SourceDataLine soundLine;
private int counter;
public SimplePlayer(String source, GrabberListener grabberListener)
{
if (grabberListener == null) return;
if (source.isEmpty()) return;
counter = 0;
playThread = new Thread(() -> {
try {
FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(source);
grabber.start();
grabberListener.onMediaGrabbed(grabber.getImageWidth(), grabber.getImageHeight());
if (grabber.getSampleRate() > 0 && grabber.getAudioChannels() > 0) {
AudioFormat audioFormat = new AudioFormat(grabber.getSampleRate(), 16, grabber.getAudioChannels(), true, true);
DataLine.Info info = new DataLine.Info(SourceDataLine.class, audioFormat);
soundLine = (SourceDataLine) AudioSystem.getLine(info);
soundLine.open(audioFormat);
soundLine.start();
}
Java2DFrameConverter converter = new Java2DFrameConverter();
while (!Thread.interrupted()) {
Frame frame = grabber.grab();
if (frame == null) {
break;
}
if (frame.image != null) {
Image image = SwingFXUtils.toFXImage(converter.convert(frame), null);
Platform.runLater(() -> {
grabberListener.onImageProcessed(image);
});
} else if (frame.samples != null) {
ShortBuffer channelSamplesFloatBuffer = (ShortBuffer) frame.samples[0];
channelSamplesFloatBuffer.rewind();
ByteBuffer outBuffer = ByteBuffer.allocate(channelSamplesFloatBuffer.capacity() * 2);
for (int i = 0; i < channelSamplesFloatBuffer.capacity(); i++) {
short val = channelSamplesFloatBuffer.get(i);
outBuffer.putShort(val);
}
}
}
grabber.stop();
grabber.release();
Platform.exit();
} catch (Exception exception) {
System.exit(1);
}
});
playThread.start();
}
public void stop()
{
playThread.interrupt();
}
}
純粋なJava JCodecというライブラリ（ http://jcodec.org ）を使用できます。
1つのH.264フレームのデコードは次のように簡単です：
ByteBuffer bb = ... // Your frame data is stored in this buffer
H264Decoder decoder = new H264Decoder();
Picture out = Picture.create(1920, 1088, ColorSpace.YUV_420); // Allocate output frame of max size
Picture real = decoder.decodeFrame(bb, out.getData());
BufferedImage bi = JCodecUtil.toBufferedImage(real); // If you prefere AWT image
コンテナ（MP4など）からを読み取りたい場合は、便利なヘルパークラスFrameGrabを使用できます。
int frameNumber = 150;
BufferedImage frame = FrameGrab.getFrame(new File("filename.mp4"), frameNumber);
ImageIO.write(frame, "png", new File("frame_150.png"));
最後に、これは完全に洗練されたサンプルです：
private static void avc2png(String in, String out) throws IOException {
SeekableByteChannel sink = null;
SeekableByteChannel source = null;
try {
source = readableFileChannel(in);
sink = writableFileChannel(out);
MP4Demuxer demux = new MP4Demuxer(source);
H264Decoder decoder = new H264Decoder();
Transform transform = new Yuv420pToRgb(0, 0);
MP4DemuxerTrack inTrack = demux.getVideoTrack();
VideoSampleEntry ine = (VideoSampleEntry) inTrack.getSampleEntries()[0];
Picture target1 = Picture.create((ine.getWidth() + 15) & ~0xf, (ine.getHeight() + 15) & ~0xf,
ColorSpace.YUV420);
Picture rgb = Picture.create(ine.getWidth(), ine.getHeight(), ColorSpace.RGB);
ByteBuffer _out = ByteBuffer.allocate(ine.getWidth() * ine.getHeight() * 6);
BufferedImage bi = new BufferedImage(ine.getWidth(), ine.getHeight(), BufferedImage.TYPE_3BYTE_BGR);
AvcCBox avcC = Box.as(AvcCBox.class, Box.findFirst(ine, LeafBox.class, "avcC"));
decoder.addSps(avcC.getSpsList());
decoder.addPps(avcC.getPpsList());
Packet inFrame;
int totalFrames = (int) inTrack.getFrameCount();
for (int i = 0; (inFrame = inTrack.getFrames(1)) != null; i++) {
ByteBuffer data = inFrame.getData();
Picture dec = decoder.decodeFrame(splitMOVPacket(data, avcC), target1.getData());
transform.transform(dec, rgb);
_out.clear();
AWTUtil.toBufferedImage(rgb, bi);
ImageIO.write(bi, "png", new File(format(out, i)));
if (i % 100 == 0)
System.out.println((i * 100 / totalFrames) + "%");
}
} finally {
if (sink != null)
sink.close();
if (source != null)
source.close();
}
}
Java Media Framework（JMF）- http://Java.Sun.com/javase/technologies/desktop/media/jmf/2.1.1/formats .html
しばらく使ってみたので少々未熟でしたが、それ以来強化されているかもしれません。