基于libzplay 实现window下音乐频谱动态显示



  • 刚好用到了libzplay,那么就顺便写个博客实现给予音乐频谱数据动态显示吧
    先看看实现的效果图:
    0_1461500043731_upload-01e9b585-ab75-470b-994c-7bdca4fb5913
    0_1461500202955_upload-ea403aad-26fa-434d-aeda-f6d16f05efcd

    0_1461500332213_upload-72cecac9-a3bf-4703-8693-d45c2ffa15f8

    实现步骤:
    首先我们需要去libzplay下载这个库,因为我使用了它来采集音频频谱数据。
    然后配置pro文件
    0_1461506350205_upload-f1c88301-28be-4285-aca7-0516e9e872d4

    配置好了就开始写功能实现部分,直接上代码吧!

    我写了一个专门读取音频数据的类:

    AudioData.h

    #ifndef AUDIODATA_H
    #define AUDIODATA_H
    
    #include <QObject>
    //#include <QAudioDecoder>
    //#include <QAudioBuffer>
    #include <QDebug>
    //#include <QAudioDecoderControl>
    #include <QFile>
    #include "libzplay.h"
    #include <QTimer>
    
    #include <QJsonDocument>
    #include <QJsonArray>
    #include <QJsonObject>
    using namespace libZPlay;
    
    class AudioData : public QObject
    {
        Q_OBJECT
    public:
        explicit AudioData(QObject *parent = 0);
    
        Q_INVOKABLE void setSource(QString source);
        Q_INVOKABLE void playMusic();
        Q_INVOKABLE void stopMusic();
        Q_INVOKABLE void pauseMusic();
        Q_INVOKABLE void seekPosition(int ms);
        Q_PROPERTY(int amplitude READ amplitude NOTIFY amplitudeChanged)
        Q_PROPERTY(int position READ position NOTIFY positionChanged)
        Q_PROPERTY(bool isPlaying READ isPlaying NOTIFY isPlayingChanged)
    
        //music pcm data
        Q_PROPERTY(QString pcmData READ pcmData NOTIFY pcmDataChanged)
    
        QString pcmData(){
            QJsonObject root;
            QJsonArray hn;
            for(int i =0;i<257;i++){
                hn.append (pnLeftAmplitude[i]);
            }
            root.insert ("data",hn);
            QJsonDocument doc;
            doc.setObject (root);
            return doc.toJson ();
        }
    
    signals:
        void amplitudeChanged();
        void positionChanged();
        void isPlayingChanged();
        void pcmDataChanged();
    
    public slots:
        void refreshDatas();
    private:
        ZPlay *player;
        QTimer timer;
        int  pnHarmonicNumber[512];
        int  pnHarmonicFreq[257];
        int  pnLeftAmplitude[257];
        int  pnRightAmplitude[257];
        int  pnLeftPhase[257];
        int  pnRightPhase[257];
        int mposition=0;
        bool isMusicPlaying;
    
        int amplitude(){
            return pnRightAmplitude[171];
        }
    
        int position(){
            return mposition;
        }
    
        bool isPlaying(){
            return isMusicPlaying;
        }
    };
    #endif // AUDIODATA_H
    

    AudioData.cpp

    #include "audiodata.h"
    
    #include <windows.h>
    #include <stdio.h>
    #include <conio.h>
    #include <QImage>
    
    AudioData::AudioData(QObject *parent) : QObject(parent)
    {
        player=CreateZPlay();
    
        // set graph type to AREA, left channel on top
        player->SetFFTGraphParam(gpGraphType, gtAreaLeftOnTop);
    
        // set linear scale
        player->SetFFTGraphParam(gpHorizontalScale, gsLinear);
    
        timer.setInterval(1);
    
        connect(&timer,SIGNAL(timeout()),this,SLOT(refreshDatas()));
    
    }
    //music source
    void AudioData::setSource(QString source){
        const char* msource=source.toLatin1().data();
    
    
        // open file
        int result = player->OpenFile(msource, sfAutodetect);
        if(result == 0)
        {
            // display error message
            qDebug()<<"file open failed"<<player->GetError()<<endl;
            return;
        }
    
    }
    
    /**
     * @brief AudioData::playMusic
     */
    void AudioData::playMusic(){
        player->Play();
        timer.start();
        isMusicPlaying=true;
        isPlayingChanged();
    }
    /**
     * @brief AudioData::stopMusic
     */
    void AudioData::stopMusic(){
        player->Stop();
        timer.stop();
        isMusicPlaying=false;
        isPlayingChanged();
    }
    /**
     * @brief AudioData::pauseMusic
     */
    void AudioData::pauseMusic(){
        player->Pause();
        timer.stop();
        isMusicPlaying=false;
        isPlayingChanged();
    }
    /**
     * @brief AudioData::refreshDatas
     */
    void AudioData::refreshDatas(){
    
        // get song length
        TStreamInfo info;
        player->GetStreamInfo(&info);
    
        // check key press
        if(kbhit())
        {
            int a = getch();
            if(a == 'p' || a == 'P')
                player->Pause();
            else if(a=='q'||a=='Q'){
                player->Stop();
            }
        }
    
        // get stream status to check if song is still playing
        TStreamStatus status;
        player->GetStatus(&status);
        if(status.fPlay == 0)
            return;
    
        // get current position
        TStreamTime pos;
        player->GetPosition(&pos);
        this->mposition=pos.ms;
        positionChanged();
        int FFTPoints = player->GetFFTGraphParam(gpFFTPoints);
        player->GetFFTData(FFTPoints,fwTriangular,
                           pnHarmonicNumber,
                           pnHarmonicFreq,
                           pnLeftAmplitude,
                           pnRightAmplitude,
                           pnLeftPhase,
                           pnRightPhase);
        amplitudeChanged();
        pcmDataChanged();
        // draw FFT graph on desktop window
    
    //    player->DrawFFTGraphOnHWND(0, 0, 0, 300, 200);
    
    //    qDebug()<<pnLeftAmplitude[100]<<endl;
    
    }
    /**
     * @brief AudioData::seekPosition
     * @param ms
     */
    void AudioData::seekPosition(int ms){
        TStreamTime time;
        time.ms=ms;
        player->Seek(tfMillisecond,&time,smFromBeginning);
    }
    

    main.cpp

    #include <QApplication>
    #include <QQmlApplicationEngine>
    #include <audiodata.h>
    #include <QtQml>
    
    int main(int argc, char *argv[])
    {
        QApplication app(argc, argv);
    
        QQmlApplicationEngine engine;
        AudioData ad;
        engine.rootContext()->setContextProperty("AudioData",&ad);
        engine.load(QUrl(QStringLiteral("qrc:/main.qml")));
    
        return app.exec();
    }
    

    main.qml

    import QtQuick 2.5
    import QtQuick.Controls 1.4
    import QtQuick.Dialogs 1.2
    
    ApplicationWindow {
        visible: true
        width: 640
        height: 480
        title: qsTr("Hello World")
        property url soundUrl;
    //    property var pcmDataM:new Array();
        property var pcmDatastr:AudioData.pcmData
    
        ListModel{
            id:dataModel
        }
    
        onPcmDatastrChanged: {
            try{
                if(dataModel.count===0)
                    return;
                var jdata=JSON.parse(pcmDatastr).data;
                for(var a=0;a<jdata.length;a++){
                    dataModel.setProperty(a,"pcmdata",jdata[a]);
                }
    
            }
            catch(e){
                console.log(e);
            }
        }
    
        id:mainwin
        Component.onCompleted: {
            for(var a=0;a<257;a++){
                dataModel.append({"pcmdata":0});
            }
        }
    
        menuBar: MenuBar {
            Menu {
                title: qsTr("文件")
                MenuItem {
                    text: qsTr("&打开MP3文件")
                    onTriggered: {
                        mdialog.open();
                    }
    
                }
            }
        }
    
    
        FileDialog{
            id:mdialog
            folder: shortcuts.home
            nameFilters: [ "Sound files (*.mp3)" ]
            onAccepted:{
                soundUrl=mdialog.fileUrl;
                AudioData.setSource(soundUrl.toString().substring(8,soundUrl.toString().length));
                AudioData.playMusic();
            }
        }
    
        Row{
            anchors.bottom: parent.bottom
            anchors.horizontalCenter: parent.horizontalCenter
            Repeater{
                model: dataModel
                delegate: Rectangle{
                    width: mainwin.width/dataModel.count
                    height: pcmdata*mainwin.height/255
                    color:Qt.rgba(index/257,Math.abs(257-index)/257,Math.abs(257-index)/257,1)
                    anchors.bottom: parent.bottom
    //                radius: width/2
    //                border.width:1
    //                border.color:"#ffff12"
                    Rectangle{
                        width:parent.width
                        height:1
                        color:"#454545"
                    }
    
                    Behavior on height{
                        PropertyAnimation{
                            properties: "height"
                            duration: 70
                        }
                    }
                }
            }
        }
    
    }
    

    代码就不解释了,没有过多的逻辑,libzplay那部分看不懂的就自行在libzplay官网看文档吧,我也是用了半天时间搞了一下下。



  • @tommego 这个可是独家技术哦,我可要好好学习,以后播放音乐的时候,加上频谱,那可多炫酷了!



  • @jiangcaiyang 哈哈,要是能找到qt自带的库来实现就好了,这样就能跨平台


Log in to reply
 

走马观花

最近的回复

  • boost.asio是一个很棒的网络库,这回儿我也开始系统地学习起来了。想想当年接触boost,也有八年多了。这次开始接触boost,觉得既熟悉又陌生。熟悉的是小写字母+下划线的命名方式、晦涩的模板、很慢的编译速度以及较大的程序体积,陌生的是asio的各种概念:io服务、接收器、套接字等等:我之前对网络编程不是非常了解。

    于是根据我的理解,参考《Boost.Asio C++网络编程》实现了这样一个简单的客户端和服务端通信的例子,例子非常简单,还不完善,但是幸运的是,可以在本机上互通了。
    下面是客户端的代码:

    #include <iostream> #include <boost/asio.hpp> #include <boost/proto/detail/ignore_unused.hpp> using namespace std; using namespace boost::asio; using namespace boost::system; using namespace boost::proto::detail;// 提供ignore_unused方法 void writeHandler( const boost::system::error_code& ec, size_t bytesTransferred ) { if ( ec ) { cout << "Write data error, code: " << ec.value( ) << "transferred: " << bytesTransferred << endl; } else { cout << "OK! " << bytesTransferred << "bytes written. " << endl; } } int main(int argc, char *argv[]) { ignore_unused( argc ); ignore_unused( argv ); io_service service; ip::tcp::socket sock( service ); ip::tcp::endpoint ep( ip::address::from_string( "127.0.0.1" ), 6545 ); boost::system::error_code ec; sock.connect( ep, ec ); if ( ec ) { cout << "Connect error, code: " << ec.value( ) << ", We will exit." << endl; return ec.value( ); } else { char buf[1024] = "Hello world!"; sock.async_write_some( buffer( buf ), writeHandler ); sock.close( ); } return service.run( ); }

    下面是服务端的代码:

    #include <iostream> #include <boost/asio.hpp> #include <boost/proto/detail/ignore_unused.hpp> using namespace std; using namespace boost::asio; using namespace boost::system; using namespace boost::proto::detail;// 提供ignore_unused方法 void acceptHandle( const boost::system::error_code& code ) { cout << "Accepted." << endl; } int main(int argc, char *argv[]) { ignore_unused( argc ); ignore_unused( argv ); io_service service; ip::tcp::endpoint ep( ip::address::from_string( "127.0.0.1" ), 6545 ); boost::system::error_code ec; ip::tcp::socket sock( service ); ip::tcp::acceptor acceptor( service, ep ); acceptor.async_accept( sock, acceptHandle ); if ( ec ) { cout << "There is an error in server. code: " << ec.value( ) << endl; } return service.run( );// 阻塞运行 }

    运行结果是这样的:
    78448d7b-b3ae-42fc-9e2e-4dd2fbdac2c2-image.png

    我对boost.asio中几个概念的理解:

    io_service,这就是一个类似事件循环的东西,它为io设备提供服务,故名。不管是套接字、文件还是串口设备,都要使用它的服务。它的run()函数相当于启动了一个事件循环。一旦有消息了,即进行响应。这也是实现异步编程的重要基础。 socket,这个类则是套接字,可以处理TCP或者是UDP请求。有同步以及异步的处理方式,也有带异常以及不带异常的处理方式。 acceptor,接收器,仅仅是服务端使用。相当于其余框架中的listener,作接收用的。

    比较浅显,如果有不当之处,敬请指正。

    read more
  • 843143141.jpg
    闲下来了,我又开始大规模地学习了。
    最近开始学习内存模型和无锁结构。因为这个是和操作系统密切相关的,懂得这些对于编写C++服务端应用程序
    有着非常好的帮助。之前我对内存模型以及无锁结构几乎没有什么了解,我就询问群里的大佬看看有没有可以参考的资料。
    大佬很高兴,并且推荐了我一本名为《Memory Model》的电子书。这本电子书虽然页数不多,但是从起源到发展,
    从源码到汇编,都给我们详细地介绍了。看了一遍,不是非常理解,但是依然尝试将自己的理解写下来,以便日后翻阅。
    首先因为多核处理器成为主流,多线程的程序已经非常常见,因此我们不可避免地要处理多线程程序的同步问题。
    然后,因为编译器默认都对源码进行了优化,在单核处理器中这通常不是什么问题,但是在多核处理器中,就会因为编译器
    对其进行了乱序处理而导致程序出现问题。由此深入地探讨内存模型。
    内存模型主要分为:
    载-载 顺序(load-load order)
    载-存 顺序(load-store order)
    存-载 顺序(store-load order)
    存-存 顺序(store-store order)
    依赖载入顺序(dependent loads order)

    通过内存栅栏(memory barrier)能够避免编译器对指令的乱序。Linux中有

    READ_ONCE( x, value ) WRITE_ONCE( x )

    避免这些读写被编译器乱序或者是优化掉。

    这里谈到volatile关键字。在另外一篇博客上说,volatile具有“易变性、不可优化性、顺序性”。简单说,由于
    被volatile声明的变量,指令须从内存读取,并且不能被编译器乱序以及优化。在Java(语言扩展)和MSVC(系统兼容)上,
    还附带了Accquire()和Release()语义,因此可部分用于多线程环境。但多数情况下,还是慎用volatile,
    因为不同架构的处理器,它的内存模型是千变万化的,不能一而概之。

    至于C++11,它提供了std::atomic<T>这个模板类,相当于提供了很多方式来实现不同内存模型的原子操作。
    它的load()和store()方法,第二个参数有以下几个选项:

    std::memory_order_relaxed std::memory_order_seq_cst std::memory_order_acq_rel std::memory_order_acquire std::memory_order_release std::memory_order_consume

    我们最常用来实现RCpc(Release Consistency、Processor Consistency)是使用

    std::memory_order_acquire std::memory_order_release

    这两对。

    作为例子,在实现自旋锁时使用std::atomic<T>是这样的:

    struct SpinLock2 { void lock( ) { for ( ; ; ) { while ( lock_.load( std::memory_order_relaxed ) ); if ( !lock_.exchange( true, std::memory_order_acquire ) ) break; } } void unlock( ) { lock_.store( false, std::memory_order_release ); } std::atomic<bool> lock_ = { false }; };

    read more
  • 113.jpg
    1、什么是lambda表达式,什么是闭包?
    lambda表达式即lambda函数,也就是匿名函数。

    lambda表达式在C++中包含了
    []表示捕获
    ()是函数的参数,需要指定类型
    ->type是返回的类型,可以省略,如果编译器无法推出类型的话可以强制编写
    {}是函数体。

    lambda可以被声明为mutable的,作用是将捕获的内容进行改变。
    闭包是函数的定义以及定义函数时提供的环境,总称为闭包。lambda函数也是一种闭包。
    lambda本身是匿名函数,而捕获语句则是提供了定义函数时提供的环境。

    2、什么是右值引用?
    右值引用相对与左值引用而言的。左值即=运算符左边的变量,右值是=运算符右边的常量或变量。由此可以看出,
    右值引用指的是对常量或变量的引用。它的用途包含了移动语义和完美转发。
    移动语义就是弥补了C++历史在处理变量传递时丢失的一种语义。它和值传递、引用传递一样,是变量传递的方式之一。
    如果没有移动语义,为了将一个类的实例传递给另外一个实例,就需要额外地进行构造、赋值、销毁的操作。
    对于一些比较复杂的变量,的确是非常耗时并且消耗大的操作。(浪费指令时间、浪费内存)

    对于这样的函数返回:
    vector<string> str_split(const string& s) {
    vector<string> v;
    // ...
    return v; // v是左值,但优先移动,不支持移动时仍可复制。
    }

    标准要求先调用移动构造函数,如果不符合那么再调用拷贝构造函数。所以可以轻松地写出这种写法而不必担心效率问题。
    同时,现代编译器都会对返回值进行优化,成为RVO以及NRVO。所以不用太担心会多调用构造析构函数。

    对于完美转发,C++对于引用的转发有规则。传统的C++是无法对引用进行再引用的。但是现代的C++放宽了它的使用范围。
    只有右引用右值的时候,才会产生右引用。这也称为引用折叠。

    3、auto关键字的作用是什么?
    auto关键字为的是能够让编译器自动推导类型。自C++98之后,编译器对类型的推导变得越来越智能了。
    而我们在编写复杂代码的时候,冗长的类型不仅容易出错,有时也不容易人工推导出类型。
    因此auto可以简化我们的任务量,让类型的推导交给编译器完成。
    除了auto外,我们还可以使用decltype()来让编译器推导类型。

    read more
  • 我感觉比起《Physically Based Rendering Technique》,还是《Ray Tracing in a Weekend》更容易上手,因为慢慢地能够做出一个渲染效果,这个是有成就感的。🎓

    read more

关注我们

微博
QQ群