编程开源技术交流，分享技术与知识

网站首页 > 开源技术 正文

干货教程 | 用TFLi 和SPICE模型打造听歌识谱App

wxchong 2025-03-13 21:13:52 开源技术 35 ℃ 0 评论

文 / George Soloupis


本教程的目标：

  • 了解什么是音高 (Pitch) 以及历史上机器学习如何检测歌曲中的音高
  • 对歌曲数据以及执行模型的结果进行可视化
  • 编写通过手机麦克风收集声音的代码
  • 在 Android 应用程序内部部署 ML 模型
  • 对歌曲的数据进行转换并使用 SPICE 模型进行推断
  • 在 Android 手机屏幕上呈现最终结果

介绍

音高是声音的一种感知属性，可以按相应的频率对其进行排序。换句话说，音高在音乐旋律中是用来判断声音听起来“高”和“低”的一种属性。音高是音调的主要听觉属性之一，其余为音长 (Duration)，音强 (Loudness)，以及音色 (Timbre)。音高通过频率进行量化，并以赫兹 (Hz) 为单位进行测量，其中 1Hz 表示每秒一个周期。


音高检测 (Pitch detection) 一个有趣的挑战。历史上，对音高和音高感知的研究一直是心理声学的核心问题，并且在音频表征的形成与测试理论、 信号处理算法 (Signal-Processing Algorithms) 以及听觉系统中的感知等方面起到重要作用。研究人员为此开发并应用了许多技术 ，还努力将相近频率的背景噪声与背景音乐进行分离。

技术
https://www.cs.uregina.ca/Research/Techreports/2003-06.pdf


今天，我们可以通过机器学习来实现这一目标，更具体地说，可以使用 SPICE 模型。这是一个经过预训练的模型，可以识别混合录制的音频中的基本音高（包括噪音和背景音乐），您可以在TensorFlow Hub 获取 SPICE 模型，包括适用于 Web 端的 TensorFlow.js 以及适用于移动端的TensorFlow Lite。

TensorFlow Hub
https://tfhub.dev/
TensorFlow.js
https://tfhub.dev/google/tfjs-model/spice/1/default/1
TensorFlow Lite
https://tfhub.dev/google/lite-model/spice/1


开始

音频以单声道 16khz 采样率记录并保存为 .wav 格式。让我们用一个具有该格式的简单音频文件为例。如果使用对数频率坐标图（以使歌声更清晰可见），加载它并可视化输出，我们将获得一个频谱图，该频谱图显示随时间变化的频率：

音频文件
https://storage.googleapis.com/download.tensorflow.org/data/c-scale-metronome.wav


在执行带有歌曲数据的模型后，我们将打印模型的输出。蓝色表示模型预测的音高值，橙色表示这些音高值的置信度：


如果仅保留置信度大于 90％ 的结果，并将其与灰度图重叠，我们将获得下图：


在所有长度的歌曲上准确性都很高！！


需要指出的是，虽然对于上述示例，基于频谱图的启发式音高提取方法可能也起作用。但是通常情况下，基于机器学习的模型会优于手工提取的信号处理方法，特别是当音频中存在背景噪声和背景音乐时。关于 SPICE 与 SWIPE（基于频谱图的算法）的比较，请参见此文。


若在 Android 应用程序内部运行 SPICE 模型，必须使用麦克风收集声音。首先，我们设置变量：

private val AUDIO_SOURCE = MediaRecorder.AudioSource.VOICE_RECOGNITION
private val SAMPLE_RATE = 16000
private val CHANNEL_MASK = AudioFormat.CHANNEL_IN_MONO
private val ENCODING = AudioFormat.ENCODING_PCM_16BIT
private val BUFFER_SIZE = AudioRecord.getMinBufferSize(SAMPLE_RATE, CHANNEL_MASK, ENCODING)
private val AUDIO_FORMAT =
    AudioFormat.Builder().setEncoding(ENCODING)
        .setSampleRate(SAMPLE_RATE)
        .setChannelMask(CHANNEL_MASK)
        .build()


然后，选择
MediaRecorder.AudioSource.VOICE_RECOGNITION 以将麦克风声源导入至语音识别并应用噪声消除。音频格式是 16位，单声道，16KHz 采样率的理想格式。最后，我们开始录音进程：

/**
 * Start the recording process.
 */
mRecorder = AudioRecord.Builder().setAudioSource(AUDIO_SOURCE)
    .setAudioFormat(AUDIO_FORMAT)
    .setBufferSizeInBytes(BUFFER_SIZE)
    .build()

mRecorder?.startRecording()


停止录音进程 mRecorder.stopRecording() ，随后我们从录音机流中读取音频：

private val readAudio = Runnable {
    var readBytes: Int
    buffer = ShortArray(BUFFER_SIZE)
    while (mRecording) {
        readBytes = mRecorder!!.read(buffer, 0, BUFFER_SIZE)

        //Higher volume of microphone
        //https://stackoverflow.com/questions/25441166/how-to-adjust-microphone-sensitivity-while-recording-audio-in-android
        if (readBytes > 0) {
            for (i in 0 until readBytes) {
                buffer[i] = Math.min(
                    (buffer[i] * 6.7).toInt(),
                    Short.MAX_VALUE.toInt()
                ).toShort()
            }
        }
        if (readBytes != AudioRecord.ERROR_INVALID_OPERATION) {
            for (s in buffer) {

                // Add all values to arraylist
                bufferForInference.add(s)

                writeShort(mPcmStream, s)
            }
        }
    }
}


注意此处的乘法 buffer[i] * 6.7。这个参数用于控制麦克风增益并提高灵敏度（您可以使用其他值代替 6.7 来满足需要）！


在此类内，还有一个将字节数组转换为 .wav 文件的函数。该文件存储在手机内部存储器的 Pitch Detector 文件夹中，可用于与原始版本对比验证移动端模型输出的准确性。

原始版本
https://colab.sandbox.google.com/github/tensorflow/hub/blob/master/examples/colab/spice.ipynb


部署 SPICE 模型的第一步是复制位于 Assets 文件夹中的 .tflite 文件。我们将这些依赖包含在 app build.gradle 文件中：

implementation 'org.tensorflow:tensorflow-lite:0.0.0-nightly'
implementation 'org.tensorflow:tensorflow-lite-gpu:0.0.0-nightly'
implementation 'org.tensorflow:tensorflow-lite-select-tf-ops:0.0.0-nightly'

.tflite 文件
https://tfhub.dev/google/lite-model/spice/1


最后一个依赖项含有额外的算子——这是该项目不可或缺的依赖项，但会显著增大最终 .apk 文件的体积，因为该模型使用了一些在第一个 tflite 依赖项中没有的算子。如需进一步了解，您可以阅读此文。

此文
https://tensorflow.google.cn/lite/guide/ops_select#android_aar


初始化解释器，从文件夹加载模型文件：

// load tflite file from assets folder
@Throws(IOException::class)
private fun loadModelFile(context: Context, modelFile: String): MappedByteBuffer {
val fileDescriptor = context.assets.openFd(modelFile)
val inputStream = FileInputStream(fileDescriptor.fileDescriptor)
val fileChannel = inputStream.channel
val startOffset = fileDescriptor.startOffset
val declaredLength = fileDescriptor.declaredLength
val retFile = fileChannel.map(FileChannel.MapMode.READ_ONLY, startOffset, declaredLength)
fileDescriptor.close()
return retFile
}

@Throws(IOException::class)
private fun getInterpreter(
context: Context,
modelName: String,
useGpu: Boolean
): Interpreter {
val tfliteOptions = Interpreter.Options()
if (useGpu) {
    gpuDelegate = GpuDelegate()
    tfliteOptions.addDelegate(gpuDelegate)
}
 tfliteOptions.setNumThreads(numberThreads)
return Interpreter(loadModelFile(context, modelName), tfliteOptions)
}


我们准备好了，使用音频流进行推理！


音频流采用 ArrayList 格式。但是要将其输入至模型，我们必须将其转换为 float 值并正则化到 -1 到 1 的范围内。为此，我们将每个值除以 MAX_ABS_INT16 = 32768，然后使用解释器执行推理：

fun execute(floatsInput: FloatArray): ArrayList {

predictTime = System.currentTimeMillis()
val inputSize = floatsInput.size // ~2 seconds of sound
var outputSize = 0
when (inputSize) {
    // 16.000 * 2 seconds recording
    32000 -> outputSize = ceil(inputSize / 512.0).toInt()
    else -> outputSize = (ceil(inputSize / 512.0) + 1).toInt()
}
val inputValues = floatsInput//FloatArray(inputSize)
val inputs = arrayOf(inputValues)
val outputs = HashMap()

val pitches = FloatArray(outputSize)
val uncertainties = FloatArray(outputSize)

outputs[0] = pitches
outputs[1] = uncertainties

try {
    interpreter.runForMultipleInputsOutputs(inputs, outputs)
} catch (e: Exception) {
    Log.e("EXCEPTION", e.toString())
}
}


当我们获得结果后，我们接下来要做的是：

  • 筛选输出置信度超过 90％ 的结果
  • 将绝对音高转换为赫兹 (Hz)
  • 计算唱歌期间的偏移量


使用一些启发式算法尝试预测并输出最可能的演唱乐谱。


上述步骤中，计算出理想的偏移量是重要的一步，因为通常人们哼唱的旋律与可以记谱的绝对音高值之间存在偏移。为此，我们还需要知道歌曲的速度（这样才能确定采用的音符长度，比如八分音符）以及开始量化产生音符的时间偏移量。为简单起见，我们将尝试使用不同的速度和时间偏移并测量量化误差，最后采用该误差最小的组合。您可以在 PitchModelExecutor.kt 的源代码中继续深入了解。

PitchModelExecutor.kt 的源代码
https://github.com/farmaker47/Pitch_Estimator/blob/master/app/src/main/java/com/george/pitch_estimator/PitchModelExecutor.kt


通过上述过程，我们获得了含有音符字符串的 ArrayList，例如 [A2，F2，G#2，C3]，这些结果显示在屏幕上。


TensorFlow Hub 的 SPICE 模型示例页面有一个出色的可视化工具，可以在静态的五线谱上显示不断流入的音符。因此，是时候在我们的移动应用程序去中复制此实时效果了！ 

可视化工具
https://tfhub.dev/google/lite-model/spice/1


Android webview 用于处理一些自定义 html 代码。我们将此代码加载到绑定适配器中：

// this binding adapter helps load custom html from assets folder
@BindingAdapter("htmlToScreen")
fun bindTextViewHtml(webView: WebView, htmlValue: String) {

webView.settings.javaScriptEnabled = true
webView.loadDataWithBaseURL("fake://not/needed", htmlValue, "text/html", "UTF-8", "")
}


您可以在 这个 GitHub Gist 找到提供给 Webview 的 html 源代码！

GitHub Gist
https://gist.github.com/farmaker47/8e3b6a5af795f32459d35d2198f07d1c


当屏幕上显示如 [A2，F2] 这样的文字音符时，我们执行：

// Observe notes as they come out of model and update webview respectively
    viewModel.noteValuesToDisplay.observe(viewLifecycleOwner,
        androidx.lifecycle.Observer { list ->
            if (list.size > 0) {
            var i = 0
                val handler = Handler()
                handler.post(object : Runnable {
                    override fun run() {
                        when (list[i]) {
                            "C2" -> binding.webView.loadUrl("javascript:myMove('125')")
                            "C#2" -> binding.webView.loadUrl("javascript:myMoveSharp('125')")
                            "D2" -> binding.webView.loadUrl("javascript:myMove('130')")
                            "D#2" -> binding.webView.loadUrl("javascript:myMoveSharp('130')")
                            "E2" -> binding.webView.loadUrl("javascript:myMove('135')")
                            "F2" -> binding.webView.loadUrl("javascript:myMove('140')")
                            "F#2" -> binding.webView.loadUrl("javascript:myMoveSharp('140')")
                            "G2" -> binding.webView.loadUrl("javascript:myMove('145')")
                            "G#2" -> binding.webView.loadUrl("javascript:myMoveSharp('145')")
                            "A2" -> binding.webView.loadUrl("javascript:myMove('150')")
                            "A#2" -> binding.webView.loadUrl("javascript:myMoveSharp('150')")
                            "B2" -> binding.webView.loadUrl("javascript:myMove('155')")
                             ...........................
                        }
                        i++
                        if (i < list.size) {
                            handler.postDelayed(this, 555L)
                        }
                    }
                })
            }
        })


在这里，我们每两秒钟观察一次音符变化，对于列表中的每个音符，我们执行 javascript 函数。myMove 函数内部的值是注释的垂直偏移量。


您可以在下面观看此应用程序的使用演示视频：


此项目的 GitHub 地址 (
https//github.com/farmaker47/Pitch_Estimator)。


此项目使用 Kotlin 语言，并且包括：

  1. 使用 Webview 和自定义 HTML 加载。
  2. 使用 TensorFlow 的 .tflite 模型文件：
  3. 数据绑定
  4. MVVM 模式下的协程
  5. Koin DI


改进计划

在应用程序的 build.gradle 文件中，我们添加了特殊算子的依赖项：

implementation ‘org.tensorflow:tensorflow-lite-select-tf-ops:0.0.0-nightly’


此依赖项导致最终的 .apk 文件体积膨胀。我们计划通过仅选择模型所需的算子，以此减少最终 .apk 的大小。


通过改进算法，我们将能够查看全音符，二分音符，休止符和其他音符。


了解更多

至此，本教程结束。希望您喜欢阅读本文，并借助 TensorFlow Lite 将学到的知识应用到现实场景中。访问 TensorFlow Hub (
https://tensorflow.google.cn/hub) 可获得种类繁多的模型文件！如需了解更多关于 TFLite 的模型文件、学习教程、最佳实践，请访问：

https//github.com/ml-gde/e2e-tflite-tutorials
https://github.com/margaretmz/awesome-tflite


感谢 Sayak Paul，Le Viet Gia Khanh 和 Luis Gustavo Martins 。


转载自：谷歌开发者官方账号【TensorFlow】

Tags：

猜你喜欢

本文暂时没有评论，来添加一个吧(●'◡'●)

欢迎 你 发表评论:

最近发表
标签列表
赣ICP备2023011894号-2