搜索
热搜： Python 编程 PHP vue dedecms
首页> 后端开发 > Dart > 正文

C#如何利用waveIn如何实现声音采集

发布时间：2024-04-08 13:44:05 来源：互联网
.
前言 之前实现了《C++ 使用waveIn实现声音采集》，后来C 项目也有此功能的需求，直接调用C++封装的dll是可以的。但是wimm这种基于win32 ap

前言

之前实现了《C++ 使用waveIn实现声音采集》，后来C#项目也有此功能的需求，直接调用C++封装的dll是可以的。但是wimm这种基于win32 api的库，完全可以直接用C#去调用，将依赖减少到最小。

一、需要的对象及方法

参考《C++ 使用waveIn实现声音采集》，此处不再赘述。

二、整体流程

参考《C++ 使用waveIn实现声音采集》，此处不再赘述。

三、关键实现

此处讲一些与C#相关的点。

1、使用Thread开启线程

笔者一开是实现是使用Task开启线程，由于Task基于线程池可以提高资源利用率，但是这也出现了一些问题。由于录制需要在子线程开启消息循环，多次重复调用录制时，有概率打开同一个线程，就有可能收到上一个录制的数据消息，造成非法内存的读取问题。目前没找到销毁线程中消息循环的方法，只有通过结束线程的方式结束消息循环。所以使用Thread开启线程，才能够解决问题。

 _thread = new Thread(() => { _CollectThread();});
 _thread.Start();

2、TaskCompletionSource实现异步

因为C#支持async、await机制，这样就可以直接去掉开始和停止两个回调，使用异步实现开始和停止方法。

/// <summary>
/// 开始采集,Start和Stop需要成对使用，await可变成同步式，真正开始采集才会返回。
/// 失败会抛出异常，可通过ContinueWith或await获取异常。
/// </summary>        
public async Task<Task> Start();
/// <summary>
/// 停止采集,直接调用是异步，可await等待真正停止
/// 此方法是有可能抛异常的，采集过程中出现的异常，会在此方法中抛出
/// </summary>
public async Task<Task> Stop();

调用方式

await wic.Start();
//此行是采集真正开始的时机
await wic.Stop();
//此行是已经停止的时机

由于使用了Thread开启线程，所以我们需要使用其他方式生成Task，在Thread结束后触发Task完成。用过flutter的朋友应该知道这种情况使用Completer就可以，C#中对应Dart的Completer就是TaskCompletionSource。
示例代码如下

public async Task<Task> Start()
{
    TaskCompletionSource? tcsStart=new TaskCompletionSource(); ;
    _tcs = new TaskCompletionSource();
    _thread = new Thread(() => { _CollectThread(tcsStart); _tcs.SetResult();/*线程结束触发完成*/ });
    _thread.Start();     
    //等待开始完成的信号 
    await tcsStart.Task;
    return Task.CompletedTask;
}
void _CollectThread(TaskCompletionSource tcsStart){
    while(GetMessage(out msg)!=0)
    {
       //接收到Wimm开始消息，触发完成
       tcsStart.SetResult();
       //接收到Wimm结束消息退出循环结束线程
    }   
}
 public async Task<Task> Stop()
 {
     if (_thread != null)
     { 
         //发送消息结束线程
         _exitFlag = true;
         PostThreadMessage(_threadId, MM_WIM_CLOSE); 
         //等待线程结束
         await _tcs!.Task;
         _tcs = null;
         _thread = null;
     }
     return Task.CompletedTask;
 }

3、将指针封装为Stream

通过Wimm采集的音频数据是指针的形式，如果需要转为byte[]这需要使用Marshall进行数据拷贝，为了避免拷贝，数据形式不能是byte[]数组。直接提供指针又不方便使用，笔者采用了Stream的方式提供数据，而且文件流直接支持Stream写入。C#本身有个UmanagedMemoryStream可以支持读取指针的数据，但是需要unsafe上下文，这显然是没必要的（有unsafe上下文，直接通过地址读取数据即可，或者将此功能放dll单独设置unsafe对外提供Stream也不便于管理）。最好的方式还是自己实现一个Stream用于读取指针数据。

完整代码如下：

using System.Runtime.InteropServices;
namespace AC
{
    /// <summary>
    /// 用于读取指针数据的流，内部不会管理指针
    /// 由于.net库提供的UnmanagedMemoryStream需要unsafe上下文，所以直接自己封装一个类似功能的stream避开unsafe的使用。
    /// </summary>
    class UMemoryStream : Stream
    {
        public override bool CanRead => _access == FileAccess.Read || _access == FileAccess.ReadWrite;
        public override bool CanSeek => true;
        public override bool CanWrite => _access == FileAccess.Write || _access == FileAccess.ReadWrite;
        public override long Length => _len;
        public override long Position { get; set; } = 0;
        FileAccess _access;
        nint _ptr;
        nint _len;
        /// <summary>
        /// 构造方法
        /// </summary>
        /// <param name="ptr">数据地址</param>
        /// <param name="len">数据长度</param>
        /// <param name="access"></param>
        public UMemoryStream(nint ptr, int len, FileAccess access)
        {
            _ptr = ptr;
            _len = len;
            _access = access;
        }
        public override void Flush()
        {
            throw new NotSupportedException();
        }
        public override int Read(byte[] buffer, int offset, int count)
        {
            if (_ptr == 0)
                throw new ObjectDisposedException(ToString());
            if (!CanRead)
                throw new NotSupportedException();
            var leftCount = _len - Position;
            if (count > leftCount)
            {
                count = (int)leftCount;
            }
            if (count > 0)
            {
                Marshal.Copy(_ptr + (nint)Position, buffer, offset, count);
                Position += count;
            }
            return count;
        }
        public override long Seek(long offset, SeekOrigin origin)
        {
            switch (origin)
            {
                case SeekOrigin.Begin:
                    Position = offset;
                    break;
                case SeekOrigin.Current:
                    Position += offset;
                    break;
                case SeekOrigin.End:
                    Position = _len - offset;
                    break;
            }
            return Position;
        }
        public override void SetLength(long value)
        {
            throw new NotSupportedException();
        }
        public override void Write(byte[] buffer, int offset, int count)
        {
            if (_ptr == 0)
                throw new ObjectDisposedException(ToString());
            if (!CanWrite)
                throw new NotSupportedException();
            var leftCount = _len - Position;
            if (count > leftCount)
            {
                count = (int)leftCount;
            }
            if (count > 0)
            {
                Marshal.Copy(buffer, offset, _ptr + (nint)Position, count);
                Position += count;
            }
            else { throw new ArgumentOutOfRangeException(); }
        }
        public override void Close()
        {
            _ptr = 0;
        }
    }
}

四、完整代码

将采集功能封装成一个通用工具，方便在任意地方使用。

1.接口

接口设计如下：

using System.Runtime.InteropServices;
using static AC.Winmm;
using static AC.User32;
using static AC.Kernel32;
​​​​​​​/************************************************************************
* @Project:      AC::WaveInCollector
* @Decription:  音频采集工具
* @Verision:      v1.0.0.0
* @Author:      Xin Nie
* @Create:      2023/10/8 09:27:00
* @LastUpdate:  2023/10/24 11:34:00
************************************************************************
* Copyright @ 2025. All rights reserved.
************************************************************************/
namespace AC
{
    /// <summary>
    /// 声音采集对象
    /// </summary>
    /// <summary>
    /// 声音采集对象
    ///这是一个功能完整声音采集对象，所有接口通过了测试。
    ///非线程安全，所有方法需确保在单线程中调用，即比如：Start和Stop不能在两个线程中同时调用。
    /// </summary>
    public class WaveInCollector : IAsyncDisposable
    {
        /// <summary>
        /// 数据到达事件参数
        /// </summary>
        public class DataArrivedEventArgs : EventArgs
        {
            /// <summary>
            /// 声音格式
            /// </summary>
            public SampleFormat Format { set; get; }
            /// <summary>
            /// 声音数据流,为了减少数据拷贝次数，将非托管内存封装成流的形式提供，只读，生命周期为回调方法内。
            /// </summary>
            public Stream Stream { set; get; }
        }
        /// <summary>
        /// 采集数据到达事件
        /// </summary>
        public event EventHandler<DataArrivedEventArgs>? DataArrived;
        /// <summary>
        /// 采集速率单位：次/秒
        /// 此属性会影响每次输出数据的大小
        /// 开始采集前设置有效
        /// </summary>
        public int Frequency { set; get; } = 50;
        /// <summary>
        /// 声音格式
        /// </summary>
        public SampleFormat Format { private set; get; }
        /// <summary>
        /// 当前设备
        /// </summary>
        public AudioDevice Device { private set; get; }
        /// <summary>
        /// 枚举可用的声音采集设备
        /// </summary>
        public static IEnumerable<AudioDevice> AvailableDevices { get; }
        /// <summary>
        /// 构造方法
        /// </summary>
        /// <param name="device">音频设备，不能为空</param>
        /// <param name="SampleFormat">声音格式</param>
        public WaveInCollector(AudioDevice device, SampleFormat sf);
        /// <summary>
        /// 构造方法
        /// 如果系统没有任何设备则会抛出异常
        /// </summary>
        /// <param name="deviceId">声音设备Id，0为默认设备</param>
        /// <param name="SampleFormat">声音格式</param>
        public WaveInCollector(uint deviceId, SampleFormat sf) : this(GetWaveInDeviceById(deviceId)!, sf) { }
        /// <summary>
        /// 开始采集,Start和Stop需要成对使用，await可变成同步式，真正开始采集才会返回。
        /// 失败会抛出异常，可通过ContinueWith或await获取异常。
        /// </summary>        
        public async Task<Task> Start();
        /// <summary>
        /// 停止采集,直接调用是异步，可await等待真正停止
        /// 此方法是有可能抛异常的，采集过程中出现的异常，会在此方法中抛出
        /// </summary>
        public async Task<Task> Stop();
    }
     /// <summary>
     /// 声音格式
     /// </summary>
    public class SampleFormat
    {
        /// <summary>
        /// 声道数
        /// </summary>
        public ushort Channels { set; get; }
        /// <summary>
        /// 采样率
        /// </summary>
        public uint SampleRate { set; get; }
        /// <summary>
        /// 位深
        /// </summary>
        public ushort BitsPerSample { set; get; }
    }
     /// <summary>
     /// 音频设备
     /// </summary>
    public class AudioDevice
    {
        /// <summary>
        /// 设备Id
        /// </summary>
        public uint Id { set; get; }
        /// <summary>
        /// 设备名称
        /// </summary>
        public string Name { set; get; } = "";
        /// <summary>
        /// 声道数
        /// </summary>
        public int Channels { set; get; }
        /// <summary>
        /// 支持的格式
        /// </summary>
        public IEnumerable<SampleFormat> SupportedFormats { set; get; }
    }
}

2.具体实现

vs2022 .net6.0 项目，所有win api通过dllimport引入，没有任意额外依赖。

注：winmm不能识别dshow虚拟设备，请根据需要下载资源。

五、使用示例

采集声音并保存为wav文件，其中的WavWriter对象参考《C# 将音频PCM数据封装成wav文件》

方式一

获取可用设备并采集

// See https://aka.ms/new-console-template for more information
using AC;
try
{
    //获取可用的音频设备
    var device = WaveInCollector.AvailableDevices.First();
    //创建wav文件
    using (var ww = WavWriter.Create("test.wav", device.SupportedFormats!.First().Channels, device.SupportedFormats!.First().SampleRate, device.SupportedFormats!.First().BitsPerSample))
    {
        //初始化录制对象
        await using (var wic = new WaveInCollector(device.Id, device.SupportedFormats!.First()))
        {
            //由于api限制设备名称不一定全。长度最大32。
            Console.WriteLine("设备名称：" + wic.Device.Name);
            Console.WriteLine("声音格式：Chanels=" + wic.Format.Channels +
                " SampleRate=" + wic.Format.SampleRate +
                " BitsPerSample=" + wic.Format.BitsPerSample
                );
            Console.WriteLine("开始录制");
            //注册录制事件
            wic.DataArrived += (s, e) =>
            {
                Console.WriteLine("接收数据长度" + e.Stream.Length);
                //写入文件
                ww.Write(e.Stream);
            };
            //开始录制
            await wic.Start();
            //录制10s结束
            await Task.Delay(10000);
            Console.WriteLine("录制完成");
        }
    }
}
catch (Exception e)
{
    Console.WriteLine(e.Message);
}

方式二

指定设备下标和声音格式

// See https://aka.ms/new-console-template for more information
using AC;
try
{
​​​​​​​    //创建wav文件
    using (var ww = WavWriter.Create("test.wav", 2, 44100, 16))
    {
        //初始化录制对象
        await using (var wic = new WaveInCollector(0, new SampleFormat() { Channels = 2, SampleRate = 44100, BitsPerSample = 16 }))
        {
            //由于api限制设备名称不一定全。长度最大32。
            Console.WriteLine("设备名称：" + wic.Device.Name);
            Console.WriteLine("声音格式：Chanels=" + wic.Format.Channels +
                " SampleRate=" + wic.Format.SampleRate +
                " BitsPerSample=" + wic.Format.BitsPerSample
                );
            Console.WriteLine("开始录制");
            //注册录制事件
            wic.DataArrived += (s, e) =>
            {
                Console.WriteLine("接收数据长度" + e.Stream.Length);
                //写入文件
                ww.Write(e.Stream);
            };
            //开始录制
            await wic.Start();
            //录制10s结束
            await Task.Delay(10000);
            Console.WriteLine("录制完成");
        }
    }
}
catch (Exception e)
{
    Console.WriteLine(e.Message);
}

效果预览

总结

实现waveIn声音采集虽然核心部分和C++一样，但是对于接口的设计以及调用流程都有很大的不同，尤其是C#的异步可以简化调用，使得接口变得很简洁，而且通过disposable又可以和using配合省去Stop的调用。但唯一比较麻烦的地方就是内存的互操作，尤其是音频数据缓存的读取和写入，在非unsafe的环境下会多一次拷贝。总的来说，这个功能在C#中实现还是有用的，调用简单而且没有额外依赖。

以上就是C#利用waveIn实现声音采集的详细内容，更多关于C# waveIn声音采集的资料请关注好代码网其它相关文章！

以下您可能有感兴趣的文章:
标签： C waveIn 声音
关于好代码 | 联系方式 | 版权声明 | 合作赞助 | 网站地图