一、音画不同步介绍

定义：

音画不同步（AV Sync Issue），是指视频画面与音频播放时间轴不一致，导致观众看到的画面与听到的声音之间存在可感知的延迟或提前现象。
常见表现：
先声后影：声音先于画面出现，例如人物已经说话但嘴型还没动。
先影后声：画面动作先出现，声音延迟到达。
持续错位：时间差固定存在，整个视频/直播都有偏差。
间歇性错位：某些片段同步，某些片段不同步。
在视频技术中，音视频播放必须依靠统一的参考时钟（通常是系统时钟或音频时钟）来对齐，否则就会产生这种不同步现象。

分类：

1.按同步方式分类（本次介绍）
渐进式不同步：随着时间推移，音频和视频之间的差异逐渐增大
出现原因及频率：在实际直播中，更常见。

• 网络波动：直播中网络条件变化导致音视频数据包到达时间不均，随时间累积形成不同步
• 帧率转换：分布式转码中帧率转换（如60帧转30帧）产生帧数累积误差，导致音画逐渐不同步
• 设备性能瓶颈：低端设备无法同步处理高清视频与复杂音频，视频解码慢、音频处理快，造成差异随时间扩大
• 时间戳处理缺陷：FFmpeg等工具内部缓冲处理不当，导致时间戳信息丢失或未正确更新，表现为渐进式不同步

固定延迟不同步：音频和视频之间存在一个恒定的时间差
出现的原因：时间戳处理中的累积误差，在实际直播中较少见，通常不会被检测算法视为"音画不同步"问题。

2. 按表现形式分类
先声后影：声音先于画面出现（音频提前）
先影后声：画面先于声音出现（音频滞后）
3. 按技术原因分类
时间戳处理错误：源文件时间戳不准确，或处理过程中时间戳错乱
编解码处理差异：不同音视频轨道处理速度不一致
网络传输波动：网络延迟或抖动导致音视频包到达时间不均
帧率/采样率不匹配：如60帧转30帧导致的帧数累积误差
4. 按影响程度分类
轻微不同步：<0.1秒，普通观众难以察觉
中度不同步：0.1-0.3秒，普通观众可察觉，但不影响观看
严重不同步：>0.3秒，严重影响观看体验

构造：

这里着重构造一下第一种和第二种：
1.渐进式不同步
在开发和测试音画同步算法时，必须模拟渐进式不同步（如使用asetpts动态调整时间戳），而非简单添加固定延迟，才能真实反映直播环境中的音画不同步问题。

ffmpeg -i avsync_origin.mp4 -filter_complex "
  [0:v]setpts=PTS-STARTPTS[v];
  [0:a]asetpts='if(gte(T,30),PTS-STARTPTS+3.5/TB,PTS-STARTPTS)'[a]
" -map "[v]" -map "[a]" -c:v h264_videotoolbox -b:v 5M -c:a aac avsync_60_last_30_3500_3.mp4

• setpts=PTS-STARTPTS：重置视频时间戳，使其从0开始
• asetpts=‘if(gte(T,30),PTS-STARTPTS+3.5/TB,PTS-STARTPTS)’：

•  T：表示从开始到当前的时间（秒）
   gte(T,30)：当时间≥30秒时
   PTS-STARTPTS+3.5/TB：音频时间戳增加，表示音频逐渐提前
   3.5/TB：每秒增加3.5个时间单位（TB是时间基，如1/90000）
   PTS-STARTPTS：前30秒保持同步
  

2.固定延迟不同步：
直播平台通常基于时间戳检测同步问题，因此能发现前者，但对后者无能为力，除非启用 AI 内容分析。不过固定延迟不同步通常不是问题，播放器可以通过内置音频延迟调整处理，不会随时间恶化
如：提供内置的音频延迟调整功能，从而实现自动音频同步功能
1.提取音频和视频

ffmpeg -i /Users/hawk/Desktop/6/origne_30s_part1.mp4 -q:a 0 -map a /Users/hawk/Desktop/6/audio.mp3

2.延迟音频或视频

ffmpeg -i /Users/hawk/Desktop/6/audio.mp3 -af "adelay=1000|1000" /Users/hawk/Desktop/6/delayed_audio.mp3

3.合并音频和视频

ffmpeg -i /Users/hawk/Desktop/6/video.mp4 -i /Users/hawk/Desktop/6/delayed_audio.mp3 -c:v copy -c:a aac /Users/hawk/Desktop/6/origne_30s_part1_audio_delay_1s.mp4

（注：若文中存在不准确之处或您有任何疑问，敬请留言指出，我将及时修正。）