potplayer大概一年前上线了声音生成字幕和实时翻译字幕的功能，在看没有中字的片子时可以实时生成字幕
可以参考https://www.potplay.com.cn/news1.html
这两天实测了下,使用官方Faster-Whisper-XXL引擎，转录生成一部2小时左右的片源需要30多分钟
遂寻找有没有更快捷高效的方法，搜索了解到了nvidia开源的parakeet-tdt-0.6b-ja模型，该模型就是冲着日语训的模型，假名、口语、敬语、动漫里的变调读法都在训练范围内，相比Whisper体积更小、识别更快
但parakeet的缺点是和potplayer内置的whisper不兼容，Whisper 系程序（whisper.cpp / faster-whisper）的输入格式、网络结构、词表跟 Parakeet完全不通用
crispasr可以使用parakeet系列的模型，但是potplayer官方只开放两个引擎槽位（Faster-Whisper-XXL 和 Whisper-Faster），下拉选项里写死了这两个名字，改不了
于是让ai写了个插件把crispasr伪装成Whisper-Faster，让potplayer也能用上CrispASR+parakeet-tdt-0.6b-ja
项目链接放在这里了，欢迎大家试用
https://github.com/DravenH/crispasr-potplayer
接下来介绍下安装及使用方法
1.下载releases里的CrispASR-PotPlayer-Setup.exe，双击执行安装
选择本地potplayer安装目录后安装
根据自己电脑选择不同选项后点击开始下载
启用人声分离选项不推荐开，我实测人声分离处理起来非常慢（可能要跑几十分钟才开始进行声音转录），对字幕转录效果提升也不是十分明显，有需要的也可勾选下载
如果下载了人声分离，默认在ini配置里会打开人声分离开关，后续想关闭直接把“vocals=1”改成“vocals=0”即可
2.打开potplayer播放想看的片源，右键“字幕”→“声音生成字幕”→“声音生成字幕”
转换引擎选Whisper-Faster，就能被替换为我们装好的CrispASR，模型型号随便选择，都会替换成我们下载好的parakeet-tdt-0.6b-ja
语言选Japanese或者AUTO都行
可以手动点开始，或者设置成播放开始时自动生成
*如果有想识别除日语以外的其他语言，也可以自行下载其他模型放在PotPlayer\Engine\Whisper-Faster\CrispASR\models目录下，自行更改ini文件里model那行的参数配置
3.实时字幕翻译
可以直接使用potplayer自带的google translate
本地模型翻译需要先安装ollama（ollama安装大家自己可以去搜其他教程）
下载ollama translate中的插件放在Extension\Subtitle\Translate目录下
https://github.com/yxyxyz6/PotPlayer_ollama_Translate
推荐使用ollama run huihui_ai/hy-mt1.5-abliterated下载这个模型使用，或者自行更换其他想用的模型
实测mida783如下
4.看完整部影片后，可以将翻译后的字幕保存下来
需要注意的是，这个字幕是边看边翻译，看的过程中跳过了某些片段，对应片段的中文翻译不会存到字幕里
想要整片翻译的可以使用本项目tools目录下的[color=rgb(68, 68, 68) !important]translate-ja-srt.ps1脚本，或者另一款开源软件subtitle edit，这里就不详细展开了
在测试时发现之前115使用本地potplayer播放器播放的油猴脚本出了问题用不了了，也顺便修复了一下放在项目里了
具体方法就是下载项目中extension/Media/PlayParse目录下的文件，放到PotPlayer\Extension\Media\PlayParse目录下，浏览器安装https://greasyfork.org/zh-CN/scripts/597814-115-com-potplayer脚本，即可使用本地potplayer播放网盘里的片源
但是这种播放方式无法使用“声音生成字幕”，只能使用“声音生成字幕（实时）”，而这个“声音生成字幕（实时）”暂时用不了CrispASR转录，只能使用官方的whisper
总体内容就这么多，欢迎大家试用，github上也可以帮忙点点star，有建议改进等也可以在项目上留言
最后提前祝大家国庆快乐！！！
还没有评论，来抢沙发吧。