这两天在预训练模型，采用的是完整的transformer架构，但是呢，encoder的输入是音符序列（实际上是一个4维的向量序列），而decoder的输入则是传统的文本序列。由于两种数据存在明显的gap（music->text）,因此在backbone能够工作的情况下，为了进一步提升模型的效果，决定首先将encoder与decoder拆开，分别在音符序列以及歌词序列上做预训练，之后再合在一起

将netease music中含有时间轴的歌词全部转移到统一的文件夹下由于并不是所有的歌词信息都含有时间轴，因此我们需要将含有时间轴的歌词先抽取出来。 基于如下观察，我们可以发现，含有时间轴信息的歌词文件的开头如下： 1"[00:00.00] 作词 : Jeff Keith/Frank Hannon\n[00:00.00] 作曲 : Jeff Keith/Frank Hannon\n[0

本文针对传统的CLM（Casual language model(next token prediction)）控制文本生成中引入condition出现的两个问题进行修正，使生成文本更好更灵活的受控。 两个问题长距离依赖（Postional Variance） 这个问题在于随着生成的context的越来越长，传统的CLM会较为平均的关注prompt tokens以及之前生成的context tok

由于几乎所有的音乐网站在组织形式上都是以预先设定好的track id记录歌曲，因此与之前的思路相似，整个脚本仍然分为两个阶段：获取歌曲对应的trackid，再根据trackid获取歌词，此处，通过搜索获取trackid使用spotipy实现，而根据trackid获取歌词使用syrics实现。 利用spotipy通过歌曲名+歌手名搜索获取trackid利用syrics通过trackid获取歌词获取s

下载并使用magisk刷写boot.img首先下载对应版本的线刷包（Fastboot），下载网址：https://xiaomifirmwareupdater.com/miui/xaga/ 我是全球版本的ROM，因此选择Global版本： 之后将压缩包中的boot.img文件提取出来： 然后导入手机，打开magisk选择install（Magisk旁的install）： 选择boot.img

参考的源码以及新版selenium的api修改根据 https://blog.51cto.com/u_13403836/5674642 中的代码，其中有基于selenium得到歌曲id的代码： 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556

method: diffusion

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick