推荐一篇文章：通俗理解word2vec - 简书 认真读完上文后会理解word2vec 本文做点重点解释： word2vec的输入是一个单词上下文中的 \(C\) 个单词one-hot编码，你语料库有几个单词这个one-hot向量就是几维的。假定语料库有 \(V\) 个单词，每个单词的ont-hot编码就是\(1 \times V\)的。 image 对于语料库中的

由于老是忘记transformer的细节，今天整个笔记记一下，免得又忘了 一个batch 有batch_size句话，一句话有n个单词，不够就pad到n，超出就截断 嵌入层嵌入后，输出维度是[batchsize, n, d_model] 也就是每个单词的嵌入是一个(1, d_model)的向量 进入到self-attention。先计算q, k, v，每个单词都有一个q, k,

网上的实在是解释的各种混乱错误，写一份新的，内容基于ps --help 123456789101112Usage: ps [options]Basic options: -A, -e all processes -a all with tty, except session leaders a

wps打开多个文件后，本来是同一个窗口多个标签页，但是在任务栏点WPS图标并不能默认打开最小化时打开 的标签页，而是预览很多标签页，必须选择一个。 解决方案： 将以下内容保存为xxx.reg，导入到注册表 1234Windows Registry Editor Version 5.00[HKEY_CURRENT_USER\Software\kingsoft\Office\6.0\wpsoff

https://math.stackexchange.com/a/4139609 [a]可能表示的是不超过a的整数组成的集合 论文《Patient Knowledge Distillation for BERT Model Compression》的第3.1章也提到了一下这种写法 image

1pkill -kill -t pts/15 注销登陆的会话。会话名字用who查看

windows10默认设置是http代理，直接输入ip，就是http代理 image 如果要设置socks代理，输入socks=127.0.0.1，点击保存后会自动变成http://socks=127.0.0.1，不能手动输入http:// image

1. 变量定义和引用 =两边不能有空格 使用$变量名来引用变量值，也可以用${变量名} 1234a=1b='str'echo $a $b ${a} ${b} 2. IF语句 2.1 基本格式 1234if <测试条件>then <语句1>else <语句2>fi 123

列出所有环境 1conda env list 创建环境 1conda create -n envName python=3.5 激活环境 1conda activate tf2 搜索包 123conda search pythonconda search python=3.8.*conda search python=3.9.*=h6244533_0 安装包 12345conda inst

pandas pandas dataframe，行索引index，列索引columns，可通过df.index和df.columns获取，通过.values可以获取numpy ndarray类型 选择DataFrame的一部分 iloc loc iat at 直接用[]选择时，只能选择行或者列，用loc/iloc可以同时选择行和列 loc可以用行列名字（string）或者