pytorch调试时CUDA报错，如何精确定位
由于pytorch的python语句执行和CUDA后端实际上是异步执行的，所以当CUDA
runtime报错时，并不一定能正确地反映在python抛出的错误语句中，因此，可以添加一个环境变量来实现：
CUDA_LAUNCH_BLOCKING=1
这里再补充一些关于cuda和pytorch异步执行的知识，当你写了一句torch.mm(X,
Y)时，实际上的操作仅仅是将乘法操作加入计算
没有root如何升级/安装GCC/G++ | 使用conda安装和升级gcc版本 | linux升级GCC版本
鉴于有评论区用户质疑本文的必要性，首先前排提醒：
linux大部分你可能以为需要root的需求都可以不用root解决。
只要你善用conda、.bashrc、LD_LIBRARY_PATH基本可以解决。
conda可以安装各种二进制包，包括各种版本的gcc/g++
安装最新版gcc和g++
1conda install gxx_linux-64 gxx_impl_linux-64
查看哪些IP尝试爆破你的Linux服务器
苯人有一台服务器，由于没有设置什么ssh
ip过滤规则，经常被扫描，所以今天在此查看一下是哪些倒运鬼东西一直扫描的，把它们给屏蔽了。
以下是苯人服务器环境：
Ubuntu 20.04 LTS
ssh认证的日志会记录在/var/log/auth.log中（在ubuntu
16.04之前似乎是/var/log/secure）
一般认证失败的日志有两种格式：
12Apr 8 01
浅谈位置编码（RoPE）
当前版本为本文的尝鲜版，稳定版尚未发布：
稳定版已发布
位置编码：
https://zhuanlan.zhihu.com/p/454482273
transformer的sin位置编码本身已经包含了相对位置信息，本身就是一种包含相对信息的绝对位置编码。因为它符合一种形式：
\[PE_{t+k}=f(k)\cdot PE(t)\]
而这种编码一种比较尴尬的地方就在于，这仍然是一种绝对位置
git回退版本
当我们commit了之后想回退，共有两个命令，四种组合。
包括git reset和git revert。其中git reset有三种模式：--mixed, --soft,
--hard
假设你提交了一次，这次提交修改了changed.sh文件，你想回退这次修改。
HEAD指的当前位置，HEAD^1就是HEAD的上一次commit，HEAD^2就是上上次commit
soft
Linux vscode右上角布局按钮显示 & 顶部不显示搜索栏
以下设置均在ubuntu上测试，windows可能类似。
开启或关闭右上角布局按钮：
image
勾选layout control
image
同时注意，window.titleBarStyle需要设置为custom才会生效。
关闭顶部中间的搜索框
中间有个很占地方的搜索框
image
设置里搜索command
center，取消勾选即可。（
wget递归下载
摘抄自https://zhuanlan.zhihu.com/p/380793959
wget -r -np -nH -R index.html http://url/including/files/you
各个参数的含义：
-r : 遍历所有子目录
-np : 不到上一层子目录去
-nH : 不要将文件保存到主机名文件夹
-R index.html : 不下载 inde
tar压缩时排除文件
如下，压缩output文件夹，但是忽略output/folder1 output/folder2 output/folder3/file1这几个文件/文件夹。
1tar -cvf output.tar.gz --exclude output/folder1 output/folder2 output/folder3/file1 output
注意：压缩的文件夹和忽略的文件夹都不要加/，并且最好