horizon86的博客
  • 首页
  • 实用工具
  • 归档
  • 分类
  • 标签
  • 关于

transformers tokenizers需要glibc2.29解决办法

用conda安装新版transformers后,啪,报了个错 1ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29' not found (required by /data/jcdu/miniconda3/envs/main/lib/python3.7/site-packages/tokenizers/to
2022-07-28
AI

Minecraft(MC 我的世界) 1.18方块/物品ID对应表

查找方法:先在.minecraft\assets\index\1.18.json中查找minecraft/lang/zh_cn.json,然后根据hash在.minecraft\assets\objects里面找对应的文件。 比如这里是9fabbc798786c7b7364902b31bdb37c2c037e9b8,那么它就在9f文件夹中。找到后用文本编辑器打开,里面都是unicode编码,直接
2022-07-26
游戏 > Minecraft

ffmpeg精确分割音视频

参考:FFmpeg精准时间切割视频文件 - 知乎 视频+音频: 1ffmpeg -i <input_file> -ss <start_time> -t <duration> -c:a <audio_codec> -c:v <video_codec> <output_file> 仅音频: 1ffmpeg -y -i ac7
2022-07-26

Minecraft个人服务器常用插件(MC 我的世界)

Paper/Spigot/Bukkit 以下插件无特殊说明仅需服务器安装 功能性插件 InteractionVisualizer 显示掉落物品消失时间的插件 此插件需要前置插件ProtocolLib 注意:此插件可能会对服务器造成较高的负担,如果卡顿建议去除 LuckPerms 权限插件,是各种需要权限的插件的不二之选。官网的Usage是个很好的入门教程。 T
2022-07-21

ssh端口转发

看了一些文章,实在是跟婆娘的裹脚,又臭又长,解释的倒是正确,但是那么长很容易吓退看文章的人,况且写的也不那么清晰,ABC来回都混淆了。 ssh总共有3种转发模式,分别是 -D: 动态端口转发,这玩意用来做socks proxy,此处不写。 -L:访问本地端口 == 远程端口 -R:访问远程端口 == 访问本地端口 本地指发起ssh请求的客户端,远程指接收ssh请求的服务器
2022-07-21
windows > linux > 工具使用

tmux发送到某个会话指定命令/按键

发送指定按键到tmux的特定会话: 1tmux send-keys [-t <session-name>] <key> key的取值参考tmux man手册: When specifying keys, most represent themselves (for example 'A' to 'Z'). Ctrl keys may be prefixed wit
2022-07-13
linux

pytorch transformers ....

huggingface模型下载 transformers的预训练模型下载到本地特定位置,默认是在~/.cache/huggingface/transformers 1model = GPT2LMHeadModel.from_pretrained('gpt2', cache_dir="...") 想知道transformers的模型都是什么结构的,比如b
2022-05-19

torch.nn.CrossEntropyLoss

交叉熵损失,会自动给输出的logits做softmax,然后和真是标签计算交叉熵,然后再取相反数 https://zhuanlan.zhihu.com/p/383044774 CrossEntropyLoss(y_hat, y_truth) = -sum(y_truth_one_hot * log(softmax(y_hat))) 输入的y_hat是(n, C),n是样本数,C是类别数,
2022-05-17
AI

优秀博客list

pytorch如何保存与加载训练模型 - 简书 Pytorch冻结部分层的参数 - 简书 剪枝 (论文 + 代码)_看不见我呀的博客-CSDN博客_剪枝代码 Pytorch 剪枝操作实现 - 虾野百鹤 - 博客园 pytorch官方的剪枝教程(推荐,简单明了,比看别人的博客好的多) Pruning Tutorial — PyTorch Tutorials 1.11.0+cu10
2022-05-16
AI

bert细节解读和记录

Q&A: Q:BERT输如和输出是什么? A:输入是句子,每个句子由n个单词组成,也就是输入的形状是[batch_size, sentence_len]。这里每个单词用一个整数来表示,输入后对每个单词进行embbding,之后的维度是[batch_size, sentence_len, emb_dim],这里每个单词用一个emd_dim维的向量来表示。 输出是[batch
2022-05-16
AI
1…1011121314…17

搜索

Hexo Fluid