1. 云东方首页
  2. 工具软件

开放助手 LLaMa 30B SFT 6

• 工具软件

开放助手 LLaMa 30B SFT 6

由于 Meta AI 对 LLaMA 模型附加了许可证，因此无法直接分发基于 LLaMA 的模型。相反，我们为OA模型提供了XOR权重。

感谢 Mick 编写了启用此过程的脚本xor_codec.py

过程

注意：此过程适用于模型。将来可以将相同的过程应用于其他模型，但校验和会有所不同。oasst-sft-6-llama-30b

此过程仅在Linux（特别是Ubuntu）上进行测试。一些用户报告说，该过程在Windows上不起作用。如果只有一台 Windows 计算机，我们建议使用 WSL。

要使用基于 OpenAssistant LLaMA 的模型，您应该拥有原始 LLaMA 模型权重的副本，并将它们添加到此处的子目录中。如果您无法获得原始LLaMA，请参阅下面的斜体注释以获取可能的替代方案。llama

确保您的 LLaMA 30B 检查点与正确的 md5sum 匹配：

f856e9d99c30855d6ead4d00cc3a5573  consolidated.00.pth
d9dbfbea61309dc1e087f5081e98331a  consolidated.01.pth
2b2bed47912ceb828c0a37aac4b99073  consolidated.02.pth
ea0405cdb5bc638fee12de614f729ebc  consolidated.03.pth
4babdbd05b8923226a9e9622492054b6  params.json

如果您没有原始LLaMA权重的副本并且无法获得，您仍然可以完成此过程。一些用户报告说，该模型可以用作异或转换的基础。这也将允许您跳到步骤 7。但是，我们仅支持从 LLaMA 原始检查点开始的转换，如果您在使用此替代方法时遇到问题，则无法提供支持。

重要提示：请按照以下确切步骤将原始LLaMA检查点转换为与HuggingFace Transformers兼容的格式。如果您使用任何依赖项的错误版本，则最终可能会得到与 XOR 文件不兼容的权重。

  1. 创建一个干净的Python 3.10虚拟环境并激活它：
python3.10 -m venv xor_venv
source xor_venv/bin/activate

  1. 克隆变压器存储库并切换到测试版本：
git clone https://github.com/huggingface/transformers.gitcd transformersgit checkout d04ec99bec8a0b432fc03ed60cea9a1a20ebaf3cpip install .

  1. 完全安装以下依赖项版本：
pip install torch==1.13.1 accelerate==0.18.0 sentencepiece==0.1.98 protobuf==3.20.1

  1. 检查输出：pip freeze
accelerate==0.18.0certifi==2022.12.7charset-normalizer==3.1.0filelock==3.12.0huggingface-hub==0.13.4idna==3.4numpy==1.24.2nvidia-cublas-cu11==11.10.3.66nvidia-cuda-nvrtc-cu11==11.7.99nvidia-cuda-runtime-cu11==11.7.99nvidia-cudnn-cu11==8.5.0.96packaging==23.1protobuf==3.20.1psutil==5.9.5PyYAML==6.0regex==2023.3.23requests==2.28.2sentencepiece==0.1.98tokenizers==0.13.3torch==1.13.1tqdm==4.65.0transformers @ file:///mnt/data/koepf/transformerstyping_extensions==4.5.0urllib3==1.26.15

  1. 在存储库根目录中，运行 HF LLaMA 转换脚本：transformers
python src/transformers/models/llama/convert_llama_weights_to_hf.py --input_dir <input_path_llama_base>  --output_dir <output_path_llama30b_hf> --model_size 30B

  1. 在转换目标目录 （） 中运行。如果您的文件正确，这应该产生以下校验和：find . -type f -exec md5sum "{}" +output_dir
462a2d07f65776f27c0facfa2affb9f9  ./pytorch_model-00007-of-00007.bine1dc8c48a65279fb1fbccff14562e6a3  ./pytorch_model-00003-of-00007.bin9cffb1aeba11b16da84b56abb773d099  ./pytorch_model-00001-of-00007.binaee09e21813368c49baaece120125ae3  ./generation_config.json92754d6c6f291819ffc3dfcaf470f541  ./pytorch_model-00005-of-00007.bin3eddc6fc02c0172d38727e5826181adb  ./pytorch_model-00004-of-00007.bineeec4125e9c7560836b4873b6f8e3025  ./tokenizer.model99762d59efa6b96599e863893cf2da02  ./pytorch_model-00006-of-00007.bin598538f18fed1877b41f77de034c0c8a  ./config.jsonfdb311c39b8659a5d5c1991339bafc09  ./tokenizer.jsonfecfda4fba7bfd911e187a85db5fa2ef  ./pytorch_model.bin.index.jsonedd1a5897748864768b1fab645b31491  ./tokenizer_config.json6b2e0a735969660e720c27061ef3f3d3  ./special_tokens_map.json5cfcb78b908ffa02e681cce69dbe4303  ./pytorch_model-00002-of-00007.bin

重要提示：您现在应该拥有正确的 LLaMA 权重，并准备好应用 XOR。如果上面的校验和与您的校验和不匹配，则存在问题。

  1. 获得正确格式的LLaMA权重后，您可以应用异或解码：
python xor_codec.py oasst-sft-6-llama-30b/ oasst-sft-6-llama-30b-xor/oasst-sft-6-llama-30b-xor/ llama30b_hf/

您应该会在执行期间看到一条警告消息：

Exception when processing 'added_tokens.json'

这是正常的。如果其他文件出现类似消息，则表示出了问题。

  1. 现在在输出目录中运行（此处）。您应该得到一个包含以下校验和的文件：find . -type f -exec md5sum "{}" +oasst-sft-6-llama-30b
970e99665d66ba3fad6fdf9b4910acc5  ./pytorch_model-00007-of-00007.bin
659fcb7598dcd22e7d008189ecb2bb42  ./pytorch_model-00003-of-00007.bin
ff6e4cf43ddf02fb5d3960f850af1220  ./pytorch_model-00001-of-00007.bin
27b0dc092f99aa2efaf467b2d8026c3f  ./added_tokens.json
2917a1cafb895cf57e746cfd7696bfe5  ./generation_config.json
740c324ae65b1ec25976643cda79e479  ./pytorch_model-00005-of-00007.bin
f7aefb4c63be2ac512fd905b45295235  ./pytorch_model-00004-of-00007.bin
eeec4125e9c7560836b4873b6f8e3025  ./tokenizer.model
369df2f0e38bda0d9629a12a77c10dfc  ./pytorch_model-00006-of-00007.bin
cc9dbf56b68b68a585cc7367696e06a7  ./config.json
76d47e4f51a8df1d703c6f594981fcab  ./pytorch_model.bin.index.json
fd9452959d711be29ccf04a97598e8d1  ./tokenizer_config.json
785905630a0fe583122a8446a5abe287  ./special_tokens_map.json
ae48c4c68e4e171d502dd0896aa19a84  ./pytorch_model-00002-of-00007.bin

如果是这样，您已经成功解码了权重，并且应该能够将该模型与HuggingFace变压器一起使用。如果您的校验和与上述校验和不匹配，则存在问题。

配置

llama-30b-sft-6:
  dtype: fp16
  log_dir: "llama_log_30b"
  learning_rate: 1e-5
  model_name: /home/ubuntu/Open-Assistant/model/model_training/.saved/llama-30b-super-pretrain/checkpoint-3500
  output_dir: llama_model_30b
  deepspeed_config: configs/zero3_config_sft.json
  weight_decay: 0.0
  residual_dropout: 0.0
  max_length: 2048
  use_flash_attention: true
  warmup_steps: 20
  gradient_checkpointing: true
  gradient_accumulation_steps: 16
  per_device_train_batch_size: 2
  per_device_eval_batch_size: 3
  eval_steps: 101
  save_steps: 292
  num_train_epochs: 8
  save_total_limit: 3
  use_custom_sampler: true
  sort_by_length: false
  save_strategy: steps
  datasets:
    - oasst_export:
        lang: "bg,ca,cs,da,de,en,es,fr,hr,hu,it,nl,pl,pt,ro,ru,sl,sr,sv,uk"
        input_file_path: 2023-04-12_oasst_release_ready_synth.jsonl.gz
        val_split: 0.05
    - vicuna:
        val_split: 0.05
        max_val_set: 800
        fraction: 0.8
    - dolly15k:
        val_split: 0.05
        max_val_set: 300
    - grade_school_math_instructions:
        val_split: 0.05
    - code_alpaca:
        val_split: 0.05
        max_val_set: 250

原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun246079.html

赞 (0)
打赏 微信扫一扫不于多少！ 微信扫一扫不于多少！ 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2023年4月25日
下一篇 2023年4月28日

相关推荐