无法从“huggingface_hub”导入名称“split_torch_state_dict_into_shards”
发布于2024-11-25 16:43 阅读(539) 评论(0) 点赞(16) 收藏(5)
几个月来我一直在使用 LLAMA 2 进行研究，我的导入如下：
from transformers import AutoModelForCausalLM, AutoTokenizer
device = torch.device("cuda")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-chat-hf",token = "token_key",torch_dtype="auto")
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-chat-hf",token = "token_key", torch_dtype="auto", load_in_4bit=True)
它一直有效。但是，今天它显示了以下错误： RuntimeError：由于以下错误，无法导入 transformers.models.llama.modeling_llama（查找其回溯）：由于以下错误，无法导入 transformers.generation.utils（查找其回溯）：无法从“huggingface_hub”导入名称“split_torch_state_dict_into_shards”（/opt/conda/lib/python3.10/site-packages/huggingface_hub/ init .py）
重新创建了 Hugging Face 令牌，但没有用。我正在使用 Google Colab 和 Kaggle Notebook。
解决方案
您遇到的错误是由于该split_torch_state_dict_into_shards功能不可用huggingface-hub version < 0.23.0。
从版本开始包含此功能0.23.0。
要解决此问题，请将huggingface-hub库更新至版本 0.23.0 或更高版本
另请安装加速：
pip install accelerate==0.31.0
这是一个 git 链接： https: //github.com/run-llama/llama_index/discussions/14605
所属网站分类: 技术文章 > 问答
作者：黑洞官方问答小能手
链接：https://www.pythonheidong.com/blog/article/2045895/f0452ff8939ca7c75344/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力