Skip to content

显存占用问题 #153

@cabbage404

Description

@cabbage404

请教一下,ChaGLM | zero2 | No | No | 1 | 1560 | 1 | 45G 注意到lora方式微调仍然需要45G的显存,好像并没有像有些博文里面写的lora方式微调可以忽略 lora部分的梯度、后向传播等显存占用,只需要模型本身的显存占用一样(模型好像是6B的,需要12G或者24G),为什么使用lora微调仍然需要这么大的显存呢

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions