banhxeo.model.llm package

Subpackages

• banhxeo.model.llm.layers package
  • Submodules
    • banhxeo.model.llm.layers.layer_norm module
      • LayerNorm

Submodules

• banhxeo.model.llm.config module
  • LayerNormConfig
    • LayerNormConfig.eps
    • LayerNormConfig.elementwise_affine
    • LayerNormConfig.bias
    • LayerNormConfig.__init__()
  • MLPConfig
    • MLPConfig.dim
    • MLPConfig.__init__()
  • MHAConfig
    • MHAConfig.dim
    • MHAConfig.n_heads
    • MHAConfig.__init__()
  • GPT2Config
    • GPT2Config.d_model
    • GPT2Config.debug
    • GPT2Config.init_range
    • GPT2Config.n_ctx
    • GPT2Config.n_layers
    • GPT2Config.mha
    • GPT2Config.ln
    • GPT2Config.mlp
    • GPT2Config.model_config
• banhxeo.model.llm.gpt2 module