# GLM-4.5, GLM-4.6, GLM-4.7

## 개요

**GLM-4.7**, **GLM-4.6**, **GLM-4.5** 언어 모델은 이 클래스를 사용합니다. Transformers의 구현에는 MTP 레이어가 포함되어 있지 않습니다.

### GLM-4.7

**GLM-4.7**, 새로운 코딩 파트너가 다음과 같은 기능과 함께 찾아옵니다:

- **코어 코딩**: GLM-4.7은 전작인 GLM-4.6과 비교하여 다국어 에이전틱 코딩 및 터미널 기반 작업에서 뚜렷한 성능 향상을 보여주며, SWE-bench에서 (73.8%, +5.8%), SWE-bench Multilingual에서 (66.7%, +12.9%), Terminal Bench 2.0에서 (41%, +16.5%)의 점수를 기록했습니다. 또한 GLM-4.7은 행동 전 사고(thinking before acting)를 지원하여 Claude Code, Kilo Code, Cline, Roo Code와 같은 주요 에이전트 프레임워크에서 복잡한 작업의 성능이 크게 향상되었습니다.
- **Vibe Coding**: GLM-4.7은 UI 품질 개선에 있어 큰 진전을 이루었습니다. 더 깔끔하고 현대적인 웹페이지를 생성하며, 레이아웃과 크기가 더 정확한, 보기 좋은 슬라이드를 만들어냅니다.
- **도구 사용**: GLM-4.7은 도구 사용에서 상당한 개선을 이루었습니다. τ^2-Bench와 같은 벤치마크 및 BrowseComp를 통한 웹 브라우징에서 눈에 띄게 향상된 성능을 확인할 수 있습니다.
- **복합 추론**: GLM-4.7은 GLM-4.6 대비 HLE(Humanity’s Last Exam) 벤치마크에서 (42.8%, +12.4%)를 기록하며 수학 및 추론 능력을 크게 향상시켰습니다.

더 일반적으로, 채팅, 창작 글쓰기, 역할극 시나리오 등 다양한 다른 시나리오에서도 상당한 성능 향상을 확인할 수 있습니다.

![bench](https://raw.githubusercontent.com/zai-org/GLM-4.5/refs/heads/main/resources/bench_glm47.png)

**교차 사고 및 보존된 사고**

![thinking](https://raw.githubusercontent.com/zai-org/GLM-4.5/refs/heads/main/resources/thinking.png)

GLM-4.7은 **Interleaved Thinking**(GLM-4.5부터 도입된 기능)을 한층 더 강화하고, **Preserved Thinking**과 **Turn-level Thinking**를 도입했습니다. 동작 사이에 사고를 수행하고 턴 간 일관성을 유지함으로써 복잡한 작업을 더 안정적이고 제어하기 쉽게 만듭니다:
- **Interleaved Thinking**: 모델은 모든 응답 및 도구 호출 전에 추론을 수행하여 지시 사항 준수 및 생성 품질을 향상시킵니다.
- **Preserved Thinking**: 코딩 에이전트 시나리오에서 모델은 다중 턴 대화에 걸쳐 모든 thinking 블록을 자동으로 유지하며, 처음부터 다시 유도하는 대신 기존 추론을 재사용합니다. 이를 통해 정보 손실과 불일치를 줄일 수 있으며, 장기적이고 복잡한 작업에 적합합니다.
- **턴 단위 추론**: 모델은 세션 내에서 턴별 추론 제어를 지원합니다. 경량 요청의 경우 추론을 비활성화하여 지연 시간과 비용을 줄이고, 복잡한 작업의 경우 정확도와 안정성을 높이기 위해 추론을 활성화할 수 있습니다.

자세한 내용: https://docs.z.ai/guides/capabilities/thinking-mode

더 많은 평가 결과, 사례 및 기술적 세부 사항은 [GLM-4.7 기술 블로그](https://z.ai/blog/glm-4.7)를 방문하여 확인하세요.

### GLM-4.6

GLM-4.5와 비교하면, **GLM-4.6** 은 몇 가지 주요 개선 사항을 제공합니다:

* **더 긴 컨텍스트 윈도우:** 컨텍스트 윈도우가 128K 토큰에서 200K 토큰으로 확장되어, 모델이 더 복잡한 에이전틱 작업을 처리할 수 있습니다.
* **뛰어난 코딩 성능:** 해당 모델은 코드 벤치마크에서 더 높은 점수를 기록하며, Claude Code, Cline, Roo Code, Kilo Code와 같은 애플리케이션에서 시각적으로 완성도 높은 프론트엔드 페이지 생성을 포함한 실제 환경 성능이 향상되었습니다.
* **고급 추론:** GLM-4.6은 추론 성능이 명확하게 향상되었으며 추론 중 도구 사용도 지원하여 전반적인 능력이 더욱 강화되었습니다.
* **더 강력한 에이전트:** GLM-4.6은 도구 사용 및 검색 기반 에이전트에서 더 뛰어난 성능을 보이며, 에이전트 프레임워크 내에서 더 효과적으로 통합됩니다.
* **글쓰기 개선:** 스타일과 가독성 측면에서 인간 선호도에 더 잘 부합하며, 역할극 시나리오에서 더 자연스럽게 동작합니다.

에이전트, 추론, 코딩을 다루는 8개의 공개 벤치마크에서 GLM-4.6을 평가했습니다. 결과에 따르면 GLM-4.6은 GLM-4.5 대비 명확한 성능 향상을 보였으며, **DeepSeek-V3.1-Terminus**와 **Claude Sonnet 4**와 같은 주요 국내외 모델에 대해서도 경쟁 우위를 유지했습니다.

더 많은 평가 결과, 사례 및 기술적 세부 사항은 [GLM-4.6 기술 블로그](https://z.ai/blog/glm-4.6)를 방문하여 확인하세요.

### GLM-4.5

[**GLM-4.5**](https://huggingface.co/papers/2508.06471) 시리즈 모델은 지능형 에이전트를 위해 설계된 파운데이션 모델이며, MoE 변형은 Glm4Moe로 문서화되어 있습니다.

GLM-4.5는 총 **355**억 개의 파라미터와 활성 **32**억 개의 파라미터를 갖추고 있으며, GLM-4.5-Air는 총 **106**억 개의 파라미터와 활성 **12**억 개의 파라미터를 가진 더 컴팩트한 설계를 채택했습니다. GLM-4.5 모델은 추론, 코딩, 지능형 에이전트 기능을 통합하여 지능형 에이전트 애플리케이션의 복잡한 요구 사항을 충족합니다.

GLM-4.5와 GLM-4.5-Air 모두 하이브리드 추론 모델로, 복잡한 추론과 도구 사용에 사용되는 thinking mode와 즉각적인 응답에 사용되는 non-thinking mode의 두 가지 모드를 제공합니다.

GLM-4.5와 GLM-4.5-Air 모두에 대해 베이스 모델, 하이브리드 추론 모델, 그리고 하이브리드 추론 모델의 FP8 버전을 오픈소스로 공개했습니다. 해당 모델들은 MIT 오픈소스 라이선스 하에 배포되며, 상업적 사용 및 2차 개발이 가능합니다.

12개의 산업 표준 벤치마크에 걸친 포괄적인 평가에서 입증된 바와 같이, GLM-4.5는 **63.2**라는 점수를 기록하며 모든 독점 및 오픈소스 모델 중 **3위**라는 뛰어난 성능을 달성했습니다. 특히, GLM-4.5-Air는 우수한 효율성을 유지하면서 **59.8**라는 경쟁력 있는 결과를 제공합니다.

더 많은 평가 결과, 사례 및 기술적 세부 사항은 [기술 보고서](https://huggingface.co/papers/2508.06471) 또는 [기술 블로그](https://z.ai/blog/glm-4.5)를 참고하세요.

모델 코드, 도구 파서 및 추론 파서는 [transformers](https://github.com/huggingface/transformers/tree/main/src/transformers/models/glm4_moe), [vLLM](https://github.com/vllm-project/vllm/blob/main/vllm/model_executor/models/glm4_moe_mtp.py), [SGLang](https://github.com/sgl-project/sglang/blob/main/python/sglang/srt/models/glm4_moe.py)의 구현에서 찾을 수 있습니다.

## Glm4MoeConfig[[transformers.Glm4MoeConfig]]

#### transformers.Glm4MoeConfig[[transformers.Glm4MoeConfig]]

```python
transformers.Glm4MoeConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 151552, hidden_size: int = 4096, intermediate_size: int = 10944, num_hidden_layers: int = 46, num_attention_heads: int = 96, num_key_value_heads: int = 8, hidden_act: str = 'silu', max_position_embeddings: int = 131072, initializer_range: float = 0.02, rms_norm_eps: float = 1e-05, use_cache: bool = True, tie_word_embeddings: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, attention_bias: bool = False, attention_dropout: float | int = 0.0, moe_intermediate_size: int = 1408, num_experts_per_tok: int = 8, output_router_logits: bool = False, n_shared_experts: int = 1, n_routed_experts: int = 128, routed_scaling_factor: float = 1.0, n_group: int = 1, topk_group: int = 1, first_k_dense_replace: int = 1, norm_topk_prob: bool = True, use_qk_norm: bool = False, bos_token_id: int | None = None, eos_token_id: int | list[int] | None = None, pad_token_id: int | None = None, num_mtp_layers: int = 1)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/glm4_moe/configuration_glm4_moe.py#L29)

**매개변수:**

vocab_size (`int`, *선택 사항*, 기본값 `151552`) : 모델의 어휘 크기입니다. `input_ids`로 표현할 수 있는 서로 다른 토큰의 수를 정의합니다.

hidden_size (`int`, *선택 사항*, 기본값 `4096`) : 숨겨진 표현의 차원.

intermediate_size (`int`, *선택 사항*, 기본값 `10944`) : MLP 표현의 차원.

num_hidden_layers (`int`, *선택 사항*, 기본값 `46`) : Transformer 디코더의 숨겨진 레이어 수.

num_attention_heads (`int`, *선택 사항*, 기본값 `96`) : Transformer 디코더의 각 어텐션 레이어에 사용할 어텐션 헤드 수입니다.

num_key_value_heads (`int`, *선택 사항*, 기본값 `8`) : Grouped Query Attention 구현에 사용할 key_value 헤드 수입니다. `num_key_value_heads=num_attention_heads`인 경우 모델은 Multi Head Attention(MHA)을, `num_key_value_heads=1`인 경우 Multi Query Attention(MQA)을, 그 외에는 GQA를 사용합니다. 멀티 헤드 체크포인트를 GQA 체크포인트로 변환할 때, 각 그룹의 key 및 value 헤드는 해당 그룹 내 모든 원래 헤드를 meanpooling하여 구성해야 합니다. 자세한 내용은 [이 논문](https://huggingface.co/papers/2305.13245)을 참고하세요. 지정되지 않으면 `num_attention_heads`가 기본값으로 사용됩니다.

hidden_act (`str`, *선택 사항*, 기본값 `silu`) : 디코더에서 사용되는 비선형 활성화 함수(함수 또는 문자열). 예를 들어, `"gelu"`, `"relu"`, `"silu"` 등이 있습니다.

max_position_embeddings (`int`, *선택 사항*, 기본값 `131072`) : 이 모델이 사용될 수 있는 최대 시퀀스 길이입니다.

initializer_range (`float`, *선택 사항*, 기본값 `0.02`) : 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다.

rms_norm_eps (`float`, *선택 사항*, 기본값 `1e-05`) : rms normalization 레이어에서 사용되는 epsilon 값입니다.

use_cache (`bool`, *선택 사항*, 기본값 `True`) : 모델이 마지막 key/values attention을 반환할지 여부입니다(모든 모델에서 사용되지 않음). `config.is_decoder=True`인 경우 또는 모델이 decoder-only 생성 모델인 경우에만 관련이 있습니다.

tie_word_embeddings (`bool`, *선택 사항*, 기본값 `False`) : 모델의 `tied_weights_keys` 매핑에 따라 가중치 임베딩을 묶을지 여부.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *선택*) : RoPE 임베딩의 구성 매개변수를 포함하는 사전입니다. 사전에는 `rope_theta` 값이 포함되어야 하며, 더 긴 `max_position_embeddings`로 RoPE를 사용하려는 경우 스케일링에 사용되는 매개변수도 선택적으로 포함할 수 있습니다.

attention_bias (`bool`, *선택 사항*, 기본값 `False`) : self-attention에서 query, key, value 및 output projection layer에 bias를 사용할지 여부.

attention_dropout (`Union[float, int]`, *선택 사항*, 기본값 `0.0`) : attention 확률에 적용할 dropout 비율입니다.

moe_intermediate_size (`int`, *선택 사항*, 기본값 `1408`) : 라우팅된 expert MLP의 중간 크기입니다.

num_experts_per_tok (`int`, *선택 사항*, 기본값 `8`) : 각 토큰을 라우팅할 전문가의 수입니다. 이는 토큰 선택 라우팅의 top-k 값입니다.

output_router_logits (`bool`, *선택 사항*, 기본값 `False`) : 모델이 router logits를 반환할지 여부입니다. 이 옵션을 활성화하면 load balancing loss와 router z-loss를 포함한 auxiliary loss도 모델에서 출력할 수 있습니다.

n_shared_experts (`int`, *선택 사항*, 기본값 `1`) : 공유 전문가의 수.

n_routed_experts (`int`, *선택 사항*, 기본값 `128`) : 라우팅된 전문가의 수.

routed_scaling_factor (`float`, *선택 사항*, 기본값 `1.0`) : Scaling factor 또는 routed experts입니다.

n_group (`int`, *선택 사항*, 기본값 1) : 라우팅된 전문가의 그룹 수.

topk_group (`int`, *선택 사항*, 기본값 `1`) : 각 토큰에 대해 선택할 그룹의 수 (각 토큰에 대해 선택된 전문가가 `topk_group` 그룹 내에서만 있도록 보장).

first_k_dense_replace (`int`, *선택 사항*, 기본값 1) : 얕은 레이어(embed->dense->dense->...->dense->moe->moe...->lm_head)에 있는 dense 레이어의 수. \--k dense 레이어--/

norm_topk_prob (`bool`, *선택 사항*, 기본값 `True`) : 라우팅된 전문가의 가중치를 정규화할지 여부.

use_qk_norm (`bool`, *선택 사항*, 기본값 `False`) : attention에서 query-key 정규화를 사용할지 여부.

bos_token_id (`int`, *선택 사항*) : 어휘에서 스트림 시작에 사용되는 토큰 ID입니다.

eos_token_id (`Union[int, list[int]]`, *선택*) : 어휘에서 스트림 종료에 사용되는 토큰 ID입니다.

pad_token_id (`int`, *선택 사항*) : 어휘에서 패딩에 사용되는 토큰 ID입니다.

num_mtp_layers (`int`, *선택 사항*, 기본값 1) : 기본 transformer 모델 뒤에 추가할 수 있는 Multi-Token Prediction(MTP) 모듈의 수입니다. `0`인 경우 모델은 표준 decoder처럼 동작합니다. `>0`인 경우 추론 시 각 추가 모듈이 `generate(..., use_mtp=True)`를 통해 추측적 디코딩(speculative decoding)으로 미래 토큰을 하나 더 예측할 수 있습니다.

이것은 Glm4MoeModel의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Glm4 Moe 모델을 인스턴스화하고 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 인스턴스화하면 [zai-org/GLM-4.5](https://huggingface.co/zai-org/GLM-4.5)와 유사한 구성이 생성됩니다.

Configuration 객체는 [PreTrainedConfig](/docs/transformers/main/ko/main_classes/configuration#transformers.PreTrainedConfig)를 상속하며, 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [PreTrainedConfig](/docs/transformers/main/ko/main_classes/configuration#transformers.PreTrainedConfig)의 문서를 참고하세요.

예:

```python
>>> from transformers import Glm4MoeModel, Glm4MoeConfig

>>> # Initializing a Glm4Moe style configuration
>>> configuration = Glm4MoeConfig()

>>> # Initializing a model from the GLM-4-MOE-100B-A10B style configuration
>>> model = Glm4MoeModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## Glm4MoeModel[[transformers.Glm4MoeModel]]

#### transformers.Glm4MoeModel[[transformers.Glm4MoeModel]]

```python
transformers.Glm4MoeModel(config: Glm4MoeConfig)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/glm4_moe/modeling_glm4_moe.py#L477)

**매개변수:**

config ([Glm4MoeConfig](/docs/transformers/main/ko/model_doc/glm4_moe#transformers.Glm4MoeConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

Gl

이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.Glm4MoeModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, cache: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/glm4_moe/modeling_glm4_moe.py#L493)

**매개변수:**

input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids)

attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask)

position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids)

cache (`~cache_utils.Cache`, *선택*) : 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key 및 values)입니다. 이는 일반적으로 `use_cache=True` 또는 `config.use_cache=True`일 때, 이전 디코딩 단계에서 모델이 반환한 `cache`로 구성됩니다. 입력으로 [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스만 허용되며, [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요. `cache`가 전달되지 않으면 기본적으로 [DynamicCache](/docs/transformers/main/ko/internal/generation_utils#transformers.DynamicCache)가 초기화됩니다. 모델은 입력으로 제공된 것과 동일한 cache 형식을 출력합니다. `cache`를 사용하는 경우, 이 모델에 과거 key value 상태가 제공되지 않은 `input_ids`(처리되지 않은 항목)만 `(batch_size, unprocessed_length)` 형식으로 입력해야 하며, `(batch_size, sequence_length)` 형식의 모든 `input_ids`를 입력하지 않습니다.

inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다.

use_cache (`bool`, *선택 사항*) : `True`로 설정하면 `cache` 키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(`cache` 참조).

**반환값:** `MoeModelOutputWithPast` 또는 `tuple(torch.Tensor)`

`MoeModelOutputWithPast` 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우)로, 구성(`None`)과 입력에 따라 다양한 요소를 포함합니다.

[Glm4MoeModel](/docs/transformers/main/ko/model_doc/glm4_moe#transformers.Glm4MoeModel)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **last_hidden_state** (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`) -- 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.
- **cache** (`Cache`, *선택 사항*, `use_cache=True`가 전달되거나 `config.use_cache=True`인 경우 반환됨) -- [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스입니다. 자세한 내용은 [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요.

  순차적 디코딩을 가속화하는 데 사용할 수 있는 사전 계산된 hidden-states(셀프-어텐션 블록의 key와 value, 그리고 `config.is_encoder_decoder=True`인 경우 크로스-어텐션 블록의 key와 value)를 포함합니다(사용 방법은 `cache` 입력을 참조).
- **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 형태는 `(batch_size, sequence_length, hidden_size)`입니다.

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.
- **router_logits** (`tuple(torch.Tensor)`, *선택 사항*, `output_router_probs=True`와 `config.add_router_probs=True`가 전달되었거나 `config.output_router_probs=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 형태는 `(batch_size, sequence_length, num_experts)`입니다.

  MoE 라우터가 계산하는 softmax 적용 후의 원시 라우터 로짓(raw router logits)입니다. 이 값들은 Mixture of Experts 모델의 보조 손실을 계산하는 데 사용됩니다.

## Glm4MoeForCausalLM[[transformers.Glm4MoeForCausalLM]]

#### transformers.Glm4MoeForCausalLM[[transformers.Glm4MoeForCausalLM]]

```python
transformers.Glm4MoeForCausalLM(config: Glm4MoeConfig)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/glm4_moe/modeling_glm4_moe.py#L554)

**매개변수:**

config ([Glm4MoeConfig](/docs/transformers/main/ko/model_doc/glm4_moe#transformers.Glm4MoeConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

causal language modeling을 위한 Glm4 Moe 모델.

이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.Glm4MoeForCausalLM.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, cache: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/glm4_moe/modeling_glm4_moe.py#L569)

**매개변수:**

input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids)

attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask)

position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids)

cache (`~cache_utils.Cache`, *선택*) : 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key 및 values)입니다. 이는 일반적으로 `use_cache=True` 또는 `config.use_cache=True`일 때, 이전 디코딩 단계에서 모델이 반환한 `cache`로 구성됩니다. 입력으로 [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스만 허용되며, [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요. `cache`가 전달되지 않으면 기본적으로 [DynamicCache](/docs/transformers/main/ko/internal/generation_utils#transformers.DynamicCache)가 초기화됩니다. 모델은 입력으로 제공된 것과 동일한 cache 형식을 출력합니다. `cache`를 사용하는 경우, 이 모델에 과거 key value 상태가 제공되지 않은 `input_ids`(처리되지 않은 항목)만 `(batch_size, unprocessed_length)` 형식으로 입력해야 하며, `(batch_size, sequence_length)` 형식의 모든 `input_ids`를 입력하지 않습니다.

inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다.

labels (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 인과 언어 모델링 손실을 계산하기 위한 라벨. 인덱스는 `[-100, 0, ..., config.vocab_size]` 범위여야 합니다(`input_ids` docstring 참조). 인덱스가 `-100`로 설정된 토큰은 무시(마스크)되며, 손실은 라벨이 `[0, ..., config.vocab_size]` 범위에 있는 토큰에 대해서만 계산됩니다. 라벨은 **내부적으로 시프트**되어 `labels[..., 1:]`이 `logits[..., :-1, :]`를 예측하는 데 사용됩니다. `input_ids`와 일치하는 시프트되지 않은 라벨을 전달하세요(즉, `labels = input_ids`). 라벨을 전달하기 전에 직접 시프트하지 마세요(**금지**). 라벨이 이미 시프트된 경우(예: 시퀀스 병렬 처리)에는 `shift_labels` 키워드 인수로 전달하면 그대로 사용됩니다. 손실이 계산되려면 `labels`를 전달해야 합니다.

use_cache (`bool`, *선택 사항*) : `True`로 설정하면 `cache` 키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(`cache` 참조).

logits_to_keep (`Union[int, torch.Tensor]`, *선택 사항*, 기본값 `0`) : `int`인 경우, 마지막 `logits_to_keep` 토큰에 대한 logits를 계산합니다. `0`인 경우, 모든 `input_ids`에 대한 logits를 계산합니다(특수한 경우). 생성에는 마지막 토큰의 logits만 필요하며, 해당 토큰에 대해서만 계산하면 메모리를 절약할 수 있습니다. 이는 긴 시퀀스나 큰 어휘 크기의 경우 상당한 이점을 제공합니다. `torch.Tensor`인 경우, 시퀀스 길이 차원에서 유지할 인덱스에 해당하는 1차원 텐서여야 합니다. 이는 packed tensor 형식(배치와 시퀀스 길이를 단일 차원으로 사용하는 경우)을 사용할 때 유용합니다.

**반환값:** `MoeCausalLMOutputWithPast` 또는 `tuple(torch.Tensor)`

`None` 및 입력에 따라 다양한 요소를 포함하는 `MoeCausalLMOutputWithPast` 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우).

[Glm4MoeForCausalLM](/docs/transformers/main/ko/model_doc/glm4_moe#transformers.Glm4MoeForCausalLM)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **loss** (`torch.Tensor`, shape `(1,)`, *선택 사항*, `labels`가 제공될 때 반환됨) -- 언어 모델링 손실(다음 토큰 예측용).
- **logits** (`torch.Tensor`, shape `(batch_size, sequence_length, config.vocab_size)`) -- 언어 모델링 헤드에서 생성된 예측 점수(SoftMax 적용 전 각 어휘 토큰에 대한 점수).
- **aux_loss** (`torch.Tensor`, *선택*, `output_router_logits=True`가 전달되었거나 `config.output_router_logits=True`인 경우, 그리고 모델이 로드 밸런싱 손실로 라우터를 학습하는 경우 반환됨) -- 희소 모듈에 대한 로드 밸런싱 보조 손실입니다. 라우터 바이어스로 전문가를 균형 맞추는 모델(DeepSeek-V3 및 이를 기반으로 파생된 아키텍처)은 `router_logits`를 반환하되, 여기서는 `None`을 반환합니다.
- **router_logits** (`tuple(torch.Tensor)`, *선택*, `output_router_logits=True`가 전달되었거나 `config.output_router_logits=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(스파스 레이어마다 하나)로, shape는 `(batch_size * sequence_length, num_experts)`입니다.

  MoE 라우터가 계산한 원시 라우터 로짓입니다. 로드 밸런싱 손실을 계산하거나 토큰이 전문가로 어떻게 분배되는지 확인하는 데 사용할 수 있습니다.
- **cache** (`Cache`, *선택 사항*, `use_cache=True`가 전달되거나 `config.use_cache=True`인 경우 반환됨) -- [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스입니다. 자세한 내용은 [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요.

  순차적 디코딩을 가속화하는 데 사용할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록의 key와 value)를 포함합니다(입력 `cache` 참조).
- **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 형태는 `(batch_size, sequence_length, hidden_size)`입니다.

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.

예:

```python
>>> from transformers import AutoTokenizer, Glm4MoeForCausalLM

>>> model = Glm4MoeForCausalLM.from_pretrained("meta-glm4_moe/Glm4Moe-2-7b-hf")
>>> tokenizer = AutoTokenizer.from_pretrained("meta-glm4_moe/Glm4Moe-2-7b-hf")

>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."
```