init

README.md

@@ -1,3 +1,57 @@
 ---
+tags:
+- fill-mask
+- japanese
+- albert
+
+language:
+- ja
+
 license: mit
+
+widget:
+- text: "明日は明日の[MASK]が吹く"
+
 ---
+## albert-base-japanese-v1-with-japanese
+日本語事前学習済みALBERTモデルです  
+このモデルではTokenizerに[BertJapaneseTokenizerクラス](https://huggingface.co/docs/transformers/main/en/model_doc/bert-japanese#transformers.BertJapaneseTokenizer)を利用しています  
+[albert-base-japanese-v1](https://huggingface.co/ken11/albert-base-japanese-v1)よりトークナイズ処理が楽になっています  
+
+## How to use
+### ファインチューニング
+このモデルはPreTrainedモデルです  
+基本的には各種タスク用にファインチューニングして使用されることを想定しています  
+
+### Fill-Mask
+#### for PyTorch
+```py
+from transformers import (
+    AutoModelForMaskedLM, AutoTokenizer
+)
+
+
+tokenizer = AutoTokenizer.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")
+model = AutoModelForMaskedLM.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")
+
+text = "明日は明日の[MASK]が吹く"
+tokens = tokenizer(text, return_tensors="pt")
+mask_index = tokens["input_ids"][0].tolist().index(tokenizer.mask_token_id)
+predict = model(**tokens)[0]
+_, result = predict[0, mask_index].topk(5)
+
+print(tokenizer.convert_ids_to_tokens(result.tolist()))
+```
+
+## Training Data
+学習には
+- [日本語Wikipediaの全文](https://ja.wikipedia.org/wiki/Wikipedia:%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89)
+
+を利用しています  
+
+## Tokenizer
+トークナイザーは[BertJapaneseTokenizerクラス](https://huggingface.co/docs/transformers/main/en/model_doc/bert-japanese#transformers.BertJapaneseTokenizer)を利用しています  
+こちらも学習データは同様です
+
+## Licenese
+[The MIT license](https://opensource.org/licenses/MIT)

config.json

@@ -0,0 +1,29 @@
+{
+  "architectures": [
+    "AlbertForMaskedLM"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 2,
+  "classifier_dropout_prob": 0.1,
+  "embedding_size": 128,
+  "eos_token_id": 3,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "inner_group_num": 1,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "albert",
+  "num_attention_heads": 12,
+  "num_hidden_groups": 1,
+  "num_hidden_layers": 12,
+  "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "tokenizer_class": "BertJapaneseTokenizer",
+  "torch_dtype": "float32",
+  "transformers_version": "4.17.0",
+  "type_vocab_size": 2,
+  "vocab_size": 32000
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a33d484b14c95757687cc6d2959820e70e0e8fe7415f74503732aa6f826298e4
+size 45933966

special_tokens_map.json

@@ -0,0 +1 @@
+{"unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]"}

tokenizer_config.json

@@ -0,0 +1 @@
+{"unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]", "do_lower_case": false, "do_word_tokenize": true, "do_subword_tokenize": true, "word_tokenizer_type": "mecab", "subword_tokenizer_type": "wordpiece", "never_split": null, "mecab_kwargs": null, "tokenizer_class": "BertJapaneseTokenizer"}