add readme

README.md

@@ -0,0 +1,62 @@
+---
+tags:
+- ner
+- token-classification
+- japanese
+- bert
+
+language:
+- ja
+
+license: mit
+
+---
+## bert-japanese-ner
+このモデルは日本語の固有表現抽出タスクを目的として、[京都大学 黒橋・褚・村脇研究室が公開しているBERT日本語Pretrainedモデル](https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese)をベースに[ストックマーク株式会社が公開しているner-wikipedia-dataset](https://github.com/stockmarkteam/ner-wikipedia-dataset)でファインチューニングしたものです。  
+
+## How to use
+このモデルはTokenizerに上述の京都大学BERT日本語PretrainedモデルのTokenizerを利用します。  
+当リポジトリにTokenizerは含まれていません。  
+利用する際は別途ダウンロードしてご用意ください。  
+  
+また、Tokenizerとは別に[Juman++](https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN%2B%2B)と[pyknp](https://nlp.ist.i.kyoto-u.ac.jp/?PyKNP)を利用します。  
+予めインストールしておいてください。
+```py
+from transformers import (
+    BertForTokenClassification, BertTokenizer
+)
+
+from pyknp import Juman
+
+
+jumanpp = Juman()
+tokenizer = BertTokenizer.from_pretrained("ダウンロードした京都大学のTokenizerのファイルパス")
+
+model = BertForTokenClassification.from_pretrained("ken11/bert-japanese-ner")
+
+text = "なにか文章"
+juman_result = jumanpp.analysis(text)
+tokenized_text = [mrph.midasi for mrph in juman_result.mrph_list()]
+inputs = tokenizer(tokenized_text, return_tensors="pt", padding='max_length', truncation=True, max_length=64, is_split_into_words=True)
+pred = model(**inputs).logits[0]
+pred = np.argmax(pred.detach().numpy(), axis=-1)
+labels = []
+for i, label in enumerate(pred):
+    if i + 1 > len(tokenized_text):
+        continue
+    labels.append(model.config.id2label[label])
+    print(f"{tokenized_text[i]}: {model.config.id2label[label]}")
+print(tokenized_text)
+print(labels)
+```
+
+## Training Data
+学習には[ストックマーク株式会社が公開しているner-wikipedia-dataset](https://github.com/stockmarkteam/ner-wikipedia-dataset)を利用しました。  
+便利なデータセットを公開していただきありがとうございます。
+
+## Note
+固有表現抽出のラベルは学習データセットのものをBILUO形式に変換して使用しています。  
+ラベルの詳細については[ner-wikipedia-datasetの概要](https://github.com/stockmarkteam/ner-wikipedia-dataset#%E6%A6%82%E8%A6%81)をご確認ください。
+
+## Licenese
+[The MIT license](https://opensource.org/licenses/MIT)