34 lines
421 B
Python
34 lines
421 B
Python
|
import abc
|
|||
|
|
import string
|
|||
|
|
|
|||
|
|
__all__ = ["get_punctuations"]
|
|||
|
|
|
|||
|
|
EN_PUNCT = [
|
|||
|
|
" ",
|
|||
|
|
"-",
|
|||
|
|
"...",
|
|||
|
|
",",
|
|||
|
|
".",
|
|||
|
|
"?",
|
|||
|
|
"!",
|
|||
|
|
]
|
|||
|
|
|
|||
|
|
CN_PUNCT = [
|
|||
|
|
"、",
|
|||
|
|
"，",
|
|||
|
|
"；",
|
|||
|
|
"：",
|
|||
|
|
"。",
|
|||
|
|
"？",
|
|||
|
|
"！"
|
|||
|
|
]
|
|||
|
|
|
|||
|
|
def get_punctuations(lang):
|
|||
|
|
if lang == "en":
|
|||
|
|
return EN_PUNCT
|
|||
|
|
elif lang == "cn":
|
|||
|
|
return CN_PUNCT
|
|||
|
|
else:
|
|||
|
|
raise ValueError(f"language {lang} Not supported")
|
|||
|
|
|