Add parsing benchmarks for latin and chinese text

This commit is contained in:
Sasha Koshka 2024-09-19 09:03:09 -04:00
parent 0342e25456
commit 85c48461c7

View File

@ -144,3 +144,39 @@ func TestParseString (test *testing.T) {
runeIndex += len(token.runes)
}
}
func BenchmarkParseStringLatin (benchmark *testing.B) {
benchmark.ReportAllocs()
for i := 0; i < benchmark.N; i ++ {
parseString(lipsumLt)
}
}
func BenchmarkParseStringChinese (benchmark *testing.B) {
benchmark.ReportAllocs()
for i := 0; i < benchmark.N; i ++ {
parseString(lipsumCn)
}
}
const lipsumLt =
`Voluptatem impedit id id facilis et. Sit eligendi aspernatur dicta vitae ipsa officia enim harum. Occaecati quod harum quos temporibus officiis provident enim neque. Odio totam ducimus commodi quis minima ea.
Ut delectus quis a rem consectetur laudantium hic sequi. Vel sunt neque nisi excepturi id sit id ut. Dolores expedita et odio. Quibusdam sed et quam nostrum. Sed perspiciatis voluptatibus et.
Omnis qui tempore corrupti alias ut repellendus est. A officiis molestias perspiciatis ut dolores nihil. Ut officiis hic quo aut aut dolorum. Modi at molestiae praesentium ea eveniet aut porro.
Similique facere cum amet nesciunt dolorem nemo. Rerum temporibus iure maiores. Facere quam nihil quia debitis nihil est officia aliquam. Magnam aut alias consectetur. Velit cumque eligendi assumenda magni ratione. Est dolorem modi a unde.
Illo reprehenderit est sunt quaerat cum nihil non. Quia nihil placeat qui ex hic molestiae eligendi. Asperiores optio et nobis et.`
const lipsumCn =
`这很容易并且妨碍快乐让我们很难为这些人选择上述生活的职责他们被这样的事实蒙蔽了双眼他们现在不提供办公室我讨厌我们给小孩子们带来所有的好处
作为被选中的人他将跟随这里的赞美或者除非他们被排除在外否则他们不是意想不到的痛苦和仇恨但对某些人来说以及我们自己但让我们看看其中的乐趣和
当时所有腐败的人都必须被击退办公室的麻烦被视为无痛至于这里的服务无论是哪里还是让人心疼但目前的麻烦将会发生或持续下去
当没有人知道其中的痛苦时也要做同样的事情事物的时代确实更加伟大无所作为因为你不欠任何东西这是一些责任这将是伟大的或其他方面无论他选择什么他都必须非常小心有一种痛从何而来
他责怪他们在什么都没有的情况下才问因为没有人喜欢从这里选择麻烦对我们来说这是一个更艰难的选择`