Add yyjson_insitu tests

benchmark/distinct_user_id/rapidjson.h

@@ -39,14 +39,14 @@ struct rapidjson_base {
   }
 };
 
-struct rapidjson : public rapidjson_base {
+struct rapidjson : rapidjson_base {
   bool run(simdjson::padded_string &json, std::vector<uint64_t> &result) {
     return rapidjson_base::run(doc.Parse<kParseValidateEncodingFlag>(json.data()), result);
   }
 };
 BENCHMARK_TEMPLATE(distinct_user_id, rapidjson)->UseManualTime();
 
-struct rapidjson_insitu : public rapidjson_base {
+struct rapidjson_insitu : rapidjson_base {
   bool run(simdjson::padded_string &json, std::vector<uint64_t> &result) {
     return rapidjson_base::run(doc.ParseInsitu<kParseValidateEncodingFlag>(json.data()), result);
   }

benchmark/distinct_user_id/yyjson.h

@@ -6,16 +6,15 @@
 
 namespace distinct_user_id {
 
-struct yyjson {
+struct yyjson_base {
-  bool run(simdjson::padded_string &json, std::vector<uint64_t> &result) {
+  bool run(yyjson_doc *doc, std::vector<uint64_t> &result) {
-    // Walk the document, parsing the tweets as we go
-    yyjson_doc *doc = yyjson_read(json.data(), json.size(), 0);
     if (!doc) { return false; }
     yyjson_val *root = yyjson_doc_get_root(doc);
     if (!yyjson_is_obj(root)) { return false; }
     yyjson_val *statuses = yyjson_obj_get(root, "statuses");
     if (!yyjson_is_arr(statuses)) { return "Statuses is not an array!"; }
 
+    // Walk the document, parsing the tweets as we go
     size_t tweet_idx, tweets_max;
     yyjson_val *tweet;
     yyjson_arr_foreach(statuses, tweet_idx, tweets_max, tweet) {
@@ -43,8 +42,20 @@ struct yyjson {
 
 };
 
+struct yyjson : yyjson_base {
+  bool run(simdjson::padded_string &json, std::vector<uint64_t> &result) {
+    return yyjson_base::run(yyjson_read(json.data(), json.size(), 0), result);
+  }
+};
 BENCHMARK_TEMPLATE(distinct_user_id, yyjson)->UseManualTime();
 
+struct yyjson_insitu : yyjson_base {
+  bool run(simdjson::padded_string &json, std::vector<uint64_t> &result) {
+    return yyjson_base::run(yyjson_read_opts(json.data(), json.size(), YYJSON_READ_INSITU, 0, 0), result);
+  }
+};
+BENCHMARK_TEMPLATE(distinct_user_id, yyjson_insitu)->UseManualTime();
+
 } // namespace distinct_user_id
 
 #endif // SIMDJSON_COMPETITION_YYJSON

benchmark/find_tweet/rapidjson.h

@@ -31,14 +31,14 @@ struct rapidjson_base {
   }
 };
 
-struct rapidjson : public rapidjson_base {
+struct rapidjson : rapidjson_base {
   bool run(simdjson::padded_string &json, uint64_t find_id, std::string_view &result) {
     return rapidjson_base::run(doc.Parse<kParseValidateEncodingFlag>(json.data()), find_id, result);
   }
 };
 BENCHMARK_TEMPLATE(find_tweet, rapidjson)->UseManualTime();
 
-struct rapidjson_insitu : public rapidjson_base {
+struct rapidjson_insitu : rapidjson_base {
   bool run(simdjson::padded_string &json, uint64_t find_id, std::string_view &result) {
     return rapidjson_base::run(doc.ParseInsitu<kParseValidateEncodingFlag>(json.data()), find_id, result);
   }

benchmark/find_tweet/yyjson.h

@@ -6,16 +6,15 @@
 
 namespace find_tweet {
 
-struct yyjson {
+struct yyjson_base {
-  bool run(simdjson::padded_string &json, uint64_t find_id, std::string_view &result) {
+  bool run(yyjson_doc *doc, uint64_t find_id, std::string_view &result) {
-    // Walk the document, parsing the tweets as we go
-    yyjson_doc *doc = yyjson_read(json.data(), json.size(), 0);
     if (!doc) { return false; }
     yyjson_val *root = yyjson_doc_get_root(doc);
     if (!yyjson_is_obj(root)) { return false; }
     yyjson_val *statuses = yyjson_obj_get(root, "statuses");
     if (!yyjson_is_arr(statuses)) { return "Statuses is not an array!"; }
 
+    // Walk the document, parsing the tweets as we go
     size_t tweet_idx, tweets_max;
     yyjson_val *tweet;
     yyjson_arr_foreach(statuses, tweet_idx, tweets_max, tweet) {
@@ -25,7 +24,7 @@ struct yyjson {
       if (yyjson_get_uint(id) == find_id) {
         auto text = yyjson_obj_get(tweet, "text");
         if (yyjson_is_str(id)) { return false; }
-        result = yyjson_get_str(text);
+        result = { yyjson_get_str(text), yyjson_get_len(text) };
         return true;
       }
     }
@@ -33,8 +32,20 @@ struct yyjson {
   }
 };
 
+struct yyjson : yyjson_base {
+  bool run(simdjson::padded_string &json, uint64_t find_id, std::string_view &result) {
+    return yyjson_base::run(yyjson_read(json.data(), json.size(), 0), find_id, result);
+  }
+};
 BENCHMARK_TEMPLATE(find_tweet, yyjson)->UseManualTime();
 
+struct yyjson_insitu : yyjson_base {
+  bool run(simdjson::padded_string &json, uint64_t find_id, std::string_view &result) {
+    return yyjson_base::run(yyjson_read_opts(json.data(), json.size(), YYJSON_READ_INSITU, 0, 0), find_id, result);
+  }
+};
+BENCHMARK_TEMPLATE(find_tweet, yyjson_insitu)->UseManualTime();
+
 } // namespace find_tweet
 
 #endif // SIMDJSON_COMPETITION_YYJSON

benchmark/kostya/rapidjson.h

@@ -33,21 +33,21 @@ struct rapidjson_base {
   }
 };
 
-struct rapidjson : public rapidjson_base {
+struct rapidjson : rapidjson_base {
   bool run(simdjson::padded_string &json, std::vector<point> &result) {
     return rapidjson_base::run(doc.Parse<kParseValidateEncodingFlag>(json.data()), result);
   }
 };
 BENCHMARK_TEMPLATE(kostya, rapidjson)->UseManualTime();
 
-struct rapidjson_lossless : public rapidjson_base {
+struct rapidjson_lossless : rapidjson_base {
   bool run(simdjson::padded_string &json, std::vector<point> &result) {
     return rapidjson_base::run(doc.Parse<kParseValidateEncodingFlag | kParseFullPrecisionFlag>(json.data()), result);
   }
 };
 BENCHMARK_TEMPLATE(kostya, rapidjson_lossless)->UseManualTime();
 
-struct rapidjson_insitu : public rapidjson_base {
+struct rapidjson_insitu : rapidjson_base {
   bool run(simdjson::padded_string &json, std::vector<point> &result) {
     return rapidjson_base::run(doc.ParseInsitu<kParseValidateEncodingFlag>(json.data()), result);
   }

benchmark/kostya/yyjson.h

@@ -6,7 +6,7 @@
 
 namespace kostya {
 
-struct yyjson {
+struct yyjson_base {
   simdjson_really_inline double get_double(yyjson_val *obj, std::string_view key) {
     yyjson_val *val = yyjson_obj_getn(obj, key.data(), key.length());
     if (!val) { throw "missing point field!"; }
@@ -24,8 +24,7 @@ struct yyjson {
     }
   }
 
-  bool run(simdjson::padded_string &json, std::vector<point> &result) {
+  bool run(yyjson_doc *doc, std::vector<point> &result) {
-    yyjson_doc *doc = yyjson_read(json.data(), json.size(), 0);
     if (!doc) { return false; }
     yyjson_val *root = yyjson_doc_get_root(doc);
     if (!yyjson_is_obj(root)) { return false; }
@@ -44,8 +43,20 @@ struct yyjson {
 
 };
 
+struct yyjson : yyjson_base {
+  bool run(simdjson::padded_string &json, std::vector<point> &result) {
+    return yyjson_base::run(yyjson_read(json.data(), json.size(), 0), result);
+  }
+};
 BENCHMARK_TEMPLATE(kostya, yyjson)->UseManualTime();
 
+struct yyjson_insitu : yyjson_base {
+  bool run(simdjson::padded_string &json, std::vector<point> &result) {
+    return yyjson_base::run(yyjson_read_opts(json.data(), json.size(), YYJSON_READ_INSITU, 0, 0), result);
+  }
+};
+BENCHMARK_TEMPLATE(kostya, yyjson_insitu)->UseManualTime();
+
 } // namespace kostya
 
 #endif // SIMDJSON_COMPETITION_YYJSON

benchmark/large_random/rapidjson.h

@@ -30,21 +30,21 @@ struct rapidjson_base {
   }
 };
 
-struct rapidjson : public rapidjson_base {
+struct rapidjson : rapidjson_base {
   bool run(simdjson::padded_string &json, std::vector<point> &result) {
     return rapidjson_base::run(doc.Parse<kParseValidateEncodingFlag>(json.data()), result);
   }
 };
 BENCHMARK_TEMPLATE(large_random, rapidjson)->UseManualTime();
 
-struct rapidjson_lossless : public rapidjson_base {
+struct rapidjson_lossless : rapidjson_base {
   bool run(simdjson::padded_string &json, std::vector<point> &result) {
     return rapidjson_base::run(doc.Parse<kParseValidateEncodingFlag | kParseFullPrecisionFlag>(json.data()), result);
   }
 };
 BENCHMARK_TEMPLATE(large_random, rapidjson_lossless)->UseManualTime();
 
-struct rapidjson_insitu : public rapidjson_base {
+struct rapidjson_insitu : rapidjson_base {
   bool run(simdjson::padded_string &json, std::vector<point> &result) {
     return rapidjson_base::run(doc.ParseInsitu<kParseValidateEncodingFlag>(json.data()), result);
   }

benchmark/large_random/yyjson.h

@@ -6,7 +6,7 @@
 
 namespace large_random {
 
-struct yyjson {
+struct yyjson_base {
   simdjson_really_inline double get_double(yyjson_val *obj, std::string_view key) {
     yyjson_val *val = yyjson_obj_getn(obj, key.data(), key.length());
     if (!val) { throw "missing point field!"; }
@@ -24,25 +24,37 @@ struct yyjson {
     }
   }
 
-  bool run(simdjson::padded_string &json, std::vector<point> &result) {
+  bool run(yyjson_doc *doc, std::vector<point> &result) {
-    // Walk the document, parsing the tweets as we go
-    yyjson_doc *doc = yyjson_read(json.data(), json.size(), 0);
     if (!doc) { return false; }
     yyjson_val *coords = yyjson_doc_get_root(doc);
     if (!yyjson_is_arr(coords)) { return false; }
 
+    // Walk the document, parsing the tweets as we go
     size_t idx, max;
     yyjson_val *coord;
     yyjson_arr_foreach(coords, idx, max, coord) {
       if (!yyjson_is_obj(coord)) { return false; }
       result.emplace_back(point{get_double(coord, "x"), get_double(coord, "y"), get_double(coord, "z")});
     }
+
     return true;
   }
 };
 
+struct yyjson : yyjson_base {
+  bool run(simdjson::padded_string &json, std::vector<point> &result) {
+    return yyjson_base::run(yyjson_read(json.data(), json.size(), 0), result);
+  }
+};
 BENCHMARK_TEMPLATE(large_random, yyjson)->UseManualTime();
 
+struct yyjson_insitu : yyjson_base {
+  bool run(simdjson::padded_string &json, std::vector<point> &result) {
+    return yyjson_base::run(yyjson_read_opts(json.data(), json.size(), YYJSON_READ_INSITU, 0, 0), result);
+  }
+};
+BENCHMARK_TEMPLATE(large_random, yyjson_insitu)->UseManualTime();
+
 } // namespace large_random
 
 #endif // SIMDJSON_COMPETITION_YYJSON

benchmark/partial_tweets/rapidjson.h

@@ -59,14 +59,14 @@ struct rapidjson_base {
   }
 };
 
-struct rapidjson : public rapidjson_base {
+struct rapidjson : rapidjson_base {
   bool run(simdjson::padded_string &json, std::vector<tweet> &result) {
     return rapidjson_base::run(doc.Parse<kParseValidateEncodingFlag>(json.data()), result);
   }
 };
 BENCHMARK_TEMPLATE(partial_tweets, rapidjson)->UseManualTime();
 
-struct rapidjson_insitu : public rapidjson_base {
+struct rapidjson_insitu : rapidjson_base {
   bool run(simdjson::padded_string &json, std::vector<tweet> &result) {
     return rapidjson_base::run(doc.ParseInsitu<kParseValidateEncodingFlag>(json.data()), result);
   }

benchmark/partial_tweets/yyjson.h

@@ -6,7 +6,7 @@
 
 namespace partial_tweets {
 
-struct yyjson {
+struct yyjson_base {
   simdjson_really_inline std::string_view get_string_view(yyjson_val *obj, std::string_view key) {
     auto val = yyjson_obj_getn(obj, key.data(), key.length());
     if (!yyjson_is_str(val)) { throw "field is not uint64 or null!"; }
@@ -30,15 +30,14 @@ struct yyjson {
     return { get_uint64(user, "id"), get_string_view(user, "screen_name") };
   }
 
-  bool run(simdjson::padded_string &json, std::vector<tweet> &result) {
+  bool run(yyjson_doc *doc, std::vector<tweet> &result) {
-    // Walk the document, parsing the tweets as we go
-    yyjson_doc *doc = yyjson_read(json.data(), json.size(), 0);
     if (!doc) { return false; }
     yyjson_val *root = yyjson_doc_get_root(doc);
     if (!yyjson_is_obj(root)) { return false; }
     yyjson_val *statuses = yyjson_obj_get(root, "statuses");
     if (!yyjson_is_arr(statuses)) { return "Statuses is not an array!"; }
 
+    // Walk the document, parsing the tweets as we go
     size_t tweet_idx, tweets_max;
     yyjson_val *tweet;
     yyjson_arr_foreach(statuses, tweet_idx, tweets_max, tweet) {
@@ -59,8 +58,20 @@ struct yyjson {
   }
 };
 
+struct yyjson : yyjson_base {
+  bool run(simdjson::padded_string &json, std::vector<tweet> &result) {
+    return yyjson_base::run(yyjson_read(json.data(), json.size(), 0), result);
+  }
+};
 BENCHMARK_TEMPLATE(partial_tweets, yyjson)->UseManualTime();
 
+struct yyjson_insitu : yyjson_base {
+  bool run(simdjson::padded_string &json, std::vector<tweet> &result) {
+    return yyjson_base::run(yyjson_read_opts(json.data(), json.size(), YYJSON_READ_INSITU, 0, 0), result);
+  }
+};
+BENCHMARK_TEMPLATE(partial_tweets, yyjson_insitu)->UseManualTime();
+
 } // namespace partial_tweets
 
 #endif // SIMDJSON_COMPETITION_YYJSON